プログラミング

本記事では複数データのTFRecordsへの書き出し・書き出したファイルからの読み出し、実際に学習を行う際にはどうするのかというのを簡単な多層パーセプトロン(MLP)に適用して確認してみたいと思います。サンプルコードを載せているので、コピペすれば動作確認することが可能です。

TensorFlow(Keras)で大規模データを扱っていると、学習開始前のデータの読み出し(転送)でめっちゃ時間がかかることがあります。普通はGeneratorを利用して解決するのですが、AWSの環境などではそうもいかない場合があります。本記事は、学習におけるI/Oボトルネックを解消する際に用いられるTFRecordについて、自分なりに調べた内容をまとめます。