プログラミング

スポンサーリンク
IT関連

【Python/Tensorflow】TFRecordsから学習を行う方法

本記事では複数データのTFRecordsへの書き出し・書き出したファイルからの読み出し、実際に学習を行う際にはどうするのかというのを簡単な多層パーセプトロン(MLP)に適用して確認してみたいと思います。サンプルコードを載せているので、コピペすれば動作確認することが可能です。
IT関連

【Python/Tensorflow】 TFRecordsとは何ぞや?

TensorFlow(Keras)で大規模データを扱っていると、学習開始前のデータの読み出し(転送)でめっちゃ時間がかかることがあります。普通はGeneratorを利用して解決するのですが、AWSの環境などではそうもいかない場合があります。本記事は、学習におけるI/Oボトルネックを解消する際に用いられるTFRecordについて、自分なりに調べた内容をまとめます。
プログラミング

【Python】データのシリアライズ概要と関係モジュール

本記事はPythonのシリアライズと、関係モジュールについての個人的な備忘録的なものです。想定読者は「機械学習やってたら○○.pickleとかいうファイル出てきたけどこいつ何者?ってなった人」「直列化とかシリアライズとか言われてもイマイチピンとこない人」になります。
スポンサーリンク
タイトルとURLをコピーしました