機械学習

こんにちは、novです。 今回は前回の記事の続きです。 前回はローダ作成に必要なライブラリの使い方をまとめたのでした。今回は MNISTのフォーマット要件と照らし合わせたローダの設計実際のコード ...

こんにちは、novです。 最近、「ゼロから作るDeep Learning」の内容をC++で書き直すということをやっています。 目的としては C++の扱いに慣れるC++のEigenライブラリの使い...

今回の記事では、AWSの機械学習マネージドサービスの一つであるsagemakerを用いて、分散学習を行う際にハマった部分をメモしていこうと思います。

この記事は、主に自分がkaggleをやるにあたって勉強した内容をまとめます。 今回は特徴量エンジニアリングについてです。

この記事では自作のモデル(と言ってもかなり単純なものにしますが)でこのEstimatorを使用するとどうなるかについてまとめていきます。

Tensorflowの公式ドキュメントにて、「SparseFeature」よりも「SequenceExample」と「VarLenFeature」を用いた方が良いという記述があります。本当かどうか確かめていなかったので、そこについて調査し、その結果をまとめます。

SparseTensorを使おうとするとあちこちに罠が仕掛けられていて、TFRecords形式に保存するのも学習を回すのもなかなかうまくいきません。しかも、日本語の情報が皆無なうえに、英語の情報もリッチとは言えません。更に公式ドキュメントもなかなか分かりづらいです。 という訳で、SparseTensorについて調べてるとそれなりの情報量になりました。結構困ったので、同じ轍を踏む方が一人でも少なくなるように、とこの記事を書こうと思った次第です。

本記事では複数データのTFRecordsへの書き出し・書き出したファイルからの読み出し、実際に学習を行う際にはどうするのかというのを簡単な多層パーセプトロン(MLP)に適用して確認してみたいと思います。サンプルコードを載せているので、コピペすれば動作確認することが可能です。

TensorFlow(Keras)で大規模データを扱っていると、学習開始前のデータの読み出し(転送)でめっちゃ時間がかかることがあります。普通はGeneratorを利用して解決するのですが、AWSの環境などではそうもいかない場合があります。本記事は、学習におけるI/Oボトルネックを解消する際に用いられるTFRecordについて、自分なりに調べた内容をまとめます。