CC56

CC56: 567収束までに達成したい56リスト

Day-181 TensorFlowのTransformerチュートリアルの完成度が高すぎる

しかも日本語で

最近のTensorFlowドキュメントが優秀すぎて勉強になる

Day-169で少し触れましたが、最近のTensorFlowドキュメントは本当に優秀です。

前回取り上げたのは、↓のドキュメントです。

www.tensorflow.org

丁寧な日本語で書かれていますし、コードもわかりやすく整っていて、その記事だけで十分に理解ができる完成度です。

TensorFlowは、周辺ライブラリの充実(TFa, TF HUB, TFDS (TensorFlow-datasets) など)、2.0でKerasのAPI統合、そもそも関数が充実していて応用力が高いので、単体での完結っぷりがすごいです。

また、Colaboratoryでほぼ確実に動かせるので、安心感があります。

Transformer チュートリアル

本題に入ると、↓のTransformerチュートリアルが本当にわかりやすいので、Transformerの論文を読んで実装に挑みたい人にオススメです。

www.tensorflow.org

0から実装するとめんどくさいだろうなぁ…という細かい実装(学習率のWarmup、マスキング処理、Positional-Encodingなど)が全部TensorFlowで簡潔に書いてあります。 コードを読むことで論文の復習にもなりますし、単純に実装の勉強にもなります。

Colaboratoryで実行すれば、TFDSで引っ張ってきたデータもマシンを落とせば消えてくれるので、データをダウンロードしたり整理する手間が無く、気軽に取り組めます。

おわりに

TensorFlowのドキュメントを読めば、丁寧なコードなためPythonの勉強になり、TensorFlowの効率的な使い方を学べ、ディープラーニングの実装が手元に残るのでオススメです。