FPGA開発日記

FPGAというより、コンピュータアーキテクチャかもね! カテゴリ別記事インデックス https://msyksphinz.github.io/github_pages

「ゼロから作るディープラーニング②」を読む (5. リカレントニューラルネットワーク(RNN))

ゼロから作るDeep Learning ? ―自然言語処理編

ゼロから作るDeep Learning ? ―自然言語処理編

「ゼロから作るディープラーニング②」を購入した。

あまり内容を詳細に記録するつもりはないので、読んで纏めていったものをGistに張り付けていく。

次は第5章のリカレントニューラルネットワークだ。そのままの通り、時系列の情報を持ったニューラルネットワークとなる。

Jupyter Notebook Viewer

5.6 まとめ

  • RNNはループする経路があり、これにより記憶を保持することができる。
  • RNNのループを展開することで、一般的な誤差逆伝搬法を適用できる。
  • 適当な長さでデータのまとまりを作ることで、長い系列のデータを区切る。
    • この場合、逆伝搬のつながりを切断する。
    • 順方向は切断しない。
  • 言語モデルは、単語の羅列を確立として解釈する。
  • RNNレイヤを利用した条件付き言語モデルは、単語の情報を記憶できる。
f:id:msyksphinz:20180805221750p:plain
図. リカレントニューラルネットワーク(RNN)の実行結果。