![ゼロから作るDeep Learning ? ―自然言語処理編 ゼロから作るDeep Learning ? ―自然言語処理編](https://images-fe.ssl-images-amazon.com/images/I/51FoSTiivwL._SL160_.jpg)
ゼロから作るDeep Learning ? ―自然言語処理編
- 作者: 斎藤康毅
- 出版社/メーカー: オライリージャパン
- 発売日: 2018/07/21
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (3件) を見る
「ゼロから作るディープラーニング②」を購入した。
あまり内容を詳細に記録するつもりはないので、読んで纏めていったものをGistに張り付けていく。
次は第5章のリカレントニューラルネットワークだ。そのままの通り、時系列の情報を持ったニューラルネットワークとなる。
- 5章 リカレントニューラルネットワーク(RNN)
5.6 まとめ
- RNNはループする経路があり、これにより記憶を保持することができる。
- RNNのループを展開することで、一般的な誤差逆伝搬法を適用できる。
- 適当な長さでデータのまとまりを作ることで、長い系列のデータを区切る。
- この場合、逆伝搬のつながりを切断する。
- 順方向は切断しない。
- 言語モデルは、単語の羅列を確立として解釈する。
- RNNレイヤを利用した条件付き言語モデルは、単語の情報を記憶できる。
![f:id:msyksphinz:20180805221750p:plain f:id:msyksphinz:20180805221750p:plain](https://cdn-ak.f.st-hatena.com/images/fotolife/m/msyksphinz/20180805/20180805221750.png)
図. リカレントニューラルネットワーク(RNN)の実行結果。