ゼロから作るDeep Learning ? ―自然言語処理編
- 作者: 斎藤康毅
- 出版社/メーカー: オライリージャパン
- 発売日: 2018/07/21
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (3件) を見る
「ゼロから作るディープラーニング②」を購入した。
あまり内容を詳細に記録するつもりはないので、読んで纏めていったものをGistに張り付けていく。
次は第5章のリカレントニューラルネットワークだ。そのままの通り、時系列の情報を持ったニューラルネットワークとなる。
- 5章 リカレントニューラルネットワーク(RNN)
5.6 まとめ
- RNNはループする経路があり、これにより記憶を保持することができる。
- RNNのループを展開することで、一般的な誤差逆伝搬法を適用できる。
- 適当な長さでデータのまとまりを作ることで、長い系列のデータを区切る。
- この場合、逆伝搬のつながりを切断する。
- 順方向は切断しない。
- 言語モデルは、単語の羅列を確立として解釈する。
- RNNレイヤを利用した条件付き言語モデルは、単語の情報を記憶できる。
図. リカレントニューラルネットワーク(RNN)の実行結果。