![ゼロから作るDeep Learning ? ―自然言語処理編 ゼロから作るDeep Learning ? ―自然言語処理編](https://images-fe.ssl-images-amazon.com/images/I/51FoSTiivwL._SL160_.jpg)
ゼロから作るDeep Learning ? ―自然言語処理編
- 作者: 斎藤康毅
- 出版社/メーカー: オライリージャパン
- 発売日: 2018/07/21
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (3件) を見る
「ゼロから作るディープラーニング②」を購入した。
あまり内容を詳細に記録するつもりはないので、読んで纏めていったものをGistに張り付けていく。
第7章はRNNにより、文章を生成する。いろんなテクニックを使って、文章の精度を高めていく。
- 第7章 RNNによる文章生成
第7章まとめ
- RNNを用いた言語モデルで新しい文章を生成する
- モデルの出力(確率分布)から、新しい文字をサンプリングという手順を繰り返す。
- RNNを2つ組み合わせることで、時系列データを時系列データに変換する (seq2seq)
- seq2seqにより、Encoderによる入力分のエンコード、それをDecoderがデコードする。
- 入力分を反転させることで、seq2seqの精度を向上させることができる。
- Peeky(エンコード情報を、Decoderの複数のレイヤに与えること)で、seq2seqの精度を向上させることができる。
![f:id:msyksphinz:20180819001653p:plain f:id:msyksphinz:20180819001653p:plain](https://cdn-ak.f.st-hatena.com/images/fotolife/m/msyksphinz/20180819/20180819001653.png)
図. RNNの自動生成において、Reverse + Peekyをそれぞれ評価した結果。