「ゼロから作るディープラーニング②」を読む (7. RNNによる文章生成)

ゼロから作るDeep Learning ? ―自然言語処理編

「ゼロから作るディープラーニング②」を購入した。

あまり内容を詳細に記録するつもりはないので、読んで纏めていったものをGistに張り付けていく。

第7章はRNNにより、文章を生成する。いろんなテクニックを使って、文章の精度を高めていく。

• 第7章 RNNによる文章生成

Jupyter Notebook Viewer

第7章まとめ

• RNNを用いた言語モデルで新しい文章を生成する
• モデルの出力(確率分布)から、新しい文字をサンプリングという手順を繰り返す。
• RNNを2つ組み合わせることで、時系列データを時系列データに変換する (seq2seq)
• seq2seqにより、Encoderによる入力分のエンコード、それをDecoderがデコードする。
• 入力分を反転させることで、seq2seqの精度を向上させることができる。
• Peeky(エンコード情報を、Decoderの複数のレイヤに与えること)で、seq2seqの精度を向上させることができる。

図. RNNの自動生成において、Reverse + Peekyをそれぞれ評価した結果。