FPGA開発日記

FPGAというより、コンピュータアーキテクチャかもね! カテゴリ別記事インデックス https://msyksphinz.github.io/github_pages

「ゼロから作るディープラーニング②」を読む (7. RNNによる文章生成)

ゼロから作るDeep Learning ? ―自然言語処理編

ゼロから作るDeep Learning ? ―自然言語処理編

「ゼロから作るディープラーニング②」を購入した。

あまり内容を詳細に記録するつもりはないので、読んで纏めていったものをGistに張り付けていく。

第7章はRNNにより、文章を生成する。いろんなテクニックを使って、文章の精度を高めていく。

  • 第7章 RNNによる文章生成

Jupyter Notebook Viewer

第7章まとめ

  • RNNを用いた言語モデルで新しい文章を生成する
  • モデルの出力(確率分布)から、新しい文字をサンプリングという手順を繰り返す。
  • RNNを2つ組み合わせることで、時系列データを時系列データに変換する (seq2seq)
  • seq2seqにより、Encoderによる入力分のエンコード、それをDecoderがデコードする。
  • 入力分を反転させることで、seq2seqの精度を向上させることができる。
  • Peeky(エンコード情報を、Decoderの複数のレイヤに与えること)で、seq2seqの精度を向上させることができる。
f:id:msyksphinz:20180819001653p:plain
図. RNNの自動生成において、Reverse + Peekyをそれぞれ評価した結果。