FPGA開発日記

FPGAというより、コンピュータアーキテクチャかもね! カテゴリ別記事インデックス https://msyksphinz.github.io/github_pages/

「ゼロから作るディープラーニング②」を読む (3. 第3章 word2vec)

ゼロから作るDeep Learning ? ―自然言語処理編

ゼロから作るDeep Learning ? ―自然言語処理編

「ゼロから作るディープラーニング②」を購入した。

あまり内容を詳細に記録するつもりはないので、読んで纏めていったものをGistに張り付けていく。

  • Jupyter Notebook Viewer: 3章 word2vec

Jupyter Notebook Viewer

word2vecは、第2章で紹介した単語の推論の処理(カウントベースの手法)とは別の推論を使った方法だ。

ニューラルネットワークを使用して、2つの単語(ターゲット)からその中間に入る単語を推論する(CBOW)。

この方法はcontinuous bag-of-words(CBOW)という手法を使用し、簡単に言うと2つのターゲット(その間に入る単語を推測したい)を入力して、中間の単語を推論させるネットワークだ。

f:id:msyksphinz:20180801014149p:plain
図. CBOWのダイアグラム (上記論文より引用)。

CBOWを使い、各単語に対する推論を実行したが、まだサンプル数が少なすぎて良好な結果は得られていない。

f:id:msyksphinz:20180801014418p:plain
図. CBOWニューラルネットワークの学習の様子。

次章では、よりサンプル数を増やすことと、処理の高速化を行ってみる。

f:id:msyksphinz:20180801014558p:plain