ゼロから作るDeep Learning ? ―自然言語処理編
- 作者: 斎藤康毅
- 出版社/メーカー: オライリージャパン
- 発売日: 2018/07/21
- メディア: 単行本（ソフトカバー）
- この商品を含むブログ (2件) を見る
「ゼロから作るディープラーニング②」を購入した。
あまり内容を詳細に記録するつもりはないので、読んで纏めていったものをGistに張り付けていく。
- Jupyter Notebook Viewer: 3章 word2vec
word2vecは、第2章で紹介した単語の推論の処理(カウントベースの手法)とは別の推論を使った方法だ。
ニューラルネットワークを使用して、2つの単語(ターゲット)からその中間に入る単語を推論する(CBOW)。
この方法はcontinuous bag-of-words(CBOW)という手法を使用し、簡単に言うと2つのターゲット(その間に入る単語を推測したい)を入力して、中間の単語を推論させるネットワークだ。
- Efficient Estimation of Word Representations in Vector Space https://arxiv.org/pdf/1301.3781.pdf
図. CBOWのダイアグラム (上記論文より引用)。
CBOWを使い、各単語に対する推論を実行したが、まだサンプル数が少なすぎて良好な結果は得られていない。
図. CBOWニューラルネットワークの学習の様子。
次章では、よりサンプル数を増やすことと、処理の高速化を行ってみる。
