問題 No.15
自然言語処理において、「単語を固定のベクトルとして扱う（Word2Vecなど）」手法では、「お腹が『空く』」と「飛行機で『空く』を飛ぶ」のように、同じ表記で全く異なる意味を持つ多義語を正しく処理できない。この課題を解決するため、大規模なテキストから学習した双方向LSTMを用い、入力された文全体の文脈（コンテキスト）に応じて、同じ単語であっても動的にベクトル表現を変化させる仕組みを確立した初期のモデルはどれか。
【正解の解説】
ELMo
ELMoとは、大規模テキストで学習した双方向LSTMを用いて、入力された文章全体のコンテキスト（文脈）に合わせて同じ単語であっても動的に異なるベクトル表現（分散表現）に変化させ、多義語の課題を解決した初期の画期的な言語モデルです。
スポンサーリンク
【その他の選択肢の解説】
BERT
BERTは、双方向のトランスフォーマー(Transformer)構造を用いて強力な文脈把握を実現した事前学習モデルですが、本問題の「双方向LSTMを用いた初期の動的特徴表現」ではなく、その後に登場したモデルです。
fastText
fastTextはWord2Vecの発展形であり、単語をさらに細かい文字単位（サブワード）に分割して学習することで、辞書にない未知語に対処するモデルですが、文脈依存の動的なベクトル生成は行いません。
Transformer
Transformerとは、LSTMやRNNなどの再帰構造を一切使わず、「自己注意機構(Self-Attention)」のみで並列処理と高度な文脈把握を実現したディープラーニングの画期的なアーキテクチャのことです。