問題 No.1270
自然言語処理のテキスト生成モデルにおいて発生する露出バイアスに関する記述として、最も不適切なものはどれか。
【正解の解説】
大規模言語モデルのパラメータが増えすぎた結果、事前に学習した古い知識をモデルが上書きして完全に忘却してしまう。
これは破滅的忘却に関する説明です。露出バイアスは主にテキスト生成時における予測プロセスの不整合に起因する問題です。
スポンサーリンク
【その他の選択肢の解説】
訓練時と推論時で、次の単語を予測する際に入力として受け取る情報が異なることによって引き起こされる。
訓練時は正解データを使って学習しますが、推論時はモデル自身が予測した単語を次に使うため、この入力情報の違いが予測精度に影響を与えます。
訓練時には、前のステップでモデルが予測を間違えても、次のステップの入力に本物の正解データを与える教師強制が用いられる。
教師強制とは、モデルが予測を失敗しても、強制的に正解の単語を次のステップの入力として与えることで、学習を安定・効率化させる手法です。
推論時において、文章の途中で一度単語の予測を誤ると、その間違いが次のステップに連鎖して急激に増幅し、文章が崩壊する。
モデルが一度間違えると、その誤った情報を元に次の予測を行うため、間違いが連鎖して文章全体が支離滅裂になる現象を指します。