問題 No.1121
Transformerのデコーダ構造をベースに、膨大なテキストデータから次の単語を予測する事前学習を行うことで圧倒的なテキスト生成能力を持つ言語モデルに関する記述として【不適切なもの】はどれか。
【正解の解説】
モデル内部に完全な論理推論エンジンを備えているため出力される計算結果や事実に誤りは一切発生しない
LLMは確率に基づいて次に来る単語を予測しているだけで、完全な論理推論エンジンを持っているわけではありません。そのため、もっともらしい嘘や計算ミスを犯すことはあります。
スポンサーリンク
【その他の選択肢の解説】
事前のファインチューニングを行わなくても指示文のみで多様なタスクをこなすことができる
大規模言語モデルは、膨大なデータを学習しているため、指示文を与えるだけで（追加学習なしで）様々なタスクをこなすことができます。
モデルのパラメータ数や学習データ量を増やすことで特定の規模から性能が爆発的に向上する現象が確認されている
モデルの規模を大きくすると、ある閾値を超えた途端に性能が急激に向上する現象が知られています。
学習データに存在しない事実に反する情報を、もっともらしく生成してしまうハルシネーションという課題がある
ハルシネーションとは、モデルがもっともらしい嘘をついてしまう現象で、現在のLLMの大きな課題です。