問題 No.402
GPTのような自己回帰（Autoregressive）モデルにおいて、推論時の仕組みとして適切なものはどれか。
【正解の解説】
過去に出力した単語を順次入力に戻しながら、確率的に次の単語を一つずつ生成する
正解です。自己回帰モデルは、まず最初の単語を出し、その出力をまた入力として次の単語を予測する、というプロセスを繰り返します。まるで人間が頭の中で言葉を一つずつ繋げながら文章を作るような仕組みです。
スポンサーリンク
【その他の選択肢の解説】
入力された文章を一度にすべて読み込み、全単語を同時に出力する
誤りです。一度にすべてを出力するのではなく、一つずつ順番に生成していくのが自己回帰のポイントです。
入力データをランダムに入れ替えて学習することで、文章の順序性を無視する
誤りです。文章の順序は非常に重要です。ランダムに入れ替えると意味が成立しなくなります。
すべての入力単語に対して、一度の行列演算で全単語の関係を決定する
誤りです。一度の計算で全関係を決めるのはTransformerのアーキテクチャの特徴ですが、自己回帰という言葉は逐次生成のプロセスを指します。