問題 No.1054
画像とテキストを共通のベクトル空間に埋め込むマルチモーダルモデルであるCLIPに関する説明として、最も適切なものを1つ選べ。
【正解の解説】
大規模な画像とテキストのペアデータを用い、それらの対応関係をコントラスティブ学習で訓練する。
CLIPは、大量の画像とそれに対応する文章をセットで学習することで、画像の中に何が写っているのかをテキストとして理解できる共通の物差し（ベクトル空間）を作る技術です。
スポンサーリンク
【その他の選択肢の解説】
画像から高精度な文章を生成するデコーダ専用のアーキテクチャである。
CLIPはデコーダだけでなく、エンコーダも含めて画像とテキストの関連性を学習するモデルです。文章そのものを生成するモデルとは役割が異なります。
訓練時と異なる未知のタスクに対してファインチューニングを行わなければ一切対応できない。
CLIPの最大の特徴は、ゼロショット学習という機能です。ファインチューニングをしなくても、学習時になかった新しいタスクに高い汎用性で対応できます。
画像の特定の領域に映る物体の位置を検出してバウンディングボックスを出力する。
CLIPは画像全体と文章の関連性を測るモデルであり、特定の物体の位置を検出する（物体検出タスク）専用のモデルではありません。