問題 No.174
画像とテキストという異なるモダリティを横断して処理するCLIPなどのモデルでは、「対照学習(コントラスティブラーニング)」という画期的なアプローチが使われている。インターネット上から収集した「画像と、その内容を説明するキャプションのペア」を大量に入力し、正しい画像とテキストの組み合わせの親近性(ベクトル空間上の距離)を近づけ、無関係なペアの距離を遠ざけるように学習させるベクトルの計算手法を何というか。
【正解の解説】
コサイン類似度
2つのベクトルの向きがどれくらい似ているかを、角度の余弦(コサイン)を用いて計算する指標です。1に近いほど似ており、-1に近いほど反対であることを表します。
スポンサーリンク
【その他の選択肢の解説】
セルフアテンション
文章や画像内の関連性の高い箇所に自動的に注目し、情報を汲み取るための仕組みです。
バウンディングボックス回帰
画像の中の物体の四角い枠の座標を、より正確になるように調整する回帰処理のことです。
クロスエントロピー誤差
分類の正解確率と実際の値とのズレを計算するための誤差関数です。どれくらい予測が外れているかを評価します。