問題 No.26
ディープラーニングを用いた画像認識システムを医療や自動運転の現場に導入する際、「AIがなぜそのクラスだと判断したのか」という根拠が不明なブラックボックス問題が大きな課題となる。モデルの最終畳み込み層における勾配情報（重み）を利用して、判断の決め手となった画像上の領域を「ヒートマップ」として視覚的に可視化し、人間に説明可能にする技術はどれか。
【正解の解説】
Grad-CAM
Grad-CAMは、CNNの勾配情報を利用して、モデルがどの領域を注目して判断したかをヒートマップで可視化する手法です。画像認識の根拠説明によく用いられます。
スポンサーリンク
【その他の選択肢の解説】
LIME
LIMEは、モデルに少し変化を与えた時の出力の変化を見て、予測の根拠を探る技術です。画像以外のデータにも適用可能な汎用的な手法です。
SHAP
SHAPは、ゲーム理論を応用して、各特徴量が予測にどれだけ寄与したかを算出する手法です。モデルの中身を問わず説明可能な手法として注目されています。
t-SNE
t-SNEは、高次元のデータを低次元に圧縮して可視化する手法です。全体的なデータの分布を確認するもので、特定の判断根拠を示すものではありません。