問題 No.633
ディープニューラルネットワークの学習において、巨大なネットワーク全体が不可欠なわけではなく、ランダムに初期化されたネットワークの中には、最初から高い性能を達成できる幸運な初期値を持つ部分的なネットワークが偶然含まれているという考え方がある。この考え方に基づき、不要なパラメータを学習の早い段階で削ぎ落とす枝刈りの研究に大きな影響を与えた仮説の名称はどれか。
【正解の解説】
宝くじ仮説
宝くじ仮説は、大きなネットワークの中には、最初から優れた性能を発揮できる「当たり」のネットワーク構造が潜んでいるという考え方です。
スポンサーリンク
【その他の選択肢の解説】
分布仮説
分布仮説は、同じ文脈で使われる単語は似た意味を持つという、自然言語処理の基礎となる考え方です。
次元の呪い
次元の呪いは、データが高次元になるほど処理が困難になるという問題のことです。
二重降下現象
二重降下現象は、モデルの複雑さが増すにつれて誤差が一度上がってから再び下がるという現象です。