サイコロと深層学習

あるサイコロを振って１の目が出たとします。それをもって、このサイコロは１が出やすい、と言うことはできません。何回も振り直したときに１が多く出て、はじめて１が出やすいと言えます。

あるモデルを機械学習させた結果、精度Ｘが達成されたとします。それをもって、この学習アルゴリズムは精度Xを達成しやすい、と言うことはできません。何回も学習させたときにその精度が達成されることが多かったら、はじめてその結果が出やすいと言えます。

深層学習も含め多くの機械学習アルゴリズムは非決定的です。学習結果は、モデルパラメータの初期化の仕方、学習データの使われる順番、複数の計算機を使う場合だとパラメータの同期の順番、など様々な要因が影響するため、学習アルゴリズムと訓練データを固定しても全く同じモデルが得られることはまずありません。したがって、サイコロの場合と同じで、一回の試行（学習）結果だけをもって学習アルゴリズムについて何か統計的に有意なことを語ることはできません。

注意しなければいけないのは、ある特定のモデルが達成した精度について議論することと、その学習アルゴリズム（ここではモデルの構造だけではなく、パラメータの初期化方法、最適化手法なども含みます）が達成する「精度」について議論することは、違うことだということです。

サイコロの例で言うと、一度振って１の目が出たとしたら、「そのとき１の目が出た」という結果自体は疑う余地のないことですが、それをもって「そのサイコロは１の目が出やすい」ということは間違いだということです。同様にある学習アルゴリズムを使ってできたモデルが精度Xを達成したら、「そのモデルが精度Xを達成した」というのは疑いようがありませんが、それをもって「その学習アルゴリズムは精度Xを達成しやすい」と主張するのは間違いだということです。

一般に、ある特定の出来事（「そのとき１の目が出た」「そのモデルが精度Xを達成した」）についての知見はひとつの観察事例としては有用ですが、そのままでは他の状況でも適用可能な知識（「そのサイコロは１の目が出やすい」「その学習アルゴリズムは精度Xを達成しやすい」）とはなりません。本来、学術論文では、事例の報告だけではなく、そこからどのような知識が得られるかを根拠を持って主張するはずのものですが、昨今の深層学習界隈の「論文」では数少ない事例から憶測で誇大な主張をしているものが散見されます。根拠が弱い主張を信じて損をするのは短期的には信じた側です。サイコロの一振りにかける博打打ちにならないように注意しましょう。