ところがこの数年で研究者はびっくりする結果を目にする。
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
なんと、計算量やデータ量を増やしたところ、
完全に飽和していたと思われた精度が、ある量を境に、急激に改善したのだ。
下記の図の横軸が計算量、縦軸が精度だ。
まじか、とみんな思った。
4/n pic.twitter.com/V51NVCDBWf
上記のグラフは、複数ステップの計算、大学レベルの試験、文脈の言葉の意味を読み取る精度だ
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
この急激なAIの進化は他のところでも観測されており、
例えば「質問の仕方を変えればAIのアウトプットが圧倒的によくなる」という現象も、ある一定の計算量がなければ起こらない
5/n pic.twitter.com/Z2XfPL3gLf
この現象は実はいまだに理解されていない。
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
なぜこんな転換点が存在するのか。
実は人類がこのような現象に出会ったのは初めてではない。
これこそが物理学においてこの100年間研究されてきた「相転移」という現象なのだ。
6/n
昔に、物理学者は還元主義を信じ、
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
「世界の最小単位のものの振る舞いを理解すれば、世界の全てを理解できるはず」
と思っていた時代があった。
これをPhilip Andersonという稀代の物理学者が
More is Different (量が質を変える)
という論文でパラダイムシフトを起こした
7/n
端的にいえば、原子が1個2個と増えたところで物理が変わるわけがない、と思われてたところに
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
いや、1個の原子では水が氷になる、という現象はおこらないが、10の23乗の原子があれば、水は氷になる
と論じた。今では、この世界の物質の最も本質的な理解は相転移にある、と受け入れられている
8/n
物理の場合、この量が質を変える「相転移」を理解することが
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
半導体や量子コンピューターを産むことにつながり
この100年間の科学技術の進化を支えた。
Philip Andersonはこの哲学は、物理から化学へ、化学から生物へ、生物から社会学へと移行する時にも当てはまるのではないか、とも考えた
9/n
AIに戻ると、
— Takuya Kitagawa (@takuyakitagawa) January 29, 2023
去年はComputer scienceの領域で、AIの学習で量が質を変える現象が「発見」された年だった。
今年からはこの現象を説明し、より加速度的にAIが進化する時代に突入する。
第1次、2次産業革命が各種ノーベル物理・化学賞の仕事に支えられたとすれば、それがまたやってくる
10/n