數(shù)學(xué)和物理是一對老朋友。長期以來，它們見證了技術(shù)發(fā)展的起落，包括計算尺、計算器和Wolfram Alpha等輔助工具。如今，隨著機器學(xué)習(xí)的最新進展應(yīng)用于解決數(shù)學(xué)和物理問題，這些進展提出了一個根本性的問題：讓算法學(xué)會我們思考方式有何意義？

為什么要這么做？

“計算機非常擅長數(shù)學(xué)，指的是它們很擅長解決非常具體的問題?！惫雀柩芯吭旱臋C器學(xué)習(xí)專家蓋伊?古爾阿里（Guy Gur-Ari）說。計算機擅長運算，填入數(shù)字并計算是相對簡單的。但在形式結(jié)構(gòu)之外，計算機則舉步維艱。

解決數(shù)學(xué)文字問題或“定量推理”看起來比較棘手，因為它需要更為穩(wěn)健和嚴密，而解決許多其他問題也許并不需要。雖然機器學(xué)習(xí)模型接受訓(xùn)練的數(shù)據(jù)越多，產(chǎn)生的錯誤越少，但對于定量推理，改進的程度卻很有限。研究人員開始意識到，對于機器學(xué)習(xí)生成模型在解決語言文字問題時產(chǎn)生的錯誤，需要更有針對性的方法。

2021年，來自加州大學(xué)伯克利分校和OpenAI的兩個不同團隊分別發(fā)布了MATH和GSM8K兩個數(shù)據(jù)集，這兩個數(shù)據(jù)集包含了涉及幾何、代數(shù)和微積分基礎(chǔ)等的數(shù)千個數(shù)學(xué)問題?！拔覀兙褪窍胍纯?，數(shù)據(jù)集是否有問題?！痹?a target="_blank">人工智能安全中心研究MATH的研究員史蒂文?巴薩特（Steven Basart）說。用格式更好的、更大的數(shù)據(jù)集進行訓(xùn)練，是否能夠修復(fù)機器學(xué)習(xí)定量推理的錯誤？MATH團隊發(fā)現(xiàn)，定量推理對最高級的機器學(xué)習(xí)語言模型也頗具挑戰(zhàn)，其得分不到7%。（人類研究生的得分為40%，而國際數(shù)學(xué)奧林匹克競賽冠軍的得分為90%。）

GSM8K數(shù)據(jù)集則是更簡單的小學(xué)階段問題，受訓(xùn)模型的準確率達到了約20%。為了實現(xiàn)這種準確率，OpenAI的研究人員使用了兩種技術(shù)：精調(diào)和驗證。在精調(diào)中，研究人員采用一個包含不相關(guān)信息的預(yù)訓(xùn)練語言模型，在訓(xùn)練中僅展示相關(guān)信息（數(shù)學(xué)問題）；驗證則允許模型重新審視其錯誤。

當(dāng)時，OpenAI預(yù)測，需要使用100倍的數(shù)據(jù)對模型進行訓(xùn)練，才能在GSM8K上達到80%的準確率。但2022年6月，谷歌的Minerva宣布，小規(guī)模擴大訓(xùn)練即可實現(xiàn)78%的準確率。OpenAI的機器學(xué)習(xí)專家卡爾·科布（Karl Cobbe）說：“這超出我們所有的預(yù)期?！卑退_特表示同意，他說：“這太令人震驚了，我還以為要花很長的時間?！?br />
Minerva使用了谷歌自己的通路語言模型（PaLM），根據(jù)來自arXiv的科學(xué)論文和其他來源進行格式化數(shù)學(xué)精調(diào)。此外，幫助Minerva的還有另外兩個策略。在“思維鏈提示”中，要求Minerva將較大的問題分解為更容易接受的小問題。該模型還使用多數(shù)投票，而不是僅要它提供一個答案或?qū)⒁粋€問題解算100次。在這些結(jié)果中，Minerva選出最常見的答案。

這些新策略帶來了巨大的好處。Minerva在MATH上實現(xiàn)了高達50%的準確率，在GSM8K上的準確率接近80%。在MMLU上也是這樣，MMLU是一個包含化學(xué)和生物的STEM普通問題集。對問題略微調(diào)整后隨機取樣，讓Minerva重新進行計算，其表現(xiàn)也很好，這表明，這個能力不僅源自記憶。

關(guān)于數(shù)學(xué)，Minerva了解哪些、不了解哪些，是很模糊的。這與數(shù)學(xué)家使用的帶有內(nèi)置結(jié)構(gòu)的“證明助手”不同，Minerva和其他語言模型沒有形式結(jié)構(gòu)。它們可能會產(chǎn)生奇怪、混亂的推理，但仍然可得出正確的答案。隨著數(shù)字的增大，語言模型的準確度會下降，這對于可靠的老式TI-84 Plus計算器，是絕不會發(fā)生的。

“它到底是聰明？還是不聰明？”科布問。雖然像Minerva一樣的模型也許能夠得出與人類一樣的答案，但其遵循的實際過程可能完全不相同。另一方面，曾被要求“展示自己的作業(yè)”的學(xué)生都很熟悉“思維鏈提示”。

谷歌研究院的機器學(xué)習(xí)專家伊桑?戴爾（Ethan Dyer）說：“我認為人們有這樣一個概念，做數(shù)學(xué)的人有某種嚴格的推理系統(tǒng)，在已知和未知之間有明顯的區(qū)別?！钡艘部赡艿贸霾灰恢碌拇鸢浮稿e誤和未能應(yīng)用核心概念。在機器學(xué)習(xí)的這一前沿，邊界是模糊的。

像物理學(xué)家一樣思考

粒子物理的數(shù)據(jù)與眾不同。雖然已經(jīng)證實卷積神經(jīng)網(wǎng)絡(luò)（CNN）對樹木、貓和食物等日常物體圖片的分類非常高效，但它并不適合粒子碰撞。加州大學(xué)圣地亞哥分校的粒子物理學(xué)家哈維爾?杜爾特（Javier Duarte）表示，問題在于來自大型強子對撞機（LHC）的碰撞數(shù)據(jù)無法作為圖像。

華而不實地描述LHC碰撞可誤導(dǎo)甚至堵塞整個探測器。實際上，在數(shù)百萬個輸入中只有少量幾個輸入在記錄信號，就像白屏中有幾個黑色像素。這導(dǎo)致卷積神經(jīng)網(wǎng)絡(luò)中的圖像質(zhì)量很差，但在一個被稱為圖形神經(jīng)網(wǎng)絡(luò)（GNN）的不同新框架中，效果則很好。

除了格式奇怪以外，還有大量的數(shù)據(jù)，大約為每秒約1拍字節(jié)，其中只有少量高質(zhì)量數(shù)據(jù)被保存下來。為了更好地篩選數(shù)據(jù)，研究人員想要訓(xùn)練更敏銳的算法。杜爾特說，要想提高效率，這種算法要具備驚人的速度，在微秒內(nèi)執(zhí)行。剪裁和量化等機器學(xué)習(xí)技術(shù)能使算法達到目標。

借助機器學(xué)習(xí)，粒子物理學(xué)家可以從不同的角度觀察數(shù)據(jù)。他們不僅關(guān)注單個事件，還學(xué)習(xí)和思考碰撞期間發(fā)生的幾十個其他事件，例如希格斯玻色子衰變?yōu)閮蓚€光子。雖然任意兩個事件之間沒有因果關(guān)系，但研究人員現(xiàn)在接受一個更全面的數(shù)據(jù)視圖，而不僅是單個事件分析得出的零碎視圖。

更引人注目的是，機器學(xué)習(xí)還迫使物理學(xué)家重新審視基本概念。麻省理工學(xué)院的理論粒子物理學(xué)家杰西?泰勒（Jesse Thaler）說：“過去，我自己對對稱性的看法不嚴密，強迫自己教授計算機什么是對稱，也是幫助自己理解對稱到底是什么?！睂ΨQ需要參考系，換言之，鏡子中變形的球體圖像到底是否對稱？如果不知道鏡子本身是否變形，就無法知道答案。

粒子物理學(xué)中的機器學(xué)習(xí)仍然處于早期階段，實際上，研究人員現(xiàn)在對待相關(guān)技術(shù)就像對待廚房的洗碗池。杜爾特承認：“它也許不適合粒子物理學(xué)中的每一個問題?！?br />
在一些粒子物理學(xué)家深入研究機器學(xué)習(xí)的同時，腦中浮現(xiàn)出一個令人不安的問題：他們是在研究物理學(xué)還是在研究計算機科學(xué)？往往不被視為“真正的物理學(xué)”的編程已經(jīng)存在；類似的擔(dān)憂也在困擾機器學(xué)習(xí)。有的研究人員擔(dān)心機器學(xué)習(xí)會遮掩非常復(fù)雜的情況，他們正在構(gòu)建算法，使用人類能夠理解的語言來提供反饋。而算法也許不是唯一負責(zé)溝通的主體。

泰勒說：“另一方面，我們希望機器能夠?qū)W習(xí)如何像物理學(xué)家那樣思考。我們也要多學(xué)習(xí)如何像機器那樣思考。我們需要學(xué)會講對方的語言。”

審核編輯：劉清