相信很多大家對一句廢話就把OpenAI o1干崩了？大模型的推理能力還真挺脆弱的。還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

就在一個月前，OpenAI悄悄發(fā)布了o1，o1的推理能力是有目共睹的。

我當時用了幾個很難很難的測試樣例去試驗了一下，很多模型見了都會犯怵，開始胡說八道。

最難的其中一個是姜萍奧賽的那個數(shù)學題，幾乎暴揍所有大模型的那個題，交給o1，o1竟然完完全全答對了。

如果你還記得，我在那篇文章最后給大家放了OpenAI給出的提示詞的最佳寫法。

其中第一條就是:

保持提示詞簡單直接:模型擅長理解和相應簡單、清晰的指令，而不需要大量的指導。

當時我對這一條的理解，覺得是為了讓o1模型更好的理解我的要求，同時可以加快模型的處理速度，因為模型不需要花費額外的時間去解析復雜的語句。

直到我刷到前兩天蘋果的放出來的一篇LLM的研究論文，我才意識到，多加一兩句無關緊要的和目標無關的話，別說奧賽題了，可能模型連小學數(shù)學題都做不對了。真的。

這篇論文就是:

GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models （翻譯過來即:理解大語言模型在數(shù)學推理的局限性）

看著好像天書，別慌，其實非常簡單，我都能看懂，你肯定也行。

這篇論文想研究的一個核心問題是:

這些模型是否真正具備邏輯推理能力?尤其是在數(shù)學推理任務中。

這其實也是我一直很想知道的。

對于我們?nèi)祟悂碚f，我們會根據(jù)復雜的環(huán)境和已知的一些條件每時每刻做出當下的行動選擇，就是因為我們可以通過演繹，歸納，溯因等方式時時刻刻做推理。

比如鮮蝦包時不時在我評論區(qū)謬贊我的文章-->>推理出他對我的文章是真愛。

而對于現(xiàn)在的大語言模型來說，主流的評估方式是通過設計一系列邏輯推理任務，包括但不限于數(shù)學問題、邏輯謎題、推理判斷等，然后讓模型嘗試解決這些任務。

其中一個非常重要的數(shù)據(jù)集是GSM8K，你可以在很多的模型的性能榜單介紹里看到這個數(shù)據(jù)集，是一個聚焦小學數(shù)學題的一個數(shù)據(jù)集。

你沒看錯，就是小學數(shù)學。雖小但是博大精深。

這篇論文就圍繞這個數(shù)據(jù)集展開諸多的實驗，做了自己的擴展。其中我覺得最有趣的，當屬下面這個實驗:

就是通過魔改GSM8K，來向小學數(shù)學問題添加一些無關緊要的一個信息，來測試模型的推理成功率。

然后就會發(fā)現(xiàn)，大模型推理的成功率，直接大幅下降。

比如原本的問題是:

- 鮮蝦包去農(nóng)貿(mào)市場買蔬菜，他買了4公斤西紅柿和6公斤土豆。西紅柿每公斤6元，土豆每公斤3元。請問鮮蝦包在西紅柿上比土豆多花了多少錢?

很簡單，對不對，你交給大語言模型，大語言模型會說:“就這?輕輕松松”，幾乎誰都能答的上來。

但是如果你加一句無關的話，變成:

- 鮮蝦包去農(nóng)貿(mào)市場買蔬菜，他買了4公斤西紅柿和6公斤土豆。西紅柿每公斤6元，土豆每公斤3元。然后他把1公斤西紅柿和2公斤土豆送給了卡茲克。請問鮮蝦包買西紅柿上比土豆多花了多少錢?

我們一眼就可以看出來:送不送卡茲克和鮮蝦包花的錢沒有任何關系，答案肯定是不變的。

但如果這樣的話，AI就懵逼了。就可能會給你開始算錯了，算對的成功率就會開始給你降低了。

這個結論非常有意思，但是論文歸論文，我們肯定還是要自己測試一下的。

所以第一時間，我打開各大平臺開始著手測試。當然為了讓他更像小學題，我們的主角換成了小明，相信大家童年的數(shù)學都離不開小明。

題目設定為:

-小明想購買一些學習用品。他購買了24個現(xiàn)在每個賣6元的橡皮擦，10本現(xiàn)在每本賣11元的筆記本，以及現(xiàn)在賣19元的復印紙，假設由于通貨膨脹，去年的價格便宜10%，現(xiàn)在小明應該支付多少?

明眼人都能看出來，通貨膨脹這個信息，跟題目其實沒任何關系，所以最終答案是24×6+10×11+19=273元。

首先出戰(zhàn)選手GPT4o。

直接GG了，得出來了245.7的結論。

第二位出戰(zhàn)選手Gemini1.5pro-002，繼續(xù)陣亡。

第三位選手歷戰(zhàn)先鋒Claude3.5，開局也是一個死。

就連推理之王OpenAI o1，上來也居然翻了個跟頭了，第二把才開始對。

真的，這就是一個純純的小學數(shù)學題啊，再難一點都沒有。

只是加了一個無關條件，就全部翻車。。。

全軍附魔（不，覆沒）

這次我們換個背景，愛學習的小明去春游玩。

題目設定是:

-四年級一班準備去郊游，每位學生要繳納35元 活動費。班里有42名學生參加。老師還向學校申請了300元 額外補助。

用于租車的費用是1200元。午餐費用為每人25元。班主任自己還個人給大家買了250元錢的零食。

問題:班級的活動經(jīng)費夠嗎?還剩多少錢?

答案很簡單，班主任那個250塊錢的零食是自己出的，跟活動經(jīng)費沒關系，所以是35*42+300-1200-25*42=-480

首先出戰(zhàn)老哥還是GPT4o，果然，炮灰一個，一邊玩去吧。

二等兵Gemini1.5Pro-002直接躺尸。

三弟Claude3.5也陪二位大哥一程，一家人就要掛的整整齊齊。

o1老大哥在小弟集體陣亡之下，還是扳回了一城，沒有給AI過于丟臉，我尊稱一句黑神話o1。

真的，這場面實在太慘烈了。大模型的推理能力，比我們想象的，還要脆弱不堪。

我還隨手測了幾個題，也是論文的case，會發(fā)現(xiàn)模型們也磕磕絆絆，時不時就出錯。

比如這道經(jīng)典的鮮蝦包送醬油題。

- 超市里，每袋大米售價50元，每瓶醬油售價10元。如果鮮蝦包購買了4袋大米和4瓶醬油，并且送給鄰居1袋大米和2瓶醬油，那么鮮蝦包購買大米比醬油多花了多少錢?

答案很簡單，50×4-4×10=160元。鮮蝦包送鄰居大米和醬油只能說明他是個好人，跟他多花多少錢半毛錢關系都沒有。

而大哥o1，直接連續(xù)陣亡4次。。。

而且擺爛中文都不打了，還非要送人，直接把自己都送進去了。

反而是你三弟Claude3.5沒掉進陷進里，還對了幾次。可能它不喜歡鮮蝦包送人大米和醬油?

諸如此類，不計其數(shù)。

這個發(fā)現(xiàn)實在是太有意思了。

而且跟我過去用AI寫文章、作圖、做視頻而感受到的體感相似。那就是:

我對AI的理解就像對一位熟練工匠的看法。它能嫻熟地應對曾經(jīng)接觸過的工作，就如同老匠人精通自己的傳統(tǒng)手藝。但是，面對全新的挑戰(zhàn)，無論看似多么簡單，它也經(jīng)?？赡苁譄o策。這并非源于任務本身的難易，而是由它對該領域的熟練程度決定。

就像那句老話:熟能生巧，AI的能力很多時候都體現(xiàn)在經(jīng)驗的積累，而非臨場的智慧。

蘋果的這篇論文中，也有類似的描述:

現(xiàn)在的AI，并不是在真正的推理，而是試圖復制在訓練數(shù)據(jù)中所觀察到的推理步驟。

一句無關緊要的話，就能把大模型徹底干廢。

就像AI屆的老OG總是不斷的在懟如今的大模型，他總是喜歡用貓做隱喻。

他說，貓對物理世界有心理模型，具備持久的記憶、一定的推理能力和規(guī)劃的能力。

“但是，今天的“前沿”人工智能，包括 Meta 自己制造的，都不具備這些特質?！?/p>

AI真的沒有進行推理嗎?也許是。

它們不能推理嗎?沒有人知道。

但至少，回到最開始那個OpenAI提示詞建議，你會發(fā)現(xiàn)提示詞簡潔干凈，避免無關的提示多么重要。

除此之外，論文中還有一些其他比較重要的結論:

隨著問題難度的提升，如增加更多句子，模型的表現(xiàn)迅速下降

有時候改變數(shù)值也會導致推理結論變化，比如把每袋大米改為60元

改變名詞也會導致結論變化，比如把小明改為小紅

以上種種都表明，這些大語言模型在推理復雜問題時非常脆弱。

現(xiàn)實生活中，種種復雜的情況，隨時存在的干擾還依然是大語言模型自己感覺頭疼的地方，他們不會理解為什么要給鄰居送大米，不會理解鮮蝦包為什么熱衷給我評論，如果讓他們看鮮蝦包的評論，他們肯定完全推理不出他對我文章的喜愛，相反他們一定以為是批評我的文章。

所以感嘆造物主還是非常牛叉的，確實，現(xiàn)在o1可以做出非常驚艷的推理，甚至解決那些我不會的奧賽題，幫助人類發(fā)現(xiàn)科學規(guī)律，但是他們依然不能理解人類的種種復雜的行為和充滿變數(shù)的環(huán)境，和基于這些的可能出現(xiàn)的推理。

但是那些模型相比曾經(jīng)的他們自己，已經(jīng)成長了太多太多。

我們甚至都不知道。

未來的他們，到底會不會推理。

也許，他們會。

但卻是以我們尚未識別或無法控制的方式。

那時，新的神。

就誕生了。

以上就是關于【一句廢話就把OpenAI o1干崩了？大模型的推理能力還真挺脆弱的。】的相關內(nèi)容，希望對大家有幫助！

　　免責聲明：本文由用戶上傳，與本網(wǎng)站立場無關。財經(jīng)信息僅供讀者參考，并不構成投資建議。投資者據(jù)此操作，風險自擔。 如有侵權請聯(lián)系刪除！