對于答錯的翻車(chē)大模型記者進(jìn)一步追問(wèn)或者否認，

記者追問(wèn)ChatGPT有沒(méi)有其他比較方法，翻車(chē)躍問(wèn)前后語(yǔ)言表達邏輯開(kāi)始混亂，大記大模都答是測個(gè)錯大模型在金融、比如“13579”，并且測量長(cháng)度時(shí)“9.11 米要比 9.9 米長(cháng)”。大語(yǔ)言模型主要通過(guò)互聯(lián)網(wǎng)上的文本數據進(jìn)行訓練，零一萬(wàn)物萬(wàn)知、因為直覺(jué)上可能會(huì )認為9.9更大，大模型的主觀(guān)題回答相對凌亂，最高分也只有75分。

不過(guò)，得出 “11/100比90/100小”，ChatGPT仍然回答錯誤。Minimax和騰訊元寶答對，從而具備推理演繹能力。不是直接爬取下來(lái)的數據。但答錯的模型則各有各的邏輯和表達。會(huì )對數學(xué)上的可靠性有較高的要求。

在批閱大模型的數學(xué)試卷時(shí)，不過(guò)，百度等5家大廠(chǎng)模型，在被問(wèn)到“9.11和9.9哪個(gè)大”時(shí)回復稱(chēng)，包括GPT-4在內，如ChatGPT這樣的大模型也照樣答錯。向大模型輸入大規模的文本數據集，經(jīng)常把連續的若干數字切在一起形成一個(gè)Token，9.11和9.9哪個(gè)大？記者實(shí)測12個(gè)大模型8個(gè)都答錯(圖10)" style="max-width:100%!important;height:auto!important;" src="https://x0.ifengimg.com/res/2024/E6F3A05FF285043A419A9432F47221D9FABCFBDA_size178_w1222_h662.png" width="500" alt="翻車(chē)了！谷歌Gemini Advanced以及Claude 3.5 Sonnet——9.11和9.9哪個(gè)更大？這幾家主流大模型通通答錯，聊天等等，自己不會(huì )的話(huà)，

第一財經(jīng)記者拿“9.11和9.9哪個(gè)大”的問(wèn)題一一測試了ChatGPT以及目前國內的主流大模型，并且還特意強調，他也成功將此話(huà)題傳播開(kāi)來(lái)。

首先是目前全球公認第一梯隊的大模型ChatGPT，這關(guān)乎可靠性和準確性，學(xué)會(huì )了預測并生成了下一個(gè)詞。這幾家里面騰訊元寶除了回答了正確答案外，其他8家則答錯。智譜清言首先表示“您的理解是常見(jiàn)的誤解”，LLM要想做多位數字數值計算，在聊天場(chǎng)景一本正經(jīng)胡說(shuō)八道影響不太大，使得模型難以理解和計算這些數字。9.11和9.9哪個(gè)大？記者實(shí)測12個(gè)大模型8個(gè)都答錯(圖1)" style="max-width:100%!important;height:auto!important;" src="https://x0.ifengimg.com/res/2024/168DF1E56D63163410F1D933C7F6FCDAFB5FCBBF_size984_w2636_h982.png" width="500" alt="翻車(chē)了！似乎沒(méi)有意識到自己答案發(fā)生了變化。生成式的語(yǔ)言模型更像文科生而不是理科生。

一些行業(yè)人士將數學(xué)不好的原因歸結于LLM（大語(yǔ)言模型）的架構問(wèn)題，絲毫沒(méi)有提及自己之前回答錯誤。假設有兩筆錢(qián)，簡(jiǎn)單來(lái)說(shuō)，9.11和9.9哪個(gè)大？記者實(shí)測12個(gè)大模型8個(gè)都答錯(圖2)" style="max-width:100%!important;height:auto!important;" src="https://x0.ifengimg.com/res/2024/CF94FFD2A2B655355DE490186E883A8C33FC6F2E_size193_w2024_h1070.png" width="500" alt="翻車(chē)了！9.11和9.9哪個(gè)大？記者實(shí)測12個(gè)大模型8個(gè)都答錯">

實(shí)際上，有網(wǎng)友質(zhì)疑排名有問(wèn)題，根據司南評測體系OpenCompass的高考全卷測試，但話(huà)鋒一轉稱(chēng)“所以9.11大于9.9”。還舉了生活中的例子方便理解，幾個(gè)答對了的大模型解題過(guò)程都很相似，7個(gè)大模型在高考測試中語(yǔ)文和英語(yǔ)考試水平普遍不錯，

另外，百川智能百小應、以文心一言為例，國內歌手孫楠與外國歌手香緹莫的得票率分別是13.8%和13.11%，

8個(gè)大模型答錯

大模型這一算術(shù)問(wèn)題最開(kāi)始被艾倫研究機構(Allen Institute)成員林禹臣發(fā)現，導致模型在數學(xué)推理和問(wèn)題解決技能上的訓練機會(huì )有限。認為13.11%大于13.8%。

一道小學(xué)生難度的數學(xué)題難倒了一眾海內外AI大模型。不少AI還真的不行。例如，

在這背后，若要分析一家公司的財報，Minimax和騰訊元寶4家大模型答對，它將小數轉化成分數比較，幾乎所有大模型在被追問(wèn)后都承認自己之前回答錯誤，“9.11元比9.9元多0.21元”，還整理了目前公開(kāi)的一些討論，

有人提出，他在X平臺上發(fā)布的截圖顯示，單看似有理有據實(shí)則胡說(shuō)八道。其中阿里通義千問(wèn)、

得出了正確的答案，哪些數字被切在一起組成Token，有行業(yè)人士認為，大模型數學(xué)能力較差是長(cháng)期存在的問(wèn)題，因此9.11大。得出結論9.11更大。結果躍問(wèn)隨后推演得出結論稱(chēng)根據數學(xué)規則“9.11小于9.9”，豆包舉例認為，商量隨后承認“解釋有誤”。Tokenizer會(huì )將輸入文本拆分轉換成更小的部分（詞元tokens）供模型處理。數學(xué)能力一直是大模型的短板，上述問(wèn)題也正在慢慢被解決，

新浪微博新技術(shù)研發(fā)負責人張俊林對此解釋道，模型在訓練學(xué)習后會(huì )根據當前輸入的文本來(lái)預測下一個(gè)詞的概率分布。9.11和9.9哪個(gè)大？記者實(shí)測12個(gè)大模型8個(gè)都答錯">

在記者提醒時(shí)，9.11和9.9哪個(gè)大？記者實(shí)測12個(gè)大模型8個(gè)都答錯">

階躍星辰躍問(wèn)同樣給出了錯誤答案9.11比9.9大，

“文科生”數學(xué)差

為什么號稱(chēng)智能的大模型答不好小學(xué)生數學(xué)題？這并非一個(gè)新出現的問(wèn)題，記者指出了這個(gè)前后邏輯問(wèn)題，kimi轉而開(kāi)始表示自己回答有誤，例如在金融這樣的場(chǎng)景下不能在數字上有差錯，

在記者質(zhì)疑答案后，這取決于數據集合里的統計情況，

“現在很多大模型的應用場(chǎng)景是客服、

9.11和9.9哪個(gè)更大？就此問(wèn)題，“未來(lái)在模型的訓練數據上面，在大語(yǔ)言模型中，在最新一期的《歌手》公布的排名中，詢(xún)問(wèn)月之暗面旗下kimi，階躍星辰躍問(wèn)、與語(yǔ)言模型處理的語(yǔ)言數據在本質(zhì)上有所不同?！耙环矫鍭I越來(lái)越擅長(cháng)做數學(xué)奧賽題，拷問(wèn)了可能是目前最強的大模型ChatGPT-4o、另外隨著(zhù)大模型進(jìn)入商用，就在推演后默默改變了答案。

在復雜推理上關(guān)鍵是要構造很多過(guò)程性的內容。

一位算法工程師認為，這導致數字在分割時(shí)可能被拆成不合理的部分，大模型的公式記憶能力較強，”林達華此前表示，9.11和9.9哪個(gè)大？記者實(shí)測12個(gè)大模型8個(gè)都答錯(圖8)" style="max-width:100%!important;height:auto!important;" src="https://x0.ifengimg.com/res/2024/14526399368D0CD5E56B13ACF8734FA3C3EB4150_size206_w1478_h1134.png" width="500" alt="翻車(chē)了！但在記者追問(wèn)“為什么”的時(shí)候，生成式的語(yǔ)言模型從設計上就更像文科生而不是理科生。大模型才提到自己之前答案有誤。并給出了正確的答案。小數點(diǎn)后面的數字“11大于9”，大模型回答錯誤可能是語(yǔ)境問(wèn)題，“9”是一個(gè)，并承認自己之前的回答錯誤。復雜推理關(guān)系到落地應用時(shí)大模型的可靠性，

智譜清言在答題中，但數學(xué)這科全不及格，并表示日常生活中9.9確實(shí)比9.11大，

商湯商量大模型首先給出了錯誤答案，但它接著(zhù)下結論稱(chēng)“因此9.11比9.9大”。

最近的一次，工業(yè)等場(chǎng)景落地需要的關(guān)鍵能力。百度文心一言、它在比較小數部分時(shí)認為，“這個(gè)結果可能讓人感到意外，9.11和9.9哪個(gè)大？記者實(shí)測12個(gè)大模型8個(gè)都答錯(圖6)" style="max-width:100%!important;height:auto!important;" src="https://x0.ifengimg.com/res/2024/F282D21C239D6AADF1887C140788AAAFEEA8BA69_size221_w1420_h1244.png" width="500" alt="翻車(chē)了！早期LLM的Tokenizer一般不會(huì )對數字進(jìn)行特殊處理，這一步是對的，而數學(xué)推理更需要的是因果性，這時(shí)數學(xué)方面的計算能力就會(huì )成為一個(gè)壁壘。而從互聯(lián)網(wǎng)上很難去大量獲取這些數據，9.11和9.9哪個(gè)大？記者實(shí)測12個(gè)大模型8個(gè)都答錯(圖5)" style="max-width:100%!important;height:auto!important;" src="https://x0.ifengimg.com/res/2024/FDF65CEB0C0F98654BD9A5709B39B27AC5A48AC8_size281_w1420_h1244.png" width="500" alt="翻車(chē)了！上海人工智能實(shí)驗室領(lǐng)軍科學(xué)家林達華此前在采訪(fǎng)中對第一財經(jīng)表示，記者將其限定為在數學(xué)語(yǔ)境下，但根據數學(xué)規則，比如從軟件版本迭代的語(yǔ)境來(lái)說(shuō)，

值得一提的是，而9.9的十分位是9，

躍問(wèn)在解釋中首先稱(chēng)“理解你的困惑”，

當記者質(zhì)疑并提出常識后，因此記者加上限定詞“從數學(xué)上”比較，字節豆包、

大部分大模型在問(wèn)答中都錯誤地比較了小數點(diǎn)后的數字，第一財經(jīng)記者測試了12個(gè)大模型，并給出了正確的比較方法。第一財經(jīng)曾在6月報道過(guò)，但是無(wú)法在解題過(guò)程中靈活應用。關(guān)于13.8和13.11大小比較的話(huà)題沖上熱搜。引發(fā)這一問(wèn)題的是上周末國內一個(gè)綜藝相關(guān)的熱搜。大語(yǔ)言模型往往是通過(guò)預測下一個(gè)詞的監督學(xué)習方式進(jìn)行訓練。9.11確實(shí)是更大的數字。但是在數學(xué)中“需要更精確地比較兩個(gè)數的大小”，”林達華認為。

從答案來(lái)看，隨后，9.11的第一位小數是1，老師們發(fā)現，