相信很多大家對(duì)長(zhǎng)上下文能力只是吹牛？最強(qiáng)GPT-4o正確率僅55.8%，開(kāi)源模型不如瞎蒙還不知道吧，今天菲菲就帶你們一起去了解一下~.~！

【新智元導(dǎo)讀】當(dāng)今的LLM已經(jīng)號(hào)稱能夠支持百萬(wàn)級(jí)別的上下文長(zhǎng)度，這對(duì)于模型的能力來(lái)說(shuō)，意義重大。但近日的兩項(xiàng)獨(dú)立研究表明，它們可能只是在吹牛，LLM實(shí)際上并不能理解這么長(zhǎng)的內(nèi)容。

大數(shù)字一向吸引眼球。

千億參數(shù)、萬(wàn)卡集群，——還有各大廠商一直在卷的超長(zhǎng)上下文。

從一開(kāi)始的幾K幾十K，發(fā)展到了如今的百萬(wàn)token級(jí)別。

Gemini的最新版本可以接收200萬(wàn)個(gè)token作為上下文。

這大概相當(dāng)于140萬(wàn)個(gè)單詞、2小時(shí)視頻或者22小時(shí)的音頻。

圖源備注：圖片由AI生成，圖片授權(quán)服務(wù)商Midjourney

但不知諸位平時(shí)用得著這么長(zhǎng)的上下文嗎?畢竟100K已經(jīng)相當(dāng)于一部比較長(zhǎng)的小說(shuō)了。

更重要的是，LLM真的能在這個(gè)長(zhǎng)度上進(jìn)行推理嗎?

近日，有兩篇獨(dú)立研究分別表明:長(zhǎng)上下文水分很大!LLM實(shí)際上并不能「理解」內(nèi)容。

首先是來(lái)自UMass、AI2和普林斯頓的研究人員，推出了一項(xiàng)針對(duì)性的測(cè)試。

論文地址:https://arxiv.org/pdf/2406.16264

代碼和示例數(shù)據(jù):https://github.com/marzenakrp/nocha

當(dāng)前傳統(tǒng)的長(zhǎng)上下文測(cè)試手段一般被稱為「大海撈針」（needle-in-a-haystack）:

將一個(gè)事實(shí)（針）嵌入到大量的上下文信息(干草堆)中，然后測(cè)試模型能否找到這根「針」，并回答與之相關(guān)的問(wèn)題。

這種方式基本上衡量的是LLM的檢索能力，有些流于表面。

于是研究人員構(gòu)建了NoCha（小說(shuō)挑戰(zhàn)）數(shù)據(jù)集，讓模型根據(jù)所提供的上下文(書(shū)籍)驗(yàn)證聲明的真假。

如下圖所示，由小說(shuō)的粉絲根據(jù)書(shū)籍內(nèi)容，提出關(guān)于同一事件或角色敘述的一對(duì)相反的聲明。

LLM看完小說(shuō)后需要分別判斷兩個(gè)問(wèn)題的真假（確保是根據(jù)理解做題，打擊在考場(chǎng)上瞎蒙的）。

對(duì)于一對(duì)問(wèn)題的回答有四種情況，只有兩個(gè)問(wèn)題全對(duì)時(shí)才能得一分。

研究人員測(cè)試了目前最強(qiáng)的一些長(zhǎng)上下文模型（包括閉源和開(kāi)源），并將成績(jī)單貼在墻上，公開(kāi)處刑:

首當(dāng)其沖的是GPT-4o，雖然全班第一，但是55.75分。

而開(kāi)源陣營(yíng)的成績(jī)直接慘不忍睹，表現(xiàn)最好的Command R（simple）只有22.47%的準(zhǔn)確率。

——要知道，這考試瞎蒙也能得25分（四選一）。

當(dāng)然，這也說(shuō)明人家不是瞎蒙的，確實(shí)動(dòng)腦子了。

另一篇研究來(lái)自UCSB，考察的是視覺(jué)大模型（VLM）的長(zhǎng)上下文能力。

論文地址:https://arxiv.org/pdf/2406.16851

主要的實(shí)驗(yàn)思路如下圖所示，研究人員通過(guò)不斷增加上下文長(zhǎng)度（干擾圖片的數(shù)量），將現(xiàn)有的VQA基準(zhǔn)和簡(jiǎn)單圖像識(shí)別集 (MNIST) 擴(kuò)展為測(cè)試長(zhǎng)上下文「提取推理」的示例。

結(jié)果在簡(jiǎn)單VQA任務(wù)上，VLM的性能呈現(xiàn)出驚人的指數(shù)衰減。

——LLM:原形畢露了家人們。

而與實(shí)際研究相對(duì)的，在今年早些時(shí)候，谷歌展示了幾個(gè)預(yù)先錄制的演示。

讓Gemini1.5Pro搜索阿波羅11號(hào)登月的電視直播記錄（約402頁(yè)），查找包含笑話的引語(yǔ)，以及在電視直播中找到與鉛筆素描相似的場(chǎng)景。

主持這次簡(jiǎn)報(bào)會(huì)的谷歌DeepMind研究副總裁Oriol Vinyals表示，「Gemini1.5Pro可以在每一頁(yè)、每一個(gè)單詞上執(zhí)行此類推理任務(wù)?！?/p>

一千零一夜

第一篇工作被作者命名為「One Thousand and One Pairs」（下面這盞燈應(yīng)該也是這么來(lái)的）。

一千零一在這里有兩個(gè)含義，首先用于測(cè)試的材料基本都是小說(shuō)，對(duì)于大模型來(lái)說(shuō)，算是故事會(huì)了;

其次，作者真的花錢請(qǐng)人注釋了剛剛好1001個(gè)問(wèn)題對(duì)。

為了保證模型無(wú)法依靠自己的知識(shí)來(lái)作弊，這1001個(gè)問(wèn)題大部分來(lái)自于最近出版的虛構(gòu)敘事類讀物。

NoCha數(shù)據(jù)集包括63本新書(shū)（33本于2023年出版，30本于2024年出版）和四本經(jīng)典小說(shuō)，書(shū)籍的平均長(zhǎng)度為127k個(gè)token(約98.5k個(gè)單詞)。

注釋者首先寫出關(guān)于書(shū)中事件或人物的真實(shí)陳述，然后針對(duì)同一對(duì)象創(chuàng)建相應(yīng)的虛假陳述，同時(shí)還需要給出一個(gè)簡(jiǎn)短的解釋，說(shuō)明為什么這些說(shuō)法是正確或錯(cuò)誤的。

為了確保聲明的質(zhì)量，作者聘請(qǐng)了讀過(guò)相同書(shū)籍的注釋者，來(lái)驗(yàn)證五本書(shū)中的128個(gè)聲明，并最終對(duì)其中的124個(gè)達(dá)成了一致。

下面給出參加本次考試的考生信息（開(kāi)源和閉源兩大陣營(yíng)）:

以及考試成績(jī):

如果按照小說(shuō)類型劃分，所有六個(gè)閉源模型在歷史小說(shuō)上的準(zhǔn)確率為56.4%，當(dāng)代小說(shuō)為46.8%，推理小說(shuō)為38.8%。

對(duì)于每個(gè)模型來(lái)說(shuō)，都是歷史小說(shuō)的準(zhǔn)確度最高，當(dāng)代小說(shuō)次之，推理小說(shuō)的準(zhǔn)確度最低。

從這個(gè)結(jié)果來(lái)看，貌似LLM的推理更多依賴于自身參數(shù)中的知識(shí)。

接下來(lái)做個(gè)對(duì)比實(shí)驗(yàn):如果某個(gè)主張可以通過(guò)書(shū)中的一小部分內(nèi)容來(lái)單獨(dú)驗(yàn)證，那么提供本書(shū)的其余部分是否會(huì)影響其準(zhǔn)確性?

上圖顯示了在四個(gè)短篇故事集上的模型性能，每?jī)尚袨橐唤M，上面一行表示給出整本書(shū)（約129k token）時(shí)的準(zhǔn)確率，下面表示只給出與聲明相關(guān)的部分(約21k token)。

Gemini對(duì)于添加上下文的表現(xiàn)相對(duì)穩(wěn)健，而Claude-3-Opus的準(zhǔn)確度直接下降了44.5%，Claude-3.5-Sonnet、GPT-4-Turbo和GPT-4o的表現(xiàn)也大幅下降。

作者表示，與句子層面的檢索任務(wù)相比，模型在驗(yàn)證需要考慮整本書(shū)（或大部分）內(nèi)容的問(wèn)題時(shí)，顯得力不從心。

另外，書(shū)中的一些隱含信息對(duì)于人類讀者來(lái)說(shuō)是明確的，但LLM卻無(wú)法理解。

大海撈針

另一項(xiàng)研究來(lái)自加州大學(xué)圣巴巴拉分校（UCSB），作者引入了 LoCoVQA，一種帶有干擾項(xiàng)的長(zhǎng)上下文視覺(jué)問(wèn)答 (VQA) 基準(zhǔn)生成器。

LoCoVQA可以提供與問(wèn)題相關(guān)的圖像序列，以及一組可配置的視覺(jué)干擾項(xiàng)，從而準(zhǔn)確評(píng)估VLM如何在雜亂的上下文中僅提取與查詢相關(guān)的信息。

從原理上講，這也是一項(xiàng)「大海撈針」的任務(wù)。

另外，LoCoVQA的方法能夠以任意圖像理解數(shù)據(jù)集為基礎(chǔ)，創(chuàng)建長(zhǎng)上下文圖像理解測(cè)試。

通過(guò)LoCoVQA合成的樣本包含一個(gè)或多個(gè)與問(wèn)答對(duì)（

　　免責(zé)聲明：本文由用戶上傳，與本網(wǎng)站立場(chǎng)無(wú)關(guān)。財(cái)經(jīng)信息僅供讀者參考，并不構(gòu)成投資建議。投資者據(jù)此操作，風(fēng)險(xiǎn)自擔(dān)。 如有侵權(quán)請(qǐng)聯(lián)系刪除！