對于 ChatGPT 變笨原因，學(xué)術(shù)界又有了一種新解釋。
加州大學(xué)圣克魯茲分校一項研究指出：
在訓(xùn)練數(shù)據(jù)截止之前的任務(wù)上,，大模型表現(xiàn)明顯更好。
論文重點研究了“任務(wù)污染”問題,，也就是大模型在訓(xùn)練時期就見識過很多任務(wù)示例,，給人一種 AI 擁有零樣本或少樣本能力的錯誤印象。
也有學(xué)者從另一個角度指出,，大模型訓(xùn)練后參數(shù)凍結(jié),，人們不斷提出新的任務(wù)也就是輸入分布不斷變化。如果模型不能不斷適應(yīng)這種變化,，就表現(xiàn)成能力慢慢退化,。
人們以為只提了個問題 AI 就能回答，其實是在訓(xùn)練時見過大多數(shù)常見任務(wù),。
隨時間推移,，人們開始提出更多新問題，AI 表現(xiàn)就不行了,。
比如對于代碼問題,，編程語言還在持續(xù)發(fā)展變化，遲早有一天效率會低到不可接受,。
這是所有不具備持續(xù)學(xué)習(xí)能力模型的命運,。
任務(wù)污染有多嚴重？
研究團隊一共評估了 12 種模型,，從 ChatGPT 之前的 GPT-3 系列,、OPT、Bloom,，到最新的 GPT-3.5-turbo,、羊駝家族 Llama、Alpaca 和 Vicuna 等,。
它們都存在類似問題,，也就是在訓(xùn)練截止之前的任務(wù)上表現(xiàn)明顯更好。
評估任務(wù)污染非常困難,，閉源模型根本不會公布訓(xùn)練數(shù)據(jù),，大多數(shù)開源模型也只是聲明了來源，而不發(fā)布數(shù)據(jù)本身,。
如果研究者重新爬取互聯(lián)網(wǎng)數(shù)據(jù),，也有可能與模型訓(xùn)練時相比發(fā)生了變化。
對此,，團隊采用 4 種方法來測量任務(wù)污染程度：
檢查訓(xùn)練數(shù)據(jù)：直接搜索有沒有相應(yīng)的任務(wù)示例
在開源模型 Alpaca 和 Vicuna 上,，存在訓(xùn)練數(shù)據(jù)污染的任務(wù)表現(xiàn)就比原版 Llama 更好的趨勢明顯,。
提取任務(wù)示例：通過調(diào)整提示詞，讓模型自己把訓(xùn)練數(shù)據(jù)中的任務(wù)示例背出來
從 GPT-3 davinci-001 版本到 GPT-3.5-Turbo,，這個問題越來越嚴重了,。
圖中 X 代表模型復(fù)述出了訓(xùn)練數(shù)據(jù)中的原始任務(wù)示例，綠色代表經(jīng)過指令微調(diào)的模型沒有復(fù)述訓(xùn)練數(shù)據(jù),。
灰色代表未經(jīng)過指令微調(diào)的模型無法根據(jù)提示詞指示復(fù)述訓(xùn)練數(shù)據(jù),，但不代表問題不存在。
成員推斷（只適用于生成任務(wù)）：檢查模型生成的答案是否與原始數(shù)據(jù)完全相同
按時間順序分析：對于已知訓(xùn)練數(shù)據(jù)收集時間的模型,，測量已知發(fā)布時間數(shù)據(jù)集上的表現(xiàn)并使用按時間順序的證據(jù)檢查數(shù)據(jù)污染證據(jù)
前三種方法精度較高,，但召回率較低。如果在任務(wù)的訓(xùn)練數(shù)據(jù)中找到數(shù)據(jù),，則可以肯定它已經(jīng)看到了示例,。
但由于數(shù)據(jù)格式的變化、關(guān)鍵字的變化以及數(shù)據(jù)集的大小,，使用前三種方法沒有找到證據(jù)并不意味著數(shù)據(jù)污染不存在,。
第四種方法召回率高但精度低，容易受干擾因素影響,。
特別是對于 GPT-3 系列,，目前人們假設(shè)其能力提高來自于指令微調(diào)，但研究團隊認為事實并非如此,。
雖然在 2021 年之前的數(shù)據(jù)集上,，davinci-002 比 davinci-001 的性能有所提高,，但在 2021 年之后的數(shù)據(jù)集上性能卻相應(yīng)下降,，
通這表明 GPT-3 系列的指令微調(diào)只適用于某些早期數(shù)據(jù)集。
最后團隊的結(jié)論為：
由于任務(wù)污染,，閉源模型可能會在零樣本或少樣本評估中表現(xiàn)的比實際好,，特別是經(jīng)過 RLHF 微調(diào)的模型。污染的程度仍不清楚,，因此我們建議謹慎行事,。
在實驗中，對于沒有任務(wù)污染可能性的分類任務(wù),，大模型很少在零樣本和少樣本設(shè)置中表現(xiàn)出相對于大多數(shù)基線具有統(tǒng)計學(xué)意義的顯著改進,。
隨著時間推移，觀察到 GPT-3 系列模型在許多下游任務(wù)的零樣本或少樣本性能有所增加,，這可能是由于任務(wù)污染造成的,。
即使對于開源模型，檢查訓(xùn)練數(shù)據(jù)的任務(wù)污染也很困難,。
鼓勵公開發(fā)布訓(xùn)練數(shù)據(jù),，以便檢查任務(wù)污染問題,。
