您現在的位置:首頁 > 資訊 > 國內 > 正文

        環球觀察:大語言模型中的涌現現象是不是偽科學?

        時間:2023-05-10 19:43:07    來源:程序員客棧    

        Datawhale干貨


        (資料圖)

        作者:平凡@知乎,諾桑比亞大學,在讀博士

        今天晚上,花了一點兒時間看了兩篇文章:

        《Emergent Abilities of Large Language Models》[1]

        《PROGRESS MEASURES FOR GROKKING VIA MECHANISTIC INTERPRETABILITY》[2]

        這兩篇講的都是emergent behavior,即涌現現象。

        大規模神經網絡下的涌現現象

        在機器學習中使用大規模神經網絡時,由于增加了參數數量、訓練數據或訓練步驟等因素,出現了定性上的新能力和性質,這些能力和性質在小規模神經網絡中往往是不存在的。

        第一篇文章舉了這個例子,每個圖都可以理解為一個任務,橫軸是神經網絡的規模,而縱軸是準確率,可以理解為模型的性能。

        我們拿圖一來看,在10的22次方前,這些模型基本上的性能基本上都很穩定在0附近,而在10的22以后,突然在10的24次方上獲得了很大的性能提升,在其他的幾個任務上都表現出類似的特征。

        意想不到的效果

        第二篇文章更是有趣,我直接把推特一位博主的評論引用在這里:

        作者發現,當我們訓練用網絡計算同余加法 a+b = ? (mod c) 時,網絡在某個時間突然獲得了 100% 準確率。分析發現,神經網絡實際上“頓悟”了使用傅立葉變換來計算同余加法!這個算法可以證明是正確的, 反人類直覺的。

        從這倆例子里面我的感受是,只要數據量足夠且真實,且模型沒有硬錯誤的前提下,不斷的訓練說不定真的能夠產生一些意想不到的效果。

        還有就是我覺得人類現在積累的知識并不少,但是系統的少,零星的多,如果類似ChatGPT這樣的大模型可以拿所有的人類已有知識進行不斷學習的話,我覺得有很大概率會讓它涌現出意想不到的能力。

        甚至可能把人類的生產力解放提前很多。

        參考

        1.https://arxiv.org/pdf/2206.07682.pdf2.https://arxiv.org/pdf/2301.05217.pdf

        關鍵詞:
        相關新聞

        最近更新

        凡本網注明“XXX(非汪清新聞網)提供”的作品,均轉載自其它媒體,轉載目的在于傳遞更多信息,并不代表本網贊同其觀點和其真實性負責。

        特別關注

        • 省委召開常委會議

          今天,在中央第一環境保護督察組向吉林省反饋督察情況后,省委書記巴音朝魯立即主持召開省委常委會議,聽取關于中央環保督察反饋問題整改工

          2017-12-29 14:30

        • 2017年全球十大航天新聞和中國十大航天新聞評選揭曉。

          新浪科技訊 12月28日消息,由空間瞭望智庫、《國際太空》和《衛星應用》雜志,以及中國太空網聯合組織的2017年全球十大航天新聞和中國十大

          2017-12-28 21:47

        • 五星級酒店馬桶刷洗茶杯,酒店以后還能住嗎?

          保潔人員先用馬桶刷子刷茶杯,隨后用同一把馬桶刷子刷馬桶。緊接著,她用浴巾擦杯子,再蘸了馬桶水擦地,最后將浴巾放在地上整理。馬桶刷刷

          2017-12-28 21:12

        • 這些政策將影響你明年錢袋子

          近日,國家發改委、住建部、商務部、工信部、交通部等部委密集召開年度工作會議,貫徹落實中央經濟工作會議精神,部署2018年的重點工作,在

          2017-12-27 21:40

        • 生態文明建設年度評價結果公布:吉林排名靠前

          根據中共中央辦公廳、國務院辦公廳印發的《生態文明建設目標評價考核辦法》和國家發展改革委、國家統計局、環境保護部、中央組織部印發的《

          2017-12-26 16:34

        • 長春市公安局寬城區分局“一號追逃目標”嫌疑人喜歡二人轉“露出馬腳”

          21年前的12月25日,這一天是圣誕節,雖然是西方的節日,但隨著夜幕降臨,歡樂的節日氣氛也隨之而來。當晚,八點多鐘,長春市寬城區的一家藥

          2017-12-15 22:18

        • “第一動力”正加力

          十九大報告再次明確創新的地位:創新是引領發展的第一動力,是建設現代化經濟體系的戰略支撐。2017年,我省創新成果豐碩,形成了跟跑、齊跑

          2017-12-12 10:34

        • 中紀委機關談反腐

          每到關鍵節點,人們總是根據一些重要信號來判斷一項工作的走勢。十九大閉幕后的首月,人們熟悉的打虎節奏和信息如約而至,中央紀委監察部網

          2017-12-08 12:32

        • 撐起“半壁江山” 釋放更強動力

          長春、通化、白山、遼源入選東北地區民營經濟發展改革示范城市,在政策環境、金融環境、創新環境、促進民營經濟轉型升級及人才隊伍建設等方

          2017-12-08 12:21

        • 300城市土地市場量跌價漲 成交均價上漲

          11月,全國300城市土地市場供求回落,但各線城市土地成交均價環同比繼續上漲。綜合前11個月來看,年度土地出讓收入整體保持同比上漲勢態。6

          2017-12-07 18:43