實踐項目 返回列表

超越ChatGPT:大型語言模型的力量與人類交流的困境

2023/11/17 14:44:55

以GPT3/4爲代表的大型語言模型被業界宣傳爲“基礎性的”, 是人工(gōng)智能(néng)領域科學進步的主要轉折點。這類叙述忽略了大規模的人工(gōng)智能(néng)模型主要由大科技(jì)公司控制,因爲它們需要巨大的計算(suàn)和數據資源,并且還引發了圍繞錯誤信息和歧視、隐私和安全漏洞以及負面環境影響等多(duō)方面的擔憂。同時,無論大型語言模型及其訓練數據集變得多(duō)麽龐大,它們永遠無法像人類一(yī)樣學習和理解我們的語言。在此情況下(xià),本文分析了大型語言模型的四大發展趨勢,并指出,爲了充分了解其範圍和力量,探索大型語言模型如何影響社會的不同方面非常重要。特别是,大型語言模型将帶來人類交流的困境,我們需要傳播理論和基于倫理的傳播實踐的更新,來确定下(xià)一(yī)代傳播研究的面貌。


引言

通(tōng)過交流,我們創造并改變了我們生(shēng)活的世界——其中既包括我們的價值觀,也包括我們的工(gōng)具。大型語言模型是強大的工(gōng)具,可以幫助我們自(zì)動化和簡化複雜的任務,并有可能(néng)徹底改變我們與技(jì)術交互的方式。然而,它們并非沒有限制和風險。


交流離不開語言。與其他人工(gōng)智能(néng)應用相(xiàng)比,語言是一(yī)個更加棘手的問題,它的風險也更高(gāo)。自(zì)然語言處理(NLP, natural language processing)與一(yī)些互聯網巨頭的核心業務密切相(xiàng)關,例如谷歌(gē)的搜索與Meta的社交媒體參與。作爲一(yī)個社會,我們也許從未如此清醒的意識到(dào)語言造成傷害和貶低(dī)的危險,也從未如此清醒地意識到(dào)我們的語言中微妙的、結構性的、往往是無意地将人予以他者化的形式。


ChatGPT正在被過億用戶使用,其中許多(duō)人沒有接受過任何關于如何合倫理地使用這樣的系統,或如何确保系統不會造成傷害的教育。除了區分人類和機器(qì)的困難,我們也需要更多(duō)的研究來幫助我們了解人工(gōng)智能(néng)将會怎樣影響我們與其他人的互動。


這一(yī)切将帶來一(yī)個全新的交流環境。在一(yī)個日益由可以模仿人類自(zì)然語言能(néng)力的人工(gōng)智能(néng)工(gōng)具主導的世界中,真實和信任意味著(zhe)什麽?偏見和錯誤信息又(yòu)将導緻什麽?很多(duō)問題超越了技(jì)術範圍。傳播學者需要成爲有關人工(gōng)智能(néng)技(jì)術發展的對話的中心。

大型語言模型成新寵

由于ChatGPT爆火的緣故,大型語言模型(LLM, large language model)集萬千寵愛于一(yī)身。但它們是什麽呢(ne)?簡單地說,LLMs是一(yī)種計算(suàn)機系統,被設計用來學習文本語料庫的統計屬性,以生(shēng)成模仿原始文本風格和内容的新文本。換言之,LLMs能(néng)夠生(shēng)成現實而較爲準确的新文本,看(kàn)起來像是由一(yī)個真實的人撰寫的。


LLMs的核心基于一(yī)種強大的機器(qì)學習技(jì)術,即深度學習。深度學習是人工(gōng)智能(néng)的一(yī)個子集,能(néng)夠自(zì)動學習數據中的複雜模式。深度學習算(suàn)法的靈感來自(zì)于大腦從經驗中學習的能(néng)力,它們通(tōng)常使用神經網絡來實現——計算(suàn)系統的結構與大腦非常相(xiàng)似。事(shì)實上(shàng),如果不使用先進的水(shuǐ)印策略,就(jiù)不可能(néng)準确區分由人類頭腦所寫的文本和由高(gāo)度可并行的人工(gōng)神經網絡所産生(shēng)的文本,後者的神經連接數要少得多(duō)。


傳統機器(qì)學習算(suàn)法和深度學習算(suàn)法之間的一(yī)個關鍵區别是,深度學習算(suàn)法可以擴展到(dào)更大的數據集,它們可以從非結構化或未标記的數據中學習。這使得它們非常适合于自(zì)然語言處理等任務,這也是LLMs的用途。大型語言模型現在被認爲是人工(gōng)智能(néng)的前沿,因其有可能(néng)執行需要創造力、推理和理解自(zì)然語言的任務。


大型語言模型于2017年(nián)在谷歌(gē)大腦(Google Brain)開始使用,研究人員推出了transformer(轉換器(qì))架構,它是自(zì)然語言處理中使用的一(yī)個基于深度學習模型的神經網絡,訓練可以實現并行化,這爲訓練真正的大模型首次提供了機會。此後,大型語言和文本-圖像模型在領先的技(jì)術公司中激增,包括谷歌(gē)(BERT、GLaM、LaMDA、Chinchilla、PaLM)、Facebook/Meta(OPT-175B、Galactica、BlenderBot、LLaMA)、英偉達和微軟(Megatron-Turing),當然還有OpenAI,微軟是主要的投資者(GPT-3/4用于文本,DALL-E2用于圖像,Whisper用于語音(yīn))。在線社區,如Midjourney,以及Hugging Face等開源供應商,也創造了生(shēng)成模型。


新的玩家還在不斷進場。2023年(nián)3月(yuè),彭博社推出BloombergGPT(Bloomberg Professional Services, 2023),系根據專有來源的金融數據訓練的LLM,“在金融任務上(shàng)比現有的模型有明顯的優勢,而不影響一(yī)般LLM的基準性能(néng)”(Wu, 2023)。4月(yuè),資助開發“穩定擴散”(Stable Diffusion)等開源生(shēng)成式人工(gōng)智能(néng)模型的Stability AI宣布推出StableLM語言模型套件(jiàn)。在爲多(duō)個領域(包括圖像、音(yīn)頻、視頻、3D和生(shēng)物(wù)學)開發模型之後,這是該開發商首次加入目前由技(jì)術大腕主導的語言模型遊戲(Dey, 2023)。同在4月(yuè),亞馬遜在AWS中推出Bedrock服務,在一(yī)個平台上(shàng)提供多(duō)種生(shēng)成式人工(gōng)智能(néng)模型。例如,Stability AI的Stable Diffusion圖像生(shēng)成器(qì),可以将文本變成圖像;AI21實驗室的Jurassic-2模型是一(yī)個多(duō)語言LLM,可以生(shēng)成德語、西(xī)班牙語、法語、葡萄牙語、荷蘭語和意大利語文本;Anthropic的Claude是ChatGPT的一(yī)個對手,可以使工(gōng)作流程自(zì)動化、回答問題,并與用戶進行交流。與微軟和Alphabet相(xiàng)比,亞馬遜可能(néng)看(kàn)起來姗姗來遲,但它的做法相(xiàng)當精明。通(tōng)過Bedrock,亞馬遜不隻是提供對上(shàng)述第三方平台的訪問,也提供對其專有的大型語言模型Titan的訪問,這可能(néng)使亞馬遜變成那些希望使用LLMs并根據其需求構建應用程序的企業的首選平台(Chauhan, 2023)。


時至今日,除了蘋果之外,美國每家主要科技(jì)公司都宣布了自(zì)己的LLM。中國的科技(jì)公司當然亦不甘落後:2023年(nián)3月(yuè),百度推出文心一(yī)言并在官宣後爲新浪财經、澎湃新聞、愛奇藝、美的集團、東風日産等一(yī)系列企業提供接入服務;2022年(nián),阿裏達摩院發布通(tōng)義大模型,并在2023年(nián)4月(yuè)正式推出通(tōng)義千問;再加上(shàng)2022年(nián)騰訊對外披露的混元大模型和2021年(nián)華爲發布的盤古大模型等等,不一(yī)而足,人稱“萬模大戰”。在TB級文本數據上(shàng)訓練的大型語言模型成爲高(gāo)科技(jì)行業最熱門的一(yī)角。


LLMs對大型科技(jì)公司很重要,因爲它們可以實現新的産品和服務,從而吸引更多(duō)的用戶,産生(shēng)更多(duō)的收入,并創造更多(duō)的價值。例如,LLMs可用于改進搜索引擎、社交網絡、雲計算(suàn)、數字助理、電子商務、遊戲、教育、醫療保健等。此外,科技(jì)公司可以用LLMs來改進企業的現有産品線。例如,無論是語音(yīn)數字助理還是爲營銷人員自(zì)動投放(fàng)廣告,谷歌(gē)都将人工(gōng)智能(néng)作爲未來的突破性技(jì)術,使下(xià)一(yī)代服務和設備更加智能(néng)化、功能(néng)更強。


生(shēng)成式模型的重要價值之一(yī)是它們與生(shēng)産力應用程序的整合。例如,微軟在企業Office套件(jiàn)市(shì)場中有明顯的優勢,正在将生(shēng)成式模型整合到(dào)Word、Outlook和Teams等應用程序中。中國科技(jì)巨頭阿裏巴巴在生(shēng)成式人工(gōng)智能(néng)方面的最新努力,在某種程度上(shàng)讓人聯想到(dào)微軟,即通(tōng)過讓人們用自(zì)然語言來描述他們想要建立的東西(xī),令各種應用程序變得更容易使用。阿裏巴巴宣布,通(tōng)義千問将被整合到(dào)公司的各項業務中,以改善用戶體驗,客戶和開發人員可以通(tōng)過利用該模型創建定制的人工(gōng)智能(néng)功能(néng)。


同時,人工(gōng)智能(néng)初創企業經常以超過10億美元的估值籌集資金。例如,6月(yuè)13日,英國人工(gōng)智能(néng)初創公司Synthesia表示,它從風險投資公司Accel和Nvidia旗下(xià)NVentures牽頭的一(yī)輪融資中籌集了約9000萬美元,估值爲10億美元。該公司的技(jì)術幫助包括亞馬遜在内的5萬多(duō)家企業創建用于教學和企業視頻的定制AI化身。這表明,大量企業希望将傳統視頻制作轉變爲數字工(gōng)作流程(Reuters, 2023)。Synthesia隻是一(yī)個人工(gōng)智能(néng)初創企業快速獲得獨角獸地位的例子。在利率上(shàng)升和高(gāo)通(tōng)脹導緻的更廣泛的融資放(fàng)緩中,人工(gōng)智能(néng)初創企業已經成爲2023年(nián)投資的一(yī)個亮點。

人工(gōng)智能(néng)爲什麽非得是大模型?

就(jiù)這樣,大型通(tōng)用人工(gōng)智能(néng)模型被業界宣傳爲“基礎性的”,是該領域科學進步的主要轉折點。這類叙述分散了“規模病症”的注意力,這些病症每天都變得更加根深蒂固:大規模的人工(gōng)智能(néng)模型主要由大科技(jì)公司控制,因爲它們需要巨大的計算(suàn)和數據資源,并且還引發了圍繞歧視、隐私和安全漏洞以及負面環境影響等多(duō)方面的擔憂。


例如,GPT-3最初是在45TB的數據上(shàng)訓練的,并采用了1750億個參數來進行預測;GPT-3的一(yī)次訓練就(jiù)花費了1200萬美元(Davenport, Mittal, 2022)。另據報道,OpenAI使用1萬個英偉達GPU訓練ChatGPT(Goldman, 2023),而ChatGPT每天給OpenAI帶來70萬美元的成本(Gardizy, Ma,2023)。而最新的GPT-4的訓練耗資超過1億美元(Knight, 2023)。大多(duō)數公司沒有數據中心能(néng)力或雲計算(suàn)預算(suàn)來從頭開始訓練這類模型,許多(duō)現成的、預訓練的人工(gōng)智能(néng)模型,作爲雲人工(gōng)智能(néng)服務的一(yī)部分提供,而此市(shì)場本已集中在大科技(jì)公司手中,如AWS(亞馬遜)、GCP(谷歌(gē)雲平台)和Azure(微軟)。這些雲供應商每年(nián)總共花費超過1000億美元的資本,以确保擁有最全面、最可靠和最具成本競争力的平台。特别是在生(shēng)成式人工(gōng)智能(néng)方面,它們也受益于供應限制,因爲它們可以優先獲得稀缺的硬件(jiàn)(如Nvidia A100和H100 GPU)(Bornstein, Appenzeller, Casado, 2023)。


大科技(jì)公司可能(néng)會保持先發優勢,因爲它們有時間和市(shì)場經驗來磨練基礎語言模型,并發展寶貴的内部專業知識。因此,較小(xiǎo)的企業或初創公司可能(néng)難以成功進入這一(yī)領域,從而使得LLM的巨大處理能(néng)力集中在少數幾家大科技(jì)公司手中。


2021年(nián),埃米莉·本德(Emily M. Bender)博士、蒂姆尼特·蓋布魯(Timnit Gebru)博士、安吉麗娜·麥克米蘭-梅傑(Angelina McMillan-Major)和瑪格麗特·米切爾(Margaret Mitchell)博士在一(yī)篇題爲《論随機鹦鹉的危險》的論文中對LLM的潛在成本和危害提出警告(Bender et al., 2021),這篇論文導緻谷歌(gē)将蓋布魯和米切爾從人工(gōng)智能(néng)倫理團隊的共同領導位置上(shàng)趕走(Metz, Wakabayashi, 2020;Metz, 2021)。該論文在确定困擾LLM的規模病症方面有先見之明。當公衆讨論被圍繞著(zhe)ChatGPT和其他LLMs的令人窒息的炒作所吞噬之際,這項研究提出了清醒的警告:我們需要讨論社會是否應該建立這類技(jì)術,而不是如何建立,更不是不加批判地将其作爲進步的同義詞而加以全盤接受。本德等人問道:“越來越大的語言模型是不可避免的還是必須的?這一(yī)研究方向有什麽成本,我們在追求它之前應該考慮什麽?”


擇其要者,大型語言模型可見的成本就(jiù)有:


環境和财務成本


LLMs的訓練需要大量的能(néng)源,并産生(shēng)大量的二氧化碳排放(fàng)。在GPU上(shàng)訓練一(yī)個BERT基礎模型所需的能(néng)量與一(yī)次橫跨美國的飛行一(yī)樣多(duō)(Bender et al., 2021)。大多(duō)數雲計算(suàn)供應商的能(néng)源不是來自(zì)可再生(shēng)能(néng)源,而且世界上(shàng)許多(duō)能(néng)源也不是碳中和的。此外,哪怕是可再生(shēng)能(néng)源,對環境來說仍然是昂貴的。數據中心爲了滿足越來越多(duō)的計算(suàn)需求,占用了綠色能(néng)源的其他潛在用途,爲此,迫切需要節能(néng)型的模型架構和訓練模式。


環境問題與種族問題的交彙,意味著(zhe)被邊緣化的人和來自(zì)多(duō)數世界/全球南(nán)方的人更有可能(néng)體驗到(dào)能(néng)源消耗和二氧化碳排放(fàng)增加所帶來的傷害,盡管他們也是最不可能(néng)體驗到(dào)這種模型的好處的一(yī)群。碳足迹将取決于能(néng)源的使用和正在使用的能(néng)源的碳強度。不僅僅是LLMs有很大的能(néng)源影響,而且其中的碳影響将首先爲那些沒有從這項技(jì)術中受益的人帶來成本。所以,當我們做成本效益分析時,重要的是要考慮到(dào)誰在得到(dào)好處,誰在支付成本,因爲兩者不是同一(yī)批人。


此外,進入和訓練這些模型的成本很高(gāo),這意味著(zhe)隻有一(yī)小(xiǎo)部分全球精英能(néng)夠發展并受益于LLMs。由于其複雜的性質,它們的建立和維護可能(néng)是困難和昂貴的。它們還需要大量的訓練數據,而這些數據可能(néng)很難獲得,處理起來也非常昂貴。由此,大規模算(suàn)力會将LLMs限制于隻有資源最豐富的公司和研究者才能(néng)使用,而把小(xiǎo)型開發商排除在外。所以,環境和财務成本應該成爲自(zì)然語言處理研究中的首要考慮因素。


不負責任的訓練數據 


使用大量未經整理的訓練數據集有可能(néng)創造出鞏固主導性、霸權性觀點的語言模型。這些訓練數據集的龐大規模并不能(néng)保證多(duō)樣性,因爲它們往往是從網站(zhàn)上(shàng)抓取來的,而這些網站(zhàn)由于互聯網接入不足、代表性不足、過濾或騷擾等問題而排除了邊緣化人群的聲音(yīn)。這些數據集有“價值鎖定”的風險,或許會将有害的偏見編碼到(dào)難以徹底審計的語言模型中。


如果模型是在過濾有限的大量互聯網數據上(shàng)訓練出來的,它們就(jiù)會吸收事(shì)實和錯誤信息、有偏見的内容和公平的内容、有害的材料和無害的材料。如果沒有辦法在回答提示之前評估這些标準,LLMs就(jiù)有可能(néng)陷入複制、放(fàng)大和傳播有問題的内容和錯誤信息的危險。


“随機鹦鹉”的誕生(shēng)


本德等人進一(yī)步警告說,對語言模型的追求可能(néng)是一(yī)個誤導性的研究方向。她們觀察到(dào),語言模型就(jiù)好比“随機鹦鹉”(stochastic parrot),“根據關于如何組合的概率信息,胡亂地将它在龐大的訓練數據中觀察到(dào)的語言形式序列[縫合]在一(yī)起,但沒有任何對意義的參考”(Weil, 2023)。也就(jiù)是說,大型語言模型善于生(shēng)成令人信服的語言,但實際上(shàng)并不理解它所處理的語言的含義。


“随機鹦鹉”的比喻突出了兩個重要的局限性:第一(yī),學習機器(qì)所作的預測基本上(shàng)是在重複數據的内容,加上(shàng)一(yī)些由模型的限制造成的噪音(yīn)(或随機性)。第二,機器(qì)學習算(suàn)法并不了解它所學習的問題。它無法得知自(zì)己什麽時候在重複一(yī)些不正确的、脫離上(shàng)下(xià)文的或令社會感覺不适的東西(xī)。由于這些局限性,學習機器(qì)可能(néng)會産生(shēng)“危險的錯誤”(Lindholm et al., 2022)。


ChatGPT的不可靠性會給任何使用它來生(shēng)成相(xiàng)應文本的機構帶來相(xiàng)當大的法律、财務和聲譽風險。正如沃倫·巴菲特(Warren Buffett)所說:“建立聲譽需要20年(nián),而毀掉聲譽隻需要5分鍾。”如果LLM用于重要任務,它可能(néng)會創建一(yī)種新的職業(LLM事(shì)實檢查員)和一(yī)種新的保險範圍(爲了彌補LLM 錯誤)。


進一(yī)步地說,随機鹦鹉的問題可以被看(kàn)作是人工(gōng)智能(néng)和機器(qì)學習的一(yī)個更普遍的挑戰:如何确保模型是真正的學習和推理,而不是僅僅去記憶數據當中的模式?随著(zhe)模型的規模和複雜性不斷增長,以及它們越來越多(duō)地被用于醫療保健、金融和運輸等高(gāo)風險的應用中,這一(yī)挑戰顯得尤爲突出。


由此觀之,當模型過于依賴複制語言模式而并不真正理解其含義時,随機鹦鹉問題就(jiù)會出現。如果不加以控制,随機鹦鹉會對人工(gōng)智能(néng)的發展和部署,以及依賴這些技(jì)術完成重要任務的用戶産生(shēng)嚴重後果。這凸顯了通(tōng)過仔細的模型設計、評估和持續監測來解決此問題的重要性。


最終,我們需要問自(zì)己,爲什麽要把人工(gōng)智能(néng)的未來全部押注在大型語言模型一(yī)條路(lù)上(shàng)?紐約大學教授兼Meta首席AI科學家楊樂昆(Yann LeCun)就(jiù)認爲LLM是“一(yī)條下(xià)坡路(lù)”,遠離了通(tōng)往更強大的AI的道路(lù)(The Economist, 2023)。“大型語言模型能(néng)有多(duō)聰明,能(néng)有多(duō)準确,都是有限度的,因爲它們沒有現實世界的經驗,而這确實是語言的基本現實”。他指出,人類所學的大部分内容都與語言無關。“我們學習如何投擲籃球,讓它穿過籃圈”,深度學習的另一(yī)位先驅者傑弗裏·辛頓(Geoffrey Hinton)說:“我們根本不使用語言來學習。我們從試驗和錯誤中學習。”(Smith, 2023)

就(jiù)算(suàn)語言是發展人工(gōng)智能(néng)的重要途徑,事(shì)情也很明顯:無論LLMs及其訓練數據集變得多(duō)麽龐大,它們也永遠無法像我們一(yī)樣學習和理解我們的語言。吊詭的是,語言模型的限制導緻了一(yī)種研究趨勢,即專注于研究這類模型的知識和行爲。換言之,人類正在學習LLMs的語言,并尋找更好地與它們溝通(tōng)的方法。


這是因爲,語言模型是神經網絡,根據從網絡收集的數據進行訓練。經過訓練後,模型可以接收提示并預測其後的單詞。神經網絡越大,模型的學習能(néng)力就(jiù)越強。數據集越大,模型接觸不同單詞序列的機會就(jiù)越大,生(shēng)成文本時就(jiù)越準确。


可問題是,人類語言不僅僅是文本。事(shì)實上(shàng),語言是一(yī)種将信息從一(yī)個大腦傳輸到(dào)另一(yī)個大腦的壓縮方式。我們的談話經常忽略共享知識,例如視覺和聽覺信息、世界的物(wù)理體驗、過去的談話、我們對人和物(wù)體行爲的理解、社會結構和規範等。


正如楊樂昆和紐約大學計算(suàn)機科學系博士後雅各布·布朗甯(Jacob Browning)在最近的一(yī)篇文章中所寫到(dào)的,“僅靠語言訓練的系統永遠不會接近人類智力,即使從現在開始訓練直到(dào)宇宙熱寂”。雖然兩位科學家也指出,如果我們停留在表面上(shàng),語言模型“無疑會接近(人類智能(néng))。而且,在許多(duō)情況下(xià),表面就(jiù)足夠了”,但是我們絕不應該把LLMs擁有的淺層理解與人類從觀察世界景象、探索世界、在世界中進行實驗以及與不同文化和其他人互動中獲得的深層理解相(xiàng)混淆(Browning, LeCun, 2022)。


所以,假如我們用“語言的統計模型”而不是“大型語言模型”來描述這種人工(gōng)智能(néng)技(jì)術,是否會帶來更清楚的認知?這樣會使我們認識到(dào),統計推理肯定不是人類合作、創造、協調和競争的全部故事(shì)。


所有人類的知識最終都能(néng)被抓進機器(qì)的說法是沒有意義的。我們隻能(néng)把可以用比特串表示的知識放(fàng)入機器(qì)。像體育、音(yīn)樂、木(mù)匠(jiàng)大師或創意寫作這樣的技(jì)能(néng)是無法精确描述和記錄的,技(jì)能(néng)的描述并不就(jiù)能(néng)夠賦予表演的能(néng)力。即使它們可以被代表,表演技(jì)能(néng)的形式也是無法被記錄的——它包括表演者的想法和思考,他們的神經元記憶狀态,以及他們的神經肌肉化學模式。所有這些沒有記錄的和無法記錄的信息的數量遠遠超出了可能(néng)存儲在機器(qì)數據庫中的範圍。與人類的能(néng)力相(xiàng)比,大型語言模型所能(néng)執行的任何功能(néng)都是很小(xiǎo)的。


我們是否已經被大型語言模型迷住了,以至于沒有看(kàn)到(dào)我們利用語言所做的其他事(shì)情?我們建立關系。我們互相(xiàng)關照(zhào)。我們認識并駕馭我們的情緒。我們建立并行使權力。我們做出承諾,并貫徹執行。我們創建組織和社會。我們創造傳統和曆史。我們爲行動負責。我們打造信任。我們培養智慧。我們愛。我們想象以前從未想象過的東西(xī)。所有這些都不是統計學上(shàng)的。大型語言模型的能(néng)力與人類的能(néng)力之間存在著(zhe)巨大的鴻溝。

大型語言模型的四大發展趨勢

像LLMs這樣的大規模人工(gōng)智能(néng)模型在過去一(yī)段時間裏中受到(dào)了最多(duō)的炒作,也帶來了最大的恐懼。圍繞這些系統的興奮和焦慮都有助于強化如下(xià)概念,即這些模型是“基礎性的”,盡管它們無法對人類提示作出有意義的回應的例子數不勝數。值得注意的是,這些模型之所以作爲“基礎性”的技(jì)術被引入,其實意是在将它們等同于無可置疑的科學進步,成爲“通(tōng)用人工(gōng)智能(néng)”(這是另一(yī)個模糊的術語,讓人聯想起科幻小(xiǎo)說中關于取代或超越人類智能(néng)的概念)道路(lù)上(shàng)的踏腳石,從而使其被廣泛采用成爲必然。


在最近的一(yī)次采訪中,OpenAI首席執行官山姆·阿爾特曼(Sam Altman)說:“我認爲我們正處于巨大模型時代的終結,我們将以其他方式讓模型變得更好。”(Miller, 2023)言下(xià)之意是,未來的進展不會來自(zì)于将模型做得更大。


而這些“其他方式”是什麽?一(yī)個可能(néng)的途徑是在更多(duō)的高(gāo)質量數據上(shàng)對模型進行微調,創造更好的訓練技(jì)術。人工(gōng)管策的數據集可能(néng)是非常有價值的,但創建成本高(gāo),速度慢(màn)。根據大型語言模型的現狀,筆者認爲,有四大發展趨勢值得高(gāo)度關注:


第一(yī),我們需要緻力于教會語言模型表達不确定性


在大多(duō)數情況下(xià),人類知道自(zì)身的局限性(即使他們不直接承認)。他們可以表達不确定和懷疑,并讓對話者知道他們對自(zì)己所傳授的知識有多(duō)自(zì)信。而與此相(xiàng)對照(zhào),語言模型總是對任何提示都給出現成的答案,即使它們的輸出是毫無意義的。神經網絡通(tōng)常提供某個預測正确概率的數值。然而就(jiù)語言模型而言,這些概率分數并不代表模型對提示響應的可靠性的信心。


OpenAI和牛津大學的研究人員發表的一(yī)篇論文表明,可以通(tōng)過教LLMs“用語言表達它們的不确定性”來彌補這一(yī)缺點。可對 LLMs進行微調,以使用自(zì)然語言表達認知上(shàng)的不确定性,研究者将之描述爲“語言化概率”(verbalized probability),即用語言表達出來的概率。這是一(yī)個重要的發展方向,尤其是在用戶希望将語言模型的輸出轉化爲某個動作的應用程序中。研究人員建議,表達不确定性可以令語言模型誠實。“如果一(yī)個誠實的模型出現一(yī)個誤導或惡意的内部狀态,那麽它可以将這種狀态傳達給可采取相(xiàng)應行動的人類”(Lin et al., 2022)。


第二,與其緻力于模型之大,不如專攻特定模型


鑒于LLMs不理解它們所處理的語言,也不理解所收到(dào)的提示和自(zì)己的回應,所以補救辦法一(yī)是靠規模的力量,即訓練數據和模型參數的巨大規模,二是靠專業的力量,即在爲特定行業或領域(如醫療保健和醫學)定制開發更專門的模型的情況下(xià),有針對性地管策訓練數據,這将有助于解決LLMs在涉及特定問題時的某些局限性。


想象一(yī)下(xià),像ChatGPT這樣的LLM已經在最好的醫學文獻上(shàng)接受了訓練,但訓練數據當中也有讨論健康問題的Reddit線程。人工(gōng)智能(néng)有時可以通(tōng)過檢索和參考高(gāo)質量的信息來回應,但其他時候它通(tōng)過使用完全不可靠的Reddit信息來回應。事(shì)實上(shàng),假如醫學文獻中沒有這些信息(例如一(yī)種非常罕見的疾病),它更有可能(néng)編造這些信息(此即人工(gōng)智能(néng)行業常說的幻覺)。比爾·蓋茨(Bill Gates)曾預想過,ChatGPT或類似的大型語言模型有一(yī)天可以爲沒有機會看(kàn)醫生(shēng)的人提供醫療建議(Trang, 2023),然而你如何能(néng)相(xiàng)信一(yī)個容易産生(shēng)幻覺的機器(qì)的建議?


所以我們需要通(tōng)過使用較小(xiǎo)和較高(gāo)質量的數據集對特定的知識領域進行訓練。例如,擁有數十億參數的大型臨床語言模型可以利用電子健康記錄中的非結構化文本,幫助提取醫學概念和回答醫學問題,預測疾病或再入院風險,并總結臨床文本。而一(yī)個專門爲法律行業設計的模型可以接受法律術語和行話的訓練,使其更好地處理法律文件(jiàn)。


像BloombergGPT這樣的例子表明,紮根于特定領域的企業能(néng)夠使用免費提供的、現成的人工(gōng)智能(néng)方法,處理大量的專有數據。與OpenAI的GPT3/4這樣的“基礎性”模型不同,彭博社的模型是爲特定任務而設計的。它在公司多(duō)年(nián)來收集的大量金融文本上(shàng)專門訓練,爲的是創建一(yī)個對金錢和商業能(néng)夠産生(shēng)特别流利的認知的模型。在用于創建彭博社模型的數據中,約有一(yī)半來自(zì)網絡上(shàng)的非金融來源,包括GitHub、YouTube字幕和維基百科。但彭博社還爲自(zì)己的模型添加了1000多(duō)億單詞,來自(zì)一(yī)個名爲FinPile的專有數據集,其中包括該公司在過去20年(nián)中積累的金融數據,内含證券文件(jiàn)、企業新聞發布、彭博社新聞報道、其他出版物(wù)的報道,以及專注于金融網頁的網絡爬行等。事(shì)實證明,添加特定的培訓材料可以提高(gāo)金融任務的準确性和性能(néng)。彭博社正計劃将其GPT整合到(dào)通(tōng)過公司終端産品訪問的功能(néng)和服務中,盡管彭博社還未有計劃推出ChatGPT式聊天機器(qì)人(Leswing, 2023)。


第三,高(gāo)質量的數據将成爲LLM稱霸的新戰場


限制LLM持續改進的最重要限制是可用的訓練數據量。《經濟學人》報道說,2022年(nián)10月(yuè)發表的一(yī)篇論文得出的結論是,“高(gāo)質量語言數據的存量将很快耗盡,可能(néng)就(jiù)在2026年(nián)之前”(The Economist, 2023)。肯定有更多(duō)可用的文本,但它們被一(yī)小(xiǎo)塊一(yī)小(xiǎo)塊地鎖定在公司數據庫或個人設備上(shàng),無法以Common Crawl允許的規模和低(dī)成本加以訪問。這種數據稀缺對LLM的進一(yī)步發展提出了挑戰。


2023年(nián)4月(yuè)18日,Reddit宣布,它将開始對其API的訪問收費(Isaac, 2023)。這一(yī)決定是在Twitter對其API實施類似限制之後做出的(Mehta,2023)。近年(nián)來,Reddit的系列聊天成爲谷歌(gē)、OpenAI和微軟等公司的免費教具。這些公司使用Reddit的對話來幫助開發巨型人工(gōng)智能(néng)系統。然而現在,Reddit聯合創始人兼首席執行官史蒂夫·赫夫曼(Steve Huffman)稱:“我們不需要把所有這些價值免費提供給世界上(shàng)最大的一(yī)些公司。”


随即,程序員問答網站(zhàn)Stack Overflow也宣布将開始對其 API收費。首席執行官普拉桑斯·錢德拉塞卡爾(Prashanth Chandrasekar)表示:“我們非常支持 Reddit 的做法”,“爲LLM提供動力的社區平台絕對應該因其貢獻而得到(dào)補償,這樣像我們這樣的公司就(jiù)可以重新注資到(dào)社區,讓其繼續蓬勃發展。”(Dave,2023)


Reddit和Stack Overflow等平台爲微調LLM提供了快速訪問具體主題和問題的寶貴數據,而這些平台的所有者正意識到(dào)它們所掌握的數據的價值。數據市(shì)場日益激烈的競争可能(néng)推動行業走向更少的共享和更多(duō)的貨币化。不幸的是,激進的貨币化将進一(yī)步增強能(néng)夠負擔API成本的大型科技(jì)公司的能(néng)力。相(xiàng)應地,小(xiǎo)型實驗室和資金緊張的初創公司将不得不處理手頭可用的低(dī)質量數據。


第四,開源模型可以成爲大科技(jì)公司封閉服務的替代品


最先進的LLM需要巨大的計算(suàn)預算(suàn)和深厚的機器(qì)學習專業知識,所以很少有機構能(néng)夠從頭開始訓練它們。然而,那些擁有資源和專業知識的機構越來越多(duō)地不開放(fàng)模型(無論是數據、源代碼或深度學習的秘方——模型權重)供公衆監督,而是依靠API分發。


這就(jiù)是開源人工(gōng)智能(néng)可以介入的地方,它使獲得LLM的機會民(mín)主化。各種社區平台正在努力創建開源的模型,以替代大科技(jì)公司提供的封閉的專有服務。這些努力是爲了防止少數富有的公司在快速增長的生(shēng)成式人工(gōng)智能(néng)市(shì)場上(shàng)擁有過多(duō)的權力。


例如,我們開始看(kàn)到(dào)Anthropic、Cohere和Character.ai等公司建立的LLMs更接近OpenAI的性能(néng)水(shuǐ)平,它們在類似的數據集上(shàng)訓練,并采用類似的模型架構。“穩定擴散”的例子表明,如果開源模型的性能(néng)和社區支持達到(dào)了足夠的水(shuǐ)平,那些封閉的大型模型未必能(néng)與其競争。


“穩定擴散”隻需較少的計算(suàn)能(néng)力就(jiù)可以工(gōng)作。與在OpenAI強大的服務器(qì)上(shàng)運行的DALL-E 2不同,穩定擴散可以在良好的個人電腦上(shàng)運行。創造力的爆發和新應用程序的快速發展在很大程度上(shàng)是由于“穩定擴散”:既是開源的,程序員可以自(zì)由地改變它,在它的基礎上(shàng)發展,并從中賺錢;又(yòu)足夠輕巧,人們可以在家中運行。


谷歌(gē)的一(yī)位高(gāo)級軟件(jiàn)工(gōng)程師認爲,不管是OpenAI還是谷歌(gē),在人工(gōng)智能(néng)競賽中都沒有勝算(suàn),構成威脅的“第三派”将是開源社區。開源技(jì)術開發者沒有所有權,他們将自(zì)己的作品發布給任何人,讓他們根據自(zì)己的需要使用、改進或改編。開源的曆史例子包括Linux操作系統和LibreOffice,這是微軟Office的替代品。


這位谷歌(gē)工(gōng)程師說,開源人工(gōng)智能(néng)開發者“已經在搶占先機”,他舉出的例子包括Meta公司開發的大型開源語言模型LLaMA。2023年(nián)2月(yuè)底發布的LLaMA因其優于GPT-3等模型的性能(néng)而立即受到(dào)歡迎,盡管其參數隻有650億(Meta AI, 2023)。7 月(yuè) 18 日,LlaMa2發布包含了 70 億、130 億和 700 億參數的模型,它對于人工(gōng)智能(néng)應用,就(jiù)像安卓操作系統之于手機APP開發一(yī)樣,目的就(jiù)是讓應用層開發者可以直接以最低(dī)成本獲得大模型的基礎設施使用。有了這樣的模型,從事(shì)人工(gōng)智能(néng)模型的門檻已經“從某一(yī)個主要研究機構的總産出降至一(yī)個人、一(yī)個晚上(shàng)和一(yī)台強大的筆記本電腦”。一(yī)個LLM現在可以在幾個小(xiǎo)時内以100美元的價格進行微調。憑借其快速移動、協作和低(dī)成本的模式,開源模型有一(yī)些谷歌(gē)或OpenAI無法複制的顯著優勢(Milmo, 2023)。而當免費的或低(dī)價的、不受限制的替代品在質量上(shàng)與封閉的大型模式不相(xiàng)上(shàng)下(xià)時,人們不會爲一(yī)個設限的人工(gōng)智能(néng)模型付費。


當然,像任何事(shì)情一(yī)樣,這同時具有積極和消極的影響。從正面看(kàn),它使少數公司壟斷控制人工(gōng)智能(néng)的可能(néng)性大大降低(dī),也将使獲得人工(gōng)智能(néng)的成本大大降低(dī),加速整個領域的創新,并使研究人員更容易分析人工(gōng)智能(néng)系統的行爲(因其對專有模型的訪問是有限的),提高(gāo)透明度和安全性。但是,更容易獲得人工(gōng)智能(néng),也意味著(zhe)不良行爲者将可以出于自(zì)身的邪惡目的而對系統進行微調,例如生(shēng)産虛假信息。這将使人工(gōng)智能(néng)更難于監管,因爲精靈已經逃出了瓶子。

大型語言模型的社會後果

大型語言模型已經徹底改變了我們與計算(suàn)機互動的方式。它們能(néng)夠理解自(zì)然語言并對複雜的問題做出反應。随著(zhe)人工(gōng)智能(néng)驅動的LLMs(如ChatGPT)的發展,它們已經變得越來越有用并走向通(tōng)用。


然而,它們的迅速進展也不是沒有争議的。許多(duō)人擔心如此強大的技(jì)術所帶來的反響,憂慮這些模型可能(néng)被用來操縱信息或替代人類的經驗。爲了充分了解它們的範圍和力量,探索LLMs如何影響社會的不同方面非常重要。


鑒于這些開創性的模型的廣泛采用所帶來的巨大可能(néng)性和潛在風險,社會已經對其使用産生(shēng)了不同的反應。例如,在開發和分發這些模型的源代碼時,是采取開源還是閉源方式?


總的來說,開源是指任何人都可以免費使用、修改和發布的源代碼,而閉源是指不能(néng)在創造它的機構之外修改或發布的專有代碼。在GPT-3之前,大多(duō)數大型語言模型都是開源的,但目前,越來越多(duō)的公司将他們的模型變成閉源的,例如PaLM、LaMDA和GPT-4。在OpenAI宣布GPT-4模型的文件(jiàn)中,該公司說它不會提供關于架構、模型大小(xiǎo)、硬件(jiàn)、訓練計算(suàn)、數據構建或用于開發GPT-4的訓練方法的細節,隻是指出它使用了從人類反饋中強化學習的方法,聲稱這是由于競争和安全方面的考慮(AI Now Institute, 2023)。


同樣,出于大型語言模型的競争格局和安全問題,OpenAI向客戶提供的付費訪問,也有許多(duō)法律和技(jì)術限制。這使得學術研究人員更難進行LLM訓練實驗。對研究界來說,最直接的問題之一(yī)是缺乏透明度。ChatGPT及其前身的基礎訓練集和LLMs是不公開的,科技(jì)公司可能(néng)會隐瞞其對話式AI的内部運作。這與透明度和開放(fàng)科學的趨勢背道而馳。在這種情況下(xià),有關人工(gōng)智能(néng)的模型能(néng)力的主張無法被其他人驗證或複制,客戶也不可能(néng)下(xià)載ChatGPT背後的模型。


相(xiàng)比之下(xià),開源工(gōng)作涉及創建一(yī)個模型,然後将其發布給任何人,讓他們根據自(zì)己的需要使用、改進或改編。業界推動開源LLM的工(gōng)作,承諾多(duō)方合作和權力共享,而這正是互聯網的最初理想。它顯示了不同的社區如何能(néng)夠相(xiàng)互幫助,攜手推進大型語言模型的下(xià)一(yī)步發展。


圍繞著(zhe)LLMs的另一(yī)個關鍵問題是它們的倫理含義。随著(zhe)這些系統變得越來越複雜,有關操縱人類行爲或公衆輿論的問題日益凸顯。此外,LLMs有可能(néng)被用作惡意行爲者或組織獲取私人數據或傳播虛假信息的工(gōng)具。出于對偏見和準确性的擔憂,人們也擔心它們在醫療診斷、法律決定甚至政府政策中的使用。


“深度僞造”(deepfake),由人工(gōng)智能(néng)創造的圖像和視頻,已經在媒體、娛樂和政治中出現了。在此之前,創造深度僞造的内容需要相(xiàng)當多(duō)的計算(suàn)技(jì)能(néng),然而,現在幾乎任何人都能(néng)創造它們。OpenAI已經試圖通(tōng)過在每張DALL-E 2的圖像上(shàng)“打上(shàng)水(shuǐ)印”來控制虛假圖像,但未來可能(néng)需要更多(duō)的控制手段——特别是當生(shēng)成式視頻創作成爲主流時。


生(shēng)成式人工(gōng)智能(néng)還提出了許多(duō)有關何爲原創和專有内容的問題。由于創建的文本和圖像與以前的任何内容都不完全一(yī)樣,AI系統供應商認爲人工(gōng)智能(néng)生(shēng)成内容屬于提示的創造者。但它們顯然是用于訓練模型的先前文本和圖像的衍生(shēng)品。不用說,類似技(jì)術将在未來幾年(nián)爲知識産權律師提供大量工(gōng)作。


在隐私方面,LLMs本質上(shàng)是個人化的,它收集大量的用戶數據,以便能(néng)夠有效地預測對話的長度、主題和軌迹。此外,每次與 ChatGPT 這樣的工(gōng)具的互動都有一(yī)個唯一(yī)的标識符——有使用它的人的登錄軌迹。因此,個人對 ChatGPT 的使用并非真正的匿名,這就(jiù)引發了有關 OpenAI 保留敏感數據的問題。圍繞著(zhe)數據的收集、存儲和使用,必須進行一(yī)系列的深思熟慮,以便安全地使用LLMs。


LLMs與其他人工(gōng)智能(néng)技(jì)術一(yī)樣受到(dào)監管和合規框架的約束,但随著(zhe)它們變得越來越普遍,可能(néng)會提出新的問題:如何以符合《通(tōng)用數據保護條例》(GDPR)和其他法規的方式使用此類工(gōng)具。由于 ChatGPT 處理用戶數據以生(shēng)成響應,OpenAI 或者出于自(zì)身目的而依賴 ChatGPT 的實體可能(néng)被視爲 GDPR 下(xià)的數據控制者,這意味著(zhe)它們應該獲得處理用戶個人數據的合法依據(例如用戶的同意),并且必須告知用戶它們在從事(shì)何種由ChatGPT支持的數據處理活動。


所有這些潛在的問題強調了爲什麽科學家、研究人員和其他使用LLMs的人或組織在将其投入實際使用之前,從多(duō)個角度積極審查大型語言模型的影響是至關重要的。如果深思熟慮地考量倫理方面的影響,再加上(shàng)嚴格的安全措施,大型語言模型就(jiù)可以成爲有價值的工(gōng)具,而不會破壞用戶的信任或損害完整性。


此外,雖然大型語言模型的趨勢仍在繼續,但重要的是要注意,更大并不總是意味著(zhe)更好。大型語言模型可以很好地進行随心所欲的創造性互動,但過去十年(nián)的發展告訴我們,大型深度學習模型是高(gāo)度不可預測的,使模型更大、更複雜并不能(néng)解決這個問題。


像ChatGPT這樣的大型語言模型,具有與用戶進行類似語言交流的能(néng)力,有可能(néng)成爲交流和教育以及其他許多(duō)領域的強大工(gōng)具。然而,一(yī)方面其對社會的影響是巨大的;另一(yī)方面其被濫用的可能(néng)性也是非常真實的。因此,需要更多(duō)的研究來認識大型語言模型的社會後果及對我們生(shēng)活的影響。随著(zhe)人工(gōng)智能(néng)和數據科學越來越多(duō)地融入日常生(shēng)活中,重要的是要加強這類技(jì)術的倫理考量,并尊重我們的數據和隐私賦予我們的個人權利。該領域的領導者必須共同努力,确保大型語言模型的使用是負責任的,符合人類的最佳利益。

大型語言模型帶來的交流困境

ChatGPT和其他生(shēng)成式人工(gōng)智能(néng)工(gōng)具正在将有關大型語言模型的對話帶到(dào)公衆關注的最前沿,并且帶著(zhe)一(yī)種前所未有的緊迫感。現在,人們必須就(jiù)人工(gōng)智能(néng)的未來是什麽樣子以及如何創造我們想要的未來進行交流。

我們需要傳播理論、傳播研究和基于倫理的傳播實踐來關注和指導這樣的對話。數字人文學者馬修·科申鮑姆(Matthew Kirschenbaum)預測,即将到(dào)來的“文本末日”将導緻“文本海嘯”,“在任何數字環境中都無法可靠地進行交流”(Kirschenbaum, 2023)。

科申鮑姆所稱的“文本末日”是指,我們與書面文字的關系正在發生(shēng)根本性的變化。通(tōng)過ChatGPT等程序,所謂的生(shēng)成式人工(gōng)智能(néng)已經成爲主流,這些程序使用大型語言模型來統計預測序列中的下(xià)一(yī)個字母或單詞,從而生(shēng)成模仿其所訓練的文本内容的句子和段落。它們爲整個互聯網帶來了類似自(zì)動完成(autocomplete)的功能(néng)。

目前,人們仍然在爲這些程序輸入實際的提示信息,同樣,這些模型(大部分)仍然是根據人類散文而不是機器(qì)自(zì)制的作品進行訓練的。但情況可能(néng)會發生(shēng)變化——OpenAI發布ChatGPT應用程序接口就(jiù)證明了這一(yī)點,它将允許該技(jì)術直接集成到(dào)社交媒體和在線購物(wù)等網絡應用中(Wiggers,2023)。不難想象,在這種情況下(xià),機器(qì)可以促使其他機器(qì)無休止地發布文本,從而使互聯網充斥著(zhe)沒有人類的能(néng)動性或意圖的合成文本。

2022年(nián)6月(yuè)3日,人工(gōng)智能(néng)研究者兼YouTuber揚尼克·基爾徹(Yannic Kilcher)發布了一(yī)段視頻,介紹他如何開發名爲“GPT-4chan”的人工(gōng)智能(néng)模型,然後部署機器(qì)人在著名留言闆4chan上(shàng)僞裝成人類。4chan常被描述爲互聯網亞文化的中心,其社區對知名互聯網模型的形成和普及以及黑(hēi)客行動和政治運動具有相(xiàng)當大的影響力。4chan經常作爲争議來源而受到(dào)媒體關注,包括協調組織針對某些網站(zhàn)和用戶的惡作劇和騷擾,以及發布非法和攻擊性内容。

GPT-4chan是一(yī)個大型語言模型,通(tōng)過使用之前公開發布的數據集對GPT-J進行微調來模拟4chan的/pol/匿名留言闆用戶而創建;其中許多(duō)用戶經常表達種族主義、白(bái)人至上(shàng)主義、反猶主義、反穆斯林、厭惡女性和反 LGBT的觀點。基爾徹訓練機器(qì)人閱讀了4Chan這一(yī)臭名昭著的“政治不正确”闆塊3年(nián)半時間内的1.345億條帖子,很自(zì)然地,該模型學會了輸出各種仇恨言論,導緻基爾徹稱其爲“互聯網上(shàng)最可怕的模型”,并在他的視頻中這樣說道:“這個模型很好,但從一(yī)個可怕的意義上(shàng)來說……它完美概括了/pol/上(shàng)大多(duō)數帖子中滲透的攻擊性、虛無主義、惡搞以及對任何信息的深度不信任。”(Kilcher, 2022)

在訓練完成後,由該模型驅動的10個機器(qì)人被部署在/pol/留言闆上(shàng),24小(xiǎo)時内匿名發布了1.5萬條基本上(shàng)是有毒的信息。雖說許多(duō)用戶通(tōng)過留言闆上(shàng)的發帖頻率很快認定這是一(yī)個機器(qì)人,而基爾徹也公布了在服務器(qì)上(shàng)運行模型所需的代碼和已訓練的模型實例,并表示人工(gōng)智能(néng)研究人員可以聯系他獲取機器(qì)人與4chan用戶的互動記錄,可是他的做法還是在人工(gōng)智能(néng)研究者社區内引發了較大争議。

GPT-4chan模型發布在Hugging Face上(shàng),這是一(yī)個共享經過訓練的AI模型的中心。在該模型被下(xià)載了1000餘次後,Hugging Space團隊首先“限制”了對它的訪問,此後不久,他們又(yòu)完全删除了對它的訪問權限,其頁面現在刊有以下(xià)免責聲明:“已禁用對該模型的訪問——鑒于其研究範圍,在所有禁止使用機器(qì)人的網站(zhàn)上(shàng)故意使用該模型生(shēng)成有害内容(不完全示例包括:仇恨言論、垃圾郵件(jiàn)生(shēng)成、假新聞、騷擾和辱罵、貶低(dī)和诽謗)被視爲對該模型的濫用。”(Kurenkov, 2022)

在人工(gōng)智能(néng)研究界,有人認爲這樣的模型很可能(néng)造成傷害,特别是在面向青少年(nián)的論壇中。讓機器(qì)人與 4chan 用戶互動是不道德的,它加劇了4chan本已有毒的回聲室效應并進一(yī)步分化了用戶群。阿德萊德大學的人工(gōng)智能(néng)安全研究員勞倫·奧克登-雷納(Lauren Oakden-Rayner)在一(yī)條推文中指責基爾徹“在未告知用戶、未經同意或監督的情況下(xià)進行人類實驗”,她認爲這違反了人類研究倫理的所有原則(Mellor, 2022)。

基爾徹在接受The Verge采訪時将該項目描述爲一(yī)個“惡作劇”,他認爲考慮到(dào) 4chan本身的性質,這種惡作劇幾乎沒有造成什麽有害影響。“/pol/上(shàng)完全可以預料到(dào)會有機器(qì)人和非常粗魯的言談”(Vincent, 2022)。并且,任何潛在的危害也可以使用其他現有模型來實現。

的确,基爾徹不會是第一(yī)個、也不是唯一(yī)一(yī)個創建惡意的微調模型的人。所以,問題在于,如果出現更多(duō)的微調模型,其内容指向在意識形态層面複制一(yī)種特定世界觀,會爲未來的人類交流帶來什麽?

基爾徹創建的機器(qì)人非常逼真。“它能(néng)對上(shàng)下(xià)文做出反應,并能(néng)連貫地講述在收集最後一(yī)次訓練數據很久之後發生(shēng)的事(shì)情和事(shì)件(jiàn)”,基爾徹在視頻中稱。以此類推,有人可以建立一(yī)個系統,讓ChatGPT這樣的程序反複向自(zì)己提問,并自(zì)動将輸出結果發布到(dào)網站(zhàn)或社交媒體上(shàng)。這樣無休止地叠代内容流,除了在交流場域造成混亂,它還将被再次吸入大型語言模型的訓練集,讓模型在互聯網上(shàng)制造自(zì)己的新内容。如果各路(lù)人馬——無論是出于廣告收入、政治或意識形态目的還是惡作劇——都開始這樣做,每天難以數計的類似帖子充斥在開放(fàng)的互聯網上(shàng),與搜索結果混雜在一(yī)起,在社交媒體平台上(shàng)傳播,滲透到(dào)維基百科詞條中,尤其是爲未來的機器(qì)學習系統提供素材,那将會怎樣?

将基爾徹的工(gōng)作與過去最著名的變壞了的機器(qì)人的例子相(xiàng)比較是非常有趣的:微軟的Tay。微軟于2016年(nián)在 Twitter上(shàng)發布了人工(gōng)智能(néng)聊天機器(qì)人,但在用戶教導Tay重複各種種族主義和煽動性言論後,不到(dào)24小(xiǎo)時,微軟就(jiù)被迫下(xià)線該項目(Vincent, 2016)。可 是在那時,創建這樣的機器(qì)人專屬于大型科技(jì)公司的領域,基爾徹現在的做法表明,任何一(yī)人編碼團隊都可以使用更先進的人工(gōng)智能(néng)工(gōng)具達成同樣的結果。至于說到(dào)人類研究倫理的指責,如果基爾徹在大學工(gōng)作,讓AI機器(qì)人在 4chan上(shàng)自(zì)由活動可能(néng)是不道德的。但基爾徹堅稱自(zì)己隻是一(yī)名YouTuber,這暗(àn)示著(zhe)他認爲此處适用不同的倫理規則。

面對如此嚴峻的局面,我們該如何應對?筆者認爲,傳播學可以發揮作用的領域包括:

讓開發者對人工(gōng)智能(néng)偏見負責。像希瑟·伍茲(Heather S. Woods)和泰勒·莫蘭(Taylor C. Moran)這樣的傳播研究者已經發表了關于人工(gōng)智能(néng)虛拟助手(如Siri和Alexa)與性别和種族刻闆印象的重要研究成果,顯示了人工(gōng)智能(néng)是如何反映并重新定義人類偏見和價值觀的(Woods, 2018;Moran, 2021)。随著(zhe)生(shēng)成式人工(gōng)智能(néng)和新應用的引入,這一(yī)領域還需要更多(duō)的研究。研究的目的是喚醒公衆去追究那些生(shēng)産強化此類偏見的人工(gōng)智能(néng)軟件(jiàn)組織的責任。

具體就(jiù)大型語言模型而言,一(yī)件(jiàn)重要的事(shì)情是幫助制訂發布“基礎性”模型的社區規範。斯坦福以人爲本人工(gōng)智能(néng)研究院(HAI,Human-Centered AI Institute)和基礎模型研究中心(CRFM, Center for Research on Foundation Models)就(jiù)提出,随著(zhe)基礎模型變得更加強大和普遍,負責任發布的問題變得至關重要(Liang, 2022)。而“發布”一(yī)詞本身就(jiù)有不同的内涵:首先是研究訪問,即基礎模型開發者令外部研究人員可以訪問數據、代碼和模型等資産;而部署到(dào)用戶中開展測試和收集反饋,以及以産品形式部署到(dào)最終用戶中,則構成了更深入的發布形式。

随著(zhe)AI技(jì)術變得越來越強大,每個基礎模型開發者獨立決定其發布政策的問題凸顯出來。原因有二:首先,單個行爲者發布不安全、功能(néng)強大的技(jì)術可能(néng)會對個人和社會造成重大傷害。即便認爲當今基礎模型的風險還沒有嚴重到(dào)有理由限制相(xiàng)對開放(fàng)的發布,然而迅猛的發展速度也給未來模型的能(néng)力帶來了相(xiàng)當大的不确定性。其次,正因爲基礎模型風險的嚴重性尚不明确,基礎模型開發者将從分享最佳實踐中獲益,而無需每個組織都“重新發明輪子”,承擔重新發現某些危害的經濟和社會成本。此外,加強合作和提高(gāo)透明度可以解決集體行動問題,即由于快速行動的強烈經濟動機,各組織通(tōng)常對負責任的人工(gōng)智能(néng)投資不足(Askell et al,2019;胡泳,朱政德,2023)。底線就(jiù)是,需要社區規範來管理基礎模型的發布。在向公衆發布人工(gōng)智能(néng)代碼或模型時,既要考慮這樣做的直接影響,也要考慮其他人使用這些代碼或模型可能(néng)産生(shēng)的下(xià)遊影響。

完善把關機制,限制訪問或移除可能(néng)有害的模型和數據集。随著(zhe)AI逐漸成爲各類信息和知識的把關人,爲AI系統設置把關人成爲迫切需要。例如,基爾徹使用的數據集過去和現在都是公開的,任何人都可以下(xià)載,因此可以想象,擁有人工(gōng)智能(néng)技(jì)術的人有可能(néng)會用它來創建一(yī)個以傳播仇恨言論爲目的的機器(qì)人。一(yī)旦這樣的機器(qì)人公開發布,像本文中提到(dào)的Hugging Face拔掉下(xià)載插頭的把關行爲就(jiù)是值得稱許的。

2020年(nián)7月(yuè),麻省理工(gōng)學院下(xià)線了一(yī)個龐大且被高(gāo)度引用的數據集,因爲兩名研究人員發現該數據集使用種族主義和厭惡女性的術語來描述黑(hēi)人/亞洲人和女性的圖像。這一(yī)名爲“8000萬張小(xiǎo)圖像”(80 Million Tiny Images)的訓練集是在2008年(nián)創建的,目的是開發先進的物(wù)體檢測技(jì)術。它被用來教授機器(qì)學習模型識别靜态圖像中的人和物(wù)體(Quach, 2020)。在技(jì)術新聞網站(zhàn)The Register向大學發出警報後,麻省理工(gōng)學院删除了數據集,并敦促研究人員和開發人員停止使用該訓練庫,并删除所有副本。大學還在其網站(zhàn)上(shàng)發表了官方聲明并道歉(Ustik, 2020)。

這種道德上(shàng)可疑的數據集所造成的損害遠遠超出了不良品位;該數據集被輸入神經網絡,教導它們将圖像與單詞關聯起來。這意味著(zhe)任何使用此類數據集的人工(gōng)智能(néng)模型都在學習種族主義和性别歧視,而這可能(néng)會導緻帶有性别歧視或種族主義的聊天機器(qì)人、存在種族偏見的軟件(jiàn),甚至更糟的社會後果,比如警方使用人臉識别系統誤認某人,并因其未曾犯下(xià)的罪行而實施逮捕(Hill, 2020)。

部分問題在于數據集是如何構建的。“8000萬張小(xiǎo)圖像”包含2006年(nián)根據 WordNet(一(yī)個用于計算(suàn)語言學和自(zì)然語言處理的英語單詞數據庫)的查詢從互聯網上(shàng)抓取的 7930.2017 萬張圖像。據創建者介紹,他們直接從WordNet複制了 5.3萬多(duō)個名詞,然後自(zì)動從各個搜索引擎下(xià)載與這些名詞相(xiàng)對應的圖像。由于WordNet包含貶義術語,用戶最終會得到(dào)無意中證實和強化刻闆印象及有害偏見的結果(Song, 2020;Kurenkov, 2022)。

另一(yī)個有問題的數據集是ImageNet。ImageNet是一(yī)個大型視覺數據庫,用于視覺對象識别軟件(jiàn)研究。2019年(nián),在一(yī)個名爲ImageNet Roulette的藝術項目顯示數據集當中存在系統性偏見後,ImageNet也從其系統中删除了60萬張照(zhào)片。不出所料,ImageNet也是基于WordNet構建的(Ruiz, 2019)。這表明了對數據集實施把關的必要性,如果不加以控制,它将繼續産生(shēng)有偏見的算(suàn)法,并爲使用它作爲訓練集的人工(gōng)智能(néng)模型帶來偏見。就(jiù)像計算(suàn)機科學領域的一(yī)句著名習語所說的:垃圾進,垃圾出。

把關機制既包括Hugging Face這樣的神經語言編程代碼共享平台,也包括麻省理工(gōng)學院這樣的精英大學,同時也需要The Register這樣的技(jì)術媒體進行社會監督。人工(gōng)智能(néng)研究社區也要著(zhe)力培養包容性文化,建立更符合倫理的數據集,并規範自(zì)身的程序。例如,避免使用知識共享(Creative Commons)材料,獲得明确的數據采集同意,并在數據集中加入審計卡(audit card),允許數據集的管理者公布目标、管理程序、已知缺陷和注意事(shì)項。

一(yī)個例證是,模型發布時應包含有關模型文檔的模型卡(model card),它是記錄已發布的人工(gōng)智能(néng)模型的預期用途和局限性的好方法,比如GPT-4chan的模型卡就(jiù)明确指出了它的仇恨言論傾向,并警告不要部署它。

重新思考内容的生(shēng)産與傳播。威廉·薩菲爾(William Safire)是20 世紀90年(nián)代末最早斷言“内容”(content)将作爲獨特的互聯網類别而興起的人之一(yī)(Safire,1998),或許也是第一(yī)個指出内容無需與真實性或準确性相(xiàng)關即可實現其基本功能(néng)的人。這一(yī)基本功能(néng),簡單來說,就(jiù)是存在;或者,如凱特·艾希霍恩(Kate Eichhorn)所指出的,内容可以不傳遞任何信息或知識,隻是爲了流通(tōng)而流通(tōng)(Eichhorn, 2022)。

從ICP時代以來,内容就(jiù)被放(fàng)置于社會文化和經濟發展中至關重要的位置,在經曆了PGC、UGC、PUGC這些不同内容模式和内容經濟之後,内容已經成爲人們日常生(shēng)活審美化、藝術化、商品化的重要組成部分。然而在如今風起雲湧的AIGC浪潮中,主體和曆史雙雙迎來了史無前例的危機,因爲這場生(shēng)成式革命選擇将人類更深層次的編碼能(néng)力和思維鏈能(néng)力通(tōng)過訓練交付給機器(qì)(胡泳,劉純懿,2023)。當代文化産業的規範正在朝著(zhe)書面語言的自(zì)動化和算(suàn)法優化方向發展。大量生(shēng)産低(dī)質量文章以吸引廣告的内容農場使用了這些工(gōng)具,但它們仍然依賴大量的人力将字符串成适當的單詞,将單詞串成清晰的句子,将句子串成連貫的段落。一(yī)旦自(zì)動化和擴大勞動規模成爲可能(néng),會出現什麽動力來控制這種生(shēng)産呢(ne)?

長期以來,内容的基本範式一(yī)直是所謂“讀寫網”(read-write web)。我們不僅消費内容,還可以生(shēng)産内容,通(tōng)過編輯、評論和上(shàng)傳參與網絡的創建。然而我們現在正處于一(yī)種“自(zì)書寫網絡”(write-write web)的邊緣:網絡不斷地書寫和重寫自(zì)身。畢竟,ChatGPT及其同類工(gōng)具可以像寫文章一(yī)樣輕松地編寫代碼。

從本質上(shàng)來說,我們将面臨一(yī)場永無止盡的信息垃圾危機,由一(yī)種人類和機器(qì)作者的脆弱融合體加以催生(shēng)。從芬·布朗頓(Finn Brunton)的《信息垃圾:互聯網的影子曆史》(Spam:A Shadow History of the Internet,2013)一(yī)書中,我們可以了解在互聯網上(shàng)傳播虛假内容的五花八門的方法。例如“雙面”網站(zhàn),即爲人類讀者設計的網頁和爲搜索引擎中的機器(qì)人爬蟲優化的網頁同時并存;搭建整個由自(zì)主内容填充的博客網,以驅動鏈接和流量;“算(suàn)法新聞”,通(tōng)過網絡發布自(zì)動報道;當然還有在2016年(nián)美國大選和英國脫歐期間聲名鵲起的僵屍網(botnet)(Brunton, 2013)。形形色色、具有威脅性的信息垃圾告訴我們,網絡的自(zì)我書寫已經持續一(yī)段時間了。今天,随著(zhe)生(shēng)成式人工(gōng)智能(néng)開始占據主導地位,可以預計,機器(qì)生(shēng)産的文本将堵塞服務器(qì)、通(tōng)信電纜和數據中心。

内容生(shēng)産與傳播的新亂象爲傳播學帶來了大量富于挑戰的課題:比如用戶生(shēng)成内容與有報酬(盡管常常報酬不足)的工(gōng)人制作的内容的區别;全球底層社會中的隐形工(gōng)人,他們讓人工(gōng)智能(néng)看(kàn)起來很“聰明”,然而自(zì)身卻是受技(jì)術負面影響最大的邊緣化群體;從藝術和文學到(dào)新聞和政治,這些領域如何經受AIGC内容産業崛起的考驗;是否存在某種“内容資本”,即藝術家、作家和表演者制作内容的能(néng)力,并不關乎他們的作品,而是和他們作爲創造者的地位息息相(xiàng)關?

解決人工(gōng)智能(néng)和傳播的職業問題。喬舒亞·裏夫斯(Joshua Reeves)寫道:“面對機器(qì)冷冰冰的效率,人類似乎隻是潛在錯誤的有機集合。”(Reeves, 2016)OpenAI的研究預測,“80%的美國勞動力可能(néng)至少有10%的工(gōng)作任務會受到(dào)LLM的影響”。更糟糕的是,“19%的工(gōng)作者可能(néng)會看(kàn)到(dào)至少50%的工(gōng)作任務受到(dào)影響”(Eloundou et al, 2023)。公共關系專業人士、文案撰稿人、平面設計師、社交媒體營銷人員——這些都是本科主修傳播學的人的常見職業,也都可能(néng)受到(dào)快速生(shēng)成文本和圖像的生(shēng)成式人工(gōng)智能(néng)的威脅。傳播學需要研究如何在各種傳播工(gōng)作環境中合乎倫理地使用人工(gōng)智能(néng)工(gōng)具,也需要通(tōng)過專業主義的倡導來保護這些職業。

在研究、交流中和課堂上(shàng)提升人工(gōng)智能(néng)素養。奧特姆·愛德華茲(Autumn Edwards)和查德·愛德華茲(Chad Edwards)等傳播教育研究者試圖展示人工(gōng)智能(néng)如何改變傳播教學的本質(Edwards, Edwards, 2017)。此外,ChatGPT帶來的有關考核方式和學術不誠實的大量讨論爲傳播學學者提供了一(yī)個機會,調查和挑戰我們對教學和學習的假設。我們還應該借鑒傳播學研究中将新媒體技(jì)術融入課堂的悠久曆史,确定在哪些實踐中使用人工(gōng)智能(néng)将有利于促進學生(shēng)學習和提高(gāo)教學質量。此外,就(jiù)像社交媒體和假新聞的興起要求發展更好的媒介素養一(yī)樣,ChatGPT等工(gōng)具要求人工(gōng)智能(néng)素養的培育,傳播學在這方面責無旁貸。需要大力開展科學傳播,動員人工(gōng)智能(néng)社區中更多(duō)的研究人員扮演AI傳播者的角色,讓更多(duō)的公衆了解AI技(jì)術的能(néng)力和局限性。

最終,回到(dào)傳播學研究本身,是否需要對傳播學進行重新定位和重新概念化,以适應日益智能(néng)的機器(qì)、自(zì)主決策系統和智能(néng)設備帶來的機遇和挑戰?從曆史上(shàng)看(kàn),傳播學通(tōng)過将創新性突破轉化爲人類互動和信息交換的媒介來适應新技(jì)術。随著(zhe)計算(suàn)機的發展,20世紀下(xià)半葉出現了以計算(suàn)機爲媒介的交流(CMC)。在CMC研究中,計算(suàn)機被理解爲或多(duō)或少中立的訊息傳輸渠道和人類交互工(gōng)具。這種形式化忽略了這樣一(yī)個事(shì)實:與以前的技(jì)術進步不同,計算(suàn)機在今天開始占據交流交換參與者的地位。人工(gōng)智能(néng)科學中已經存在不少這方面的證據,所以,我們也許要問:CMC 範式雖然具有不可否認的影響力,但是否存在重大不足,甚至不再站(zhàn)得住腳?相(xiàng)應地,傳播學是否需要重新設計基本框架,以應對獨特的技(jì)術挑戰及社會機遇?現在是傳播學認真對待這些關鍵問題的時候了。

盡管人工(gōng)智能(néng)有效地挑戰了當前的範式,将其正常功能(néng)置于某種危機之中,但構成新範式的内容現在才剛剛開始出現。按照(zhào)科學史的發展邏輯,這些創新可能(néng)需要相(xiàng)當長的一(yī)段時間,才能(néng)被定型并編入下(xià)一(yī)次被視爲“正常科學”的叠代中。然而,在當前這個初步階段,我們可以開始确定,随著(zhe)人工(gōng)智能(néng)技(jì)術的進展,下(xià)一(yī)代傳播研究可能(néng)會是什麽樣子。

(胡泳:《超越ChatGPT:大型語言模型的力量與人類交流的困境》,2023年(nián)第8期,微信發布系節選,學術引用請務必參考原文)