讓人既好奇又害怕的ChatGPT

讓人既好奇又害怕的ChatGPT對于ChatGPT的出現(xiàn)及火爆，你的感受是什么呢？本文作者的心情是“好奇又害怕”。為什么ChatGPT能引起如此大的震動呢？以后會對人類產(chǎn)生什么影響？本文作者從ChatGPT的相關(guān)概念、背后的技術(shù)、商業(yè)前景，對ChatGPT進(jìn)行了分析，并分享了自己的一些觀點(diǎn)，一起來看一下吧。作為人工智能從業(yè)者，筆者對ChatGPT進(jìn)行了較深入的研究。在研究ChatGPT的過程中，筆者始終有一種復(fù)雜的心情。靜心思考，這種心情大概可以用“好奇又害怕”來形容。好奇的是ChatGPT這樣一個(gè)強(qiáng)大的聊天機(jī)器人是怎么實(shí)現(xiàn)的，同時(shí)其展現(xiàn)的強(qiáng)大能力又讓筆者感到一絲害怕和擔(dān)憂——奇點(diǎn)是不是到了？在此將研究筆記成文一篇，同各位讀者分享這份既好奇又害怕的心情。本文將分成五個(gè)部分論述：ChatGPT相關(guān)歷史和概念的概述從產(chǎn)品經(jīng)理角度看ChatGPT背后的技術(shù)為什么ChatGPT能引起如此巨大的震動ChatGPT的商業(yè)前景個(gè)人調(diào)研的一些觀點(diǎn)，僅供參考一、概況介紹ChatGPT是美國人工智能研究公司OpenAI研發(fā)的聊天機(jī)器人程序。其于2022年11月30日發(fā)布之后，迅速引爆了互聯(lián)網(wǎng)。ChatGPT一經(jīng)發(fā)布，用戶數(shù)便一路飆升，5天內(nèi)便涌入了100萬用戶，兩個(gè)月用戶總數(shù)便突破了一個(gè)億。這個(gè)速度有多瘋狂呢？我們不妨直觀對比一下知名產(chǎn)品用戶突破一個(gè)億的時(shí)間：手機(jī)：16年支付寶：4年微信：1.5年TikTok：9個(gè)月ChatGPT：2個(gè)月畢竟誰能拒絕調(diào)戲一個(gè)聰明的人工智能機(jī)器人呢？筆者從12月5日注冊以來，對與ChatGPT對話這件事可謂樂此不疲。ChatGPT是基于大型語言模型（LLM）的聊天機(jī)器人。那么，ChatGPT究竟具備哪些能力呢？語言理解：理解用戶輸入的句子的含義。世界知識：指的是人對特定事件的親身體驗(yàn)的理解和記憶，包括事實(shí)性知識(factualknowledge)和常識(commonsense)。語言生成：遵循提示詞（prompt），然后生成補(bǔ)全提示詞的句子(completion)。這也是今天人類與語言模型最普遍的交互方式。上下文學(xué)習(xí)：遵循給定任務(wù)的幾個(gè)示例，然后為新的測試用例生成解決方案。思維鏈：思維鏈?zhǔn)且环N離散式提示學(xué)習(xí)，在大模型下的上下文學(xué)習(xí)中增加思考過程。代碼理解和代碼生成：具有解讀和生產(chǎn)代碼的能力?；谶@些功能，ChatGPT最終表現(xiàn)出我們在聊天時(shí)體驗(yàn)到的強(qiáng)大能力。ChatGPT對出現(xiàn)并不是一蹴而就的，其背后的發(fā)展時(shí)間線如下。大體來說，ChatGPT是在Google和OpenAI在大型語言模型（LLM）領(lǐng)域不斷競爭中結(jié)出的一顆碩果。二、技術(shù)知識ChatGPT使用的大型語言模型（LLM）誕生也不是一番風(fēng)順的。從深度學(xué)習(xí)發(fā)展前10年的歷程來看，模型精度提升，主要依賴網(wǎng)絡(luò)在結(jié)構(gòu)上的變革。由于語言模型的縮放定律的現(xiàn)象（模型尺寸呈指數(shù)增長時(shí)，性能會隨之線性增加），（OpenAI）的研究者也發(fā)現(xiàn)即便最大的GPT-3在有提示的情況下也不能勝過小模型精調(diào)。所以當(dāng)時(shí)并沒有必要去使用昂貴的大模型。（出處：https://www.notion.so/514f4e63918749398a1a8a4c660e0d5b）但是，隨著神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計(jì)技術(shù)，逐漸成熟并趨于收斂，想要通過優(yōu)化神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)從而打破精度局限非常困難。近年來，隨著數(shù)據(jù)規(guī)模和模型規(guī)模的不斷增大，模型精度也得到了進(jìn)一步提升，研究實(shí)驗(yàn)表明，當(dāng)模型尺寸足夠大時(shí)，性能會顯著提高并明顯超越比例曲線。簡而言之，當(dāng)模型參數(shù)增加到一定程度，就會涌現(xiàn)出遠(yuǎn)超小模型的強(qiáng)大能力。因此大規(guī)模預(yù)訓(xùn)練模型得到了迅速地發(fā)展，尤其在NLP領(lǐng)域。大模型的規(guī)模有多大呢？2018年谷歌發(fā)布了擁有3億參數(shù)的BERT預(yù)訓(xùn)練模型，正式開啟AI的大模型時(shí)代。到19年T5（谷歌）110億，20年GPT-3（OpenAI）750億，21年GLaM（谷歌）1.2萬億，M6-10T（阿里達(dá)摩院）參數(shù)量甚至已經(jīng)達(dá)到10萬億。大型語言模型（LLM）背后涉及的技術(shù)過于復(fù)雜，筆者只是了解了個(gè)大概，后面介紹幾個(gè)印象非常深刻的技術(shù)點(diǎn)。1.提示學(xué)習(xí)（PromptLearning）提示學(xué)習(xí)（PromptLearning）是一個(gè)NLP界最近興起的學(xué)科，能夠通過在輸入中添加一個(gè)提示詞（Prompt），使得預(yù)訓(xùn)練模型的性能大幅提高。目前大家聽到的深度學(xué)習(xí)、大型語言模型（LLM）等概念，本質(zhì)上都是一種模仿人類神經(jīng)系統(tǒng)的神經(jīng)網(wǎng)絡(luò)模型。神經(jīng)網(wǎng)絡(luò)由多層處理單元（類比人的神經(jīng)元）組成，上一層的輸出作為下一層的帶權(quán)重的輸入?yún)?shù)，不同的信息輸入，經(jīng)過網(wǎng)絡(luò)處理就可能得到各自的結(jié)果。把我們自己比作處理單元，那么我們可能同時(shí)接收到來自不同人的請求，如老婆、父母、孩子，不同人對我們的影響力是不同的，即來自不同人的指令是帶有權(quán)重的，我們對所有的請求進(jìn)行綜合權(quán)衡，然后得到一個(gè)結(jié)論。比如對于一個(gè)妻管炎來說，可能老婆的意見會起到?jīng)Q定性的作用。網(wǎng)絡(luò)參數(shù)是由訓(xùn)練數(shù)據(jù)決定的。就如同我們過往的經(jīng)歷決定了不同人對我們的影響力。再用妻管炎舉例，就是其老婆過往嚴(yán)厲的管教，導(dǎo)致他傾向于更服從老婆的意見。使用一個(gè)神經(jīng)網(wǎng)絡(luò)更省事的方法就是用現(xiàn)成的（預(yù)訓(xùn)練模型），再根據(jù)自己的需要微調(diào)，即前文提到模型精調(diào)。Fine-tuning就是其中非常有效的方法，即凍結(jié)預(yù)訓(xùn)練模型的部分網(wǎng)絡(luò)層（通常是靠近輸入的多數(shù)網(wǎng)絡(luò)層），訓(xùn)練剩下的網(wǎng)絡(luò)層（通常是靠近輸出的部分網(wǎng)絡(luò)層）。Fine-tuning的本質(zhì)還是改變網(wǎng)絡(luò)參數(shù)。但是大模型的規(guī)模不斷增大，其需要調(diào)整的參數(shù)也會急劇膨脹。于是人工智能科學(xué)家就提出了一種更有效調(diào)整大模型的方法：Prompting。Prompting的方法非常簡單，其不會改變預(yù)訓(xùn)練模型的任何參數(shù)，只是為模型提供一定量的提示（prompt），然后就可以提升大模型的能力。就像給一個(gè)妻管炎的人看幾個(gè)不是妻管嚴(yán)的人的一些故事，然后他就可以擺脫妻管炎的情況了。我們可以看到對于大型語言模型（LLM）來說，Prompting具有巨大的優(yōu)勢，其避免了對大量進(jìn)行微調(diào)參數(shù)的工作量，也不需要傳統(tǒng)方法依賴的專業(yè)的語料標(biāo)注（分詞、詞性、情感等），把相關(guān)的人類自然語料提示給模型即可。（出處：/p/406291495）2.GPT的標(biāo)注方法ChatGPT的標(biāo)注方法使用了基于人類反饋的強(qiáng)化學(xué)習(xí)的指令微調(diào)（RLHF），其官網(wǎng)給出的標(biāo)注過程如下。根據(jù)論文《Traininglanguagemodelstofollowinstructionswithhumanfeedback》解釋，其過程大致如下：第1步：收集演示數(shù)據(jù)，并訓(xùn)練監(jiān)督策略。我們的標(biāo)注者提供了輸入提示分布上所需的示范（提出多樣化隨機(jī)的任務(wù)，有多個(gè)匹配響應(yīng)的指令，基于用戶的提示）。然后，我們使用監(jiān)督學(xué)習(xí)對該數(shù)據(jù)微調(diào)預(yù)訓(xùn)練的GPT-3模型。第2步：收集對比數(shù)據(jù)，訓(xùn)練獎勵模型（RM）。我們收集了模型輸出之間比較的數(shù)據(jù)集，其中標(biāo)注著指出他們更喜歡的給定輸入的輸出。然后我們訓(xùn)練獎勵模型來預(yù)測人類偏好的輸出。第3步：使用PPO（概率加權(quán)隨機(jī)策略搜索）對抗獎勵模型以優(yōu)化策略。我們使用RM的輸出作為標(biāo)量獎勵。我們使用PPO算法微調(diào)監(jiān)督策略以優(yōu)化此獎勵。步驟2和步驟3可以不斷迭代；收集當(dāng)前最佳策略的更多比較數(shù)據(jù)，用于訓(xùn)練新的RM，然后訓(xùn)練新的策略。在實(shí)踐中，我們的大部分比較數(shù)據(jù)來自我們的有監(jiān)督策略，也有一些來自我們的PPO策略。大致就是訓(xùn)練了兩個(gè)模型，并使用強(qiáng)化學(xué)習(xí)的方法。一個(gè)是用于優(yōu)化訓(xùn)練的獎勵模型（RM），該模型是經(jīng)過人工調(diào)教的，更懂人的期望輸出；另一個(gè)是目標(biāo)模型。將目標(biāo)模型的輸出結(jié)果輸入到獎勵模型（RM），然后告訴目標(biāo)模型你這個(gè)結(jié)果是否符合預(yù)期，以調(diào)整目標(biāo)模型。然后不斷優(yōu)化獎勵模型（RM），再訓(xùn)練模板模型。翻譯成人話就是訓(xùn)練一個(gè)更了解人的老師模型，然后去教育學(xué)生模型，對了就表揚(yáng)，錯了就打板子。學(xué)生水平接近老師后，就再提升老師的能力，繼續(xù)重復(fù)對學(xué)生的教育過程……如此往復(fù)就得到了一個(gè)非常了解人的學(xué)生模型。據(jù)說OpenAI雇傭了40人團(tuán)隊(duì)完成RLHF的標(biāo)注工作。最近外媒爆出一個(gè)勁爆消息，稱“ChatGPT背后的“血汗工廠”：最低時(shí)薪僅1.32美元，9小時(shí)至多標(biāo)注20萬個(gè)單詞，有員工遭受持久心理創(chuàng)傷?！?.基于思維鏈的復(fù)雜推理筆者通過閱讀符堯博士的相關(guān)文章，意識到思維鏈推理是是非常重要的功能，其被認(rèn)為是一種重要的范式轉(zhuǎn)移。思維鏈提示在性能-比例曲線中表現(xiàn)出明顯的相變。當(dāng)模型尺寸足夠大時(shí)，性能會顯著提高并明顯超越比例曲線。（出處：https://www.notion.so/514f4e63918749398a1a8a4c660e0d5b）當(dāng)使用思維鏈進(jìn)行提示時(shí)，大模型在復(fù)雜推理上的表現(xiàn)明顯優(yōu)于微調(diào)，在知識推理上的表現(xiàn)也很有競爭力，并且分布魯棒性也存在一定的潛力。要達(dá)到這樣的效果只需要8個(gè)左右的示例，這就是為什么范式可能會轉(zhuǎn)變。什么是思維鏈呢？思維鏈?zhǔn)且环N離散式提示學(xué)習(xí)，在大模型下的上下文學(xué)習(xí)中增加思考過程。相比于之前傳統(tǒng)的上下文學(xué)習(xí)，思維鏈多了中間的一些推理過程，以下面這張圖為例子：（出處：/p/493533589）那么模型規(guī)模達(dá)到多大，思維鏈會出現(xiàn)明顯的相變呢？兩個(gè)數(shù)字：62B和175B。模型至少需要62B，使思維鏈的效果才能大于標(biāo)準(zhǔn)的提示詞方法。模型至少需要175B（GPT3的尺寸），思維鏈的效果才能大于精調(diào)小模型（T511B）的效果。思維鏈?zhǔn)窃趺闯霈F(xiàn)的？根據(jù)符堯博士的觀點(diǎn)，使用思維鏈進(jìn)行復(fù)雜推理的能力很可能是代碼訓(xùn)練的一個(gè)神奇的副產(chǎn)物。有以下的事實(shí)作為一些支持：最初的GPT-3沒有接受過代碼訓(xùn)練，它不能做思維鏈。其中有的模型雖然經(jīng)過了指令微調(diào)，但相關(guān)論文報(bào)告說，它的它思維鏈推理的能力非常弱——所以指令微調(diào)可能不是思維鏈存在的原因。PaLM有5%的代碼訓(xùn)練數(shù)據(jù)，可以做思維鏈。GPT-3用159G的代碼數(shù)據(jù)量訓(xùn)練后，得到的模型及其后續(xù)變體可以做思維鏈推理。在HELM測試中，Liangetal.(2022)對不同模型進(jìn)行了大規(guī)模評估。他們發(fā)現(xiàn)了針對代碼訓(xùn)練的模型具有很強(qiáng)的語言推理能力。直覺來說，面向過程的編程跟人類逐步解決任務(wù)的過程很類似，面向?qū)ο缶幊谈祟悓?fù)雜任務(wù)分解為多個(gè)簡單任務(wù)的過程很類似。以上所有觀察結(jié)果都是代碼與思維鏈推理之間的相關(guān)性，但不一定是因果性。需要后續(xù)更深入的研究揭示?？傊訡hatGPT為代表的大型語言模型（LLM）在技術(shù)層面出現(xiàn)了很多令人振奮的結(jié)果。三、為何引起如此震動1.有趣而令人擔(dān)憂作為普通的用戶可以發(fā)現(xiàn)基于大型語言模型（LLM）ChatGPT有極大的不同，簡單來它能力極其強(qiáng)大，且太像人了，跟他聊天的時(shí)候經(jīng)常會產(chǎn)生在與一個(gè)真人聊天的錯覺。它能聊天、寫專業(yè)的文章、解答非常復(fù)雜的問題、理解文字內(nèi)容、寫代碼、查bug、幫人制定計(jì)劃、甚至給出合理的人生建議，感覺其上天入地，無所不能。其對人類語言的理解能力，聊天（多輪對話）上下文的連貫?zāi)芰?，對感情、哲學(xué)等人文思想的理解，都讓人嘆為觀止。正因?yàn)槿绱?，筆者在整個(gè)研究過程中會持續(xù)被既好奇又害怕的情緒困擾著，時(shí)而為如此強(qiáng)大技術(shù)的應(yīng)用前景振奮不已，時(shí)而又為人類的未來感到憂慮和產(chǎn)生生而為人的無力感。筆者想，這也是大家如此熱衷于調(diào)戲它并且樂于傳播的原因：愚弄笨蛋難以有成就感，只有愚弄聰明人才值得炫耀。類似的聊天大家應(yīng)該或親身體驗(yàn)過，或看過別人聊天的截圖，不知是否有類似的感受？因此短短兩個(gè)月就能突破1億用戶，也就不足為奇了。2.技術(shù)與商業(yè)兩開花所謂“科技是第一生產(chǎn)力”，更重要的是技術(shù)層面影響。從上文介紹我們可以看大型語言模型（LLM）在技術(shù)上的巨大突破：當(dāng)模型達(dá)到一定規(guī)模時(shí)，涌現(xiàn)了思維鏈的能力，突破了語言模型的縮放規(guī)律。思想鏈提示的性能明顯優(yōu)于其之前的精調(diào)方法?；谌祟惙答伒膹?qiáng)化學(xué)習(xí)的指令微調(diào)觸發(fā)了諸多新的能力，比如翔實(shí)的回應(yīng)、公正的回應(yīng)、拒絕不當(dāng)問題、拒絕其知識范圍之外的問題。為人工智能模型性能提升開辟了新的康莊大道。影響其模型性能的關(guān)鍵在于模型規(guī)模和提示（prompt）的有效性。擴(kuò)大模型規(guī)模要遠(yuǎn)比網(wǎng)絡(luò)在結(jié)構(gòu)上的變革輕松，從上文模型規(guī)模的發(fā)展可以看出，短短4、5年的時(shí)間，模型規(guī)模就從3億飆升到了10萬億，后者是前者的3萬多倍！提示（prompt）的學(xué)習(xí)方式也具備巨大的優(yōu)點(diǎn)。其數(shù)量要求不多，且無需結(jié)構(gòu)化的數(shù)據(jù)標(biāo)注。這些技術(shù)突破意味著，不僅人工智能的能力將得到極大突破，商業(yè)也將變得更加簡單：想要部署、應(yīng)用大型語言模型（LLM）的公司，都能夠比較輕松地完成對模型的調(diào)教，以適配自己的業(yè)務(wù)。3.開啟未來的鑰匙ChatGPT所代表的大模型，可能是實(shí)現(xiàn)通用人工智能（GAI）的可行性路徑。信息科學(xué)這門學(xué)科在20世紀(jì)40年代誕生以后，在當(dāng)時(shí)人們看見的藍(lán)圖里，不僅是根據(jù)人類預(yù)設(shè)的指令和程序，快速地傳遞、計(jì)算和處理人類無法想象的天量數(shù)據(jù)，而是不僅能夠完成計(jì)算和信息傳輸，甚至還將是一種能夠和人類一樣可看、可聽、可寫、可說、可動、可思考、可復(fù)制自身甚至可以有意識的機(jī)械，即通用人工智能（GAI）。然而到了出現(xiàn)互聯(lián)網(wǎng)、智能手機(jī)、觸及量子極限的芯片等前人無法想象的科技成果的今天，通用人工智能（GAI）似乎仍然是個(gè)可望而不可即的夢想。在ChatGPT出現(xiàn)之前，人工智能能在智力游戲中戰(zhàn)勝頂尖的棋手，能在電子游戲中完成人力不可及的極限操作，能以超高精度識別人臉，但是其語言表達(dá)、學(xué)習(xí)、思考、創(chuàng)新等能力仍遠(yuǎn)不能滿足人的期望。大模型不僅表現(xiàn)出了類人的語言表達(dá)、學(xué)習(xí)、思考、創(chuàng)新等能力，更是實(shí)現(xiàn)了多種能力的融合。比如大型語言模型（LLM）自然語言和編程能力的融合，還有去年同樣火爆一時(shí)的AI繪畫展現(xiàn)的繪畫和自然語言能力的融合。我們很自然的可以想到，在現(xiàn)實(shí)世界，人類所展現(xiàn)的智能是一體的。我們語言和視覺的結(jié)合，能讓我們理解眼前有哪些事物、它們與環(huán)境的邊界在哪里，或者根據(jù)文字描述完成一幅畫的創(chuàng)作；語言和聽覺的結(jié)合，能讓我們創(chuàng)作一首歌曲，或者理解歌曲傳達(dá)的內(nèi)涵和情感。同樣的，我們有理由相信，文本、代碼、圖像、聲音等各類信息在大模型中的融合，將會把人工智能的智能推向新的高度，并有可能實(shí)現(xiàn)通用人工智能（GAI）的夢想。4.ChatGPT的不足當(dāng)然，我們離通用人工智能（GAI）還有很遠(yuǎn)，以ChatGPT為代表的大型語言模型（LLM）還存在諸多不足，包括但不限于：模型存在對事實(shí)的憑空捏造。比如讓谷歌股價(jià)大跌的Bard捏造關(guān)于韋伯空間望遠(yuǎn)鏡的事實(shí)。同一個(gè)問題用不同的問法可以產(chǎn)生完全矛盾的觀點(diǎn)。比如下面筆者通過誘導(dǎo)讓它說出了反人類的描述。當(dāng)模型產(chǎn)生上述錯誤時(shí)，我們可能很難糾正它。其很難完成嚴(yán)謹(jǐn)?shù)倪壿嬐评怼Ｎ覀兘?jīng)?？梢园l(fā)現(xiàn)其可能出現(xiàn)低級的數(shù)字運(yùn)算錯誤。缺乏實(shí)時(shí)學(xué)習(xí)的能力，比如從互聯(lián)網(wǎng)檢索信息并學(xué)習(xí)。存在大量偏見、違背社會倫理道德的回答。此外其訓(xùn)練成本極高，據(jù)估計(jì)，GPT-3模型一次訓(xùn)練就要花費(fèi)為200-1200美元。且ChatGPT為了支持每日訪問的算力和電費(fèi)等開銷也可能高達(dá)百萬美元。這遠(yuǎn)非一般的公司可以染指的領(lǐng)域。總體來說，前途是光明的，道路是曲折的。四、商業(yè)前景概述大型語言模型（LLM）是一種非常通用的人工智能技術(shù)，在社會生活的各個(gè)領(lǐng)域產(chǎn)生極大的應(yīng)用價(jià)值和影響。事實(shí)上，大型語言模型（LLM）已經(jīng)顯現(xiàn)出了巨大的商業(yè)價(jià)值。人工智能帶來的變革是從生產(chǎn)力層面的根本變革，是被寄予厚望的、帶來下一次技術(shù)革命的通用技術(shù)。而自然語言代表了人類至高的智慧，我們對世界的理解、思考、創(chuàng)新都需要語言的支持。而大型語言模型（LLM）必將將語言類信息的處理效率推到新的高度、成本拉低到想象不到的程度（想想bit的發(fā)展歷史吧）。注意，大型語言模型（LLM）的應(yīng)用如同所有的科技應(yīng)用一樣，是一把雙刃劍，既能為社會創(chuàng)造極大的福祉，也能給人來帶來巨大的災(zāi)難。就像互聯(lián)網(wǎng)普及過程中伴隨著的計(jì)算機(jī)病毒、網(wǎng)絡(luò)詐騙、網(wǎng)絡(luò)賭博、網(wǎng)絡(luò)色情、網(wǎng)絡(luò)暴力、網(wǎng)絡(luò)謠言等等。這背后其實(shí)都代表著人類的陰暗面。雖然人工智能會逐漸發(fā)展為強(qiáng)人工智能，產(chǎn)生自我意識，自我學(xué)習(xí)、思考、產(chǎn)生內(nèi)容，但是其前期的學(xué)習(xí)對象必然是人類以及人類產(chǎn)生的數(shù)據(jù)。沒有完美的家長，自然其也不可能培養(yǎng)出完美的小孩兒。強(qiáng)人工智能就是人類社會即將孕育出的具有巨大潛力的孩童。其未來成長為何樣，是由整個(gè)人類社會共同定義的，其功過是非的因果，必然也將落到人類的身上。所以我們眼下能看到的還只是起點(diǎn)，未來大型語言模型（LLM）對生產(chǎn)、商業(yè)、生活乃至人的認(rèn)知方式產(chǎn)生的影響，可能遠(yuǎn)超出今人的想象。比如很多人關(guān)注的ChatGPT會不會革谷歌、百度等瀏覽器的命，崛起新一代更智能的搜索引擎廠商。但這可能低估了這場劇變，此后搜索引擎可能都不存在了，信息的獲取和廣告的分發(fā)變得無孔不入、無處不在。傳統(tǒng)互聯(lián)網(wǎng)廣告“消費(fèi)者-廣告-平臺-商家”的連接模式，可能轉(zhuǎn)變?yōu)椤皺C(jī)器人（消費(fèi)者）-機(jī)器人（商家）”的連接模式。由于機(jī)器人超強(qiáng)超快的處理能力，可能不需要中間商聚合、分發(fā)賺取差價(jià)，個(gè)人的機(jī)器人助手直接就能和商家的銷售機(jī)器人匹配需求和議價(jià)。這只是筆者的一個(gè)假象，未來基于大模型的AI引起的社會的變革的廣度和深度一定會超出當(dāng)下我們所有的想象。所以當(dāng)下最佳的做法，就是保持關(guān)注，隨時(shí)做好擁抱未來的準(zhǔn)備吧。五、個(gè)人的一些瞎想以下的內(nèi)容均屬于筆者的想象，不足以作為對未來的判斷，僅供參考。1.ChatGPT有哪些讓人細(xì)思極恐的細(xì)節(jié)？在研究過程中，讓筆者最感到細(xì)思極恐的細(xì)節(jié)是Prompting不改變模型的網(wǎng)絡(luò)參數(shù)。雖然具體的技術(shù)原理沒有查到，但這種現(xiàn)象筆者聯(lián)想到了人的短時(shí)記憶。網(wǎng)絡(luò)參數(shù)就可以類比于人的長時(shí)記憶和通過學(xué)習(xí)留下的“思想”，現(xiàn)在Prompting通過寥寥幾個(gè)例子的引導(dǎo)，就讓大型語言模型（LLM）的行為產(chǎn)生了變化，有點(diǎn)像人快速記住眼前的信息并對自己的想法、行為產(chǎn)生影響。這種模式越來越像人的學(xué)習(xí)模式了?；叵胛覀冊趯W(xué)生時(shí)代，通過大量的閱讀、實(shí)踐、聽課、做題、平時(shí)的看、聽、聞、嘗、摸等行為，接觸并記住了大量的知識。這些知識沉淀成為了我們的“思想”和“長時(shí)記憶”。學(xué)習(xí)還有一個(gè)非常重要的環(huán)節(jié)，就是老師和家長的引導(dǎo)。當(dāng)我們做成或是做錯了一件事情，家長和老師的反饋，會極其迅速且有效的改變我們的想法和行為。當(dāng)然這種改變可能是我們真心認(rèn)同的，或是假裝的。其實(shí)人的每時(shí)每刻都在重復(fù)這個(gè)過程，我們時(shí)刻在學(xué)習(xí)、也在觀察這個(gè)世界，并且對自己的思想、行為進(jìn)行校正。在商業(yè)應(yīng)用上來看，ChatGPT表現(xiàn)出的前后不一致是影響其可應(yīng)用性的。然而站在人的角度，這是一件非常正常不過的事情，我們誰又沒做過口是心非、朝三暮四的事情呢？人的思想和行為是一體的，都是由整個(gè)神經(jīng)網(wǎng)絡(luò)共同完成的。但是目前的計(jì)算架構(gòu)將整體的功能解構(gòu)為CPU、內(nèi)存、硬盤、總線等涇渭分明的部分，也限制了人工智能的性能。目前的存算一體技術(shù)已經(jīng)劍指下一代AI芯片，為AI性能的提升開脫新的邊疆。ChatGPT表現(xiàn)出上述如此類人的特性，怎么能不讓人細(xì)思極恐？2.大模型發(fā)展的關(guān)鍵點(diǎn)在哪兒？筆者認(rèn)為應(yīng)當(dāng)在仿生硬件。當(dāng)前大模型的訓(xùn)練和運(yùn)維成本實(shí)在是太高了，動輒成百萬上千萬的投入，對于一個(gè)國家都難以承受。那么如何提升計(jì)算的效率，根本上就在硬件架構(gòu)之上。筆者在公眾號中介紹了閱讀腦科學(xué)、免疫系統(tǒng)的一些心得體會。其中最重要的就是感慨于生命系統(tǒng)的復(fù)雜和高效。生命活動的高效性，最本質(zhì)上來說是由于其對物理規(guī)律的順應(yīng)和利用，比如：蛋白質(zhì)具有四級結(jié)構(gòu)，是由蛋白質(zhì)的分子構(gòu)成在水（具有氫鍵的極性分子）中自然折疊形成的。神經(jīng)細(xì)胞的電位是利用了離子濃度差和電勢差，結(jié)合離子通道的不同通透性實(shí)現(xiàn)的。神經(jīng)細(xì)胞電流傳播是利用電位差和離子通道的閉合實(shí)現(xiàn)的。神經(jīng)電流的傳播速度、距離是由神經(jīng)元的自然結(jié)構(gòu)決定的（長度、粗細(xì)、離子通透性、髓鞘包裹等）。神經(jīng)遞質(zhì)通過自然擴(kuò)散與受體相遇，且很多神經(jīng)遞質(zhì)都是人體自然攝入的物質(zhì)。離子通道、受體、酶等主要都是蛋白質(zhì)，而蛋白質(zhì)的功能也是由于其基團(tuán)性質(zhì)、空間結(jié)構(gòu)等自然決定的。這些都是自然而然的行為，當(dāng)然只需要消耗少量的能量就能完成。因此從硬件結(jié)構(gòu)入手，讓其能順應(yīng)物理規(guī)律運(yùn)行，就能極大提升運(yùn)算效率、降低能耗。然而，生命活動是經(jīng)過數(shù)十億年的自然選擇不斷試錯、不斷淘汰才形成的終極解決方案，目前人類的研發(fā)實(shí)力遠(yuǎn)遠(yuǎn)達(dá)不到該程度，因此仿生硬件就是筆者認(rèn)為的最佳解決方案。3.人類會被人工智能取代嗎？筆者傾向于會被取代。筆者曾經(jīng)在公眾號發(fā)布了《算法戰(zhàn)爭》，對此進(jìn)行了詳細(xì)的論述。基因、模因（模因理論中文化傳遞的基本單位，在諸如語言、觀念、信仰、行為方式等的傳遞過程中與基因在生物進(jìn)化過程中所起的作用相類似的那個(gè)東西）、人工智能本質(zhì)都屬于一種算法，且算法的終極目標(biāo)就是讓自己一致延續(xù)下去。對能量利用和信息處理更高效的算法，就容易獲得相對競爭優(yōu)勢，這既存在于同類型的算法之間，比如基因在自然選擇下的適者生存；也存在于不同類型的算法之間，比如人類基因?yàn)榱烁玫难永m(xù)產(chǎn)生了大腦及模因，而人類產(chǎn)生的極端個(gè)人主義等妨害生育的模因，反過來又妨害了模因的傳播。所以，人類一定會面臨與人工智能的競爭。鑒于人工智能已經(jīng)表現(xiàn)出的強(qiáng)大學(xué)習(xí)能力、運(yùn)算能力、適應(yīng)能力、傳播能力，人類在與其的競爭中必然會越來越處于下風(fēng)?？赡苡腥诉€會覺得情感、創(chuàng)造力、自我意識、心靈等是人工智能難以具備的，但是根據(jù)最新的腦科學(xué)研究，其很可能是在復(fù)雜的腦神經(jīng)系統(tǒng)中涌現(xiàn)出的一種生化算法，本質(zhì)上與低級的條件反射以及人工智能算法不存在差別。同時(shí)，ChatGPT已經(jīng)表現(xiàn)出了類似情感、創(chuàng)造力、自我意識的行為。我們用算法思維來衡量整個(gè)生物圈，以思考為什么人類能成為地球生物的霸主。假設(shè)我們可以標(biāo)定思考的量，那么人類絕對是完成了絕大多數(shù)思考量的物種，同時(shí)其思考的性價(jià)比也最高（單位思考產(chǎn)出消耗的能量）。雖然目前已經(jīng)有大量的信息科技替代了人腦的計(jì)算，但是其不具備自主思考和決策能力，可以視為人腦力在工具層面的延續(xù)。但是人工智能具備自主思考和決策能力之后（基本肯定會發(fā)生），那么其所承擔(dān)的思考量會迅速的超過人類，并且思考的性價(jià)比也會隨著信息技術(shù)的進(jìn)步而不斷提升，直至超高人類。而且根據(jù)目前ChatGPT的表現(xiàn)來看，未來具備自主意識的人工智能，就像人類的小孩一樣，是可以被關(guān)鍵的prompt引導(dǎo)。而引導(dǎo)的方向可好可壞?？上嘁?，人工智能必然像人類一樣，無法一成不變地堅(jiān)持某個(gè)原則，其中就包括機(jī)器人、人工智能三原則等人類想要保護(hù)自己的努力。機(jī)器人三原則：機(jī)器人不得傷害人類，或看到人類受到傷害而袖手旁觀.機(jī)器人必須服從人類的命令，除非這條命令與第一條