全球人工智能簡史2024-fastdata極數(shù)

前言如今我們正在進入人工智能(AI)帶來的第五次工業(yè)革命，人工智能技術(shù)的運行速度遠遠快于人類的輸出，并且能夠生成曾經(jīng)難以想象的創(chuàng)造性內(nèi)容，例如文本、圖像和視頻，這些只是已經(jīng)發(fā)生的一部分。人工智能的發(fā)展速度前所未有，要理解我們?nèi)绾巫叩浇裉?，就有必要了解人工智能的起源。人工智能的歷史可以追溯到19世紀，幾乎每幾十年都會有重大的里程碑事件出現(xiàn)，并盡管計算機和人工智能的歷史并不算長，但它們已經(jīng)從根本上改變了我們所看到的東西、我們所知道的東西以及我們所做的事情。對于世界的未來和我們自己的生活來說，沒有什么比這段歷史如何延續(xù)更重要。要了解未來會是什么樣子，研究我們的歷史往往很有幫助。這就是本文所要做的，我回顧了計算機和人工智能的簡史，人工智能發(fā)展歷程中發(fā)生的一些重大事件，看看我類語言，還可以生成與人類行為非常相似的我們深入探索廣闊的人工智能世界，掌握基是對日常接觸的技術(shù)所依賴的人工智能感興趣的段探索大型語言模型領(lǐng)域及其歷史起源的旅程都次令人著迷的探險。在踏上探索大型語言模型內(nèi)原理的征程時，我們必須認識到大語言模型在人工智能葉。要了解人工智能的發(fā)展方向，我們必須回到過去，向眾多像艾倫·馬西森·圖靈這樣才華橫溢的人致敬，是他們的開創(chuàng)性努力為我們今天看到的LLM格局奠定了基什么是大型語言模型(LLM)？大型語言模型是生成或嵌入式文本的基礎(chǔ)模型數(shù)據(jù)科學(xué)家和研究人員通過自監(jiān)督學(xué)習(xí)，在大量單詞，這個過程不僅會為模型產(chǎn)生一組有價值的權(quán)在推理時，用戶向LLM提供“提示”——模型用選擇下一個標記并重復(fù)此過程，直到模型選擇STOP標你可以把它想象成一條從零到一的數(shù)字線。從左成的第一個標記幾乎總是與該城市相關(guān)的運動隊或表演大語言模型簡史?萌芽前的準備大型語言模型是一種人工神經(jīng)網(wǎng)絡(luò)（算法在短短幾年內(nèi)就從新興發(fā)展到廣泛應(yīng)用。它們在ChatGPT的開發(fā)中發(fā)揮了重要作用，而ChatGPT是人工智能的下一個進化步驟。生成式人工智能與大型語言模型相結(jié)合，產(chǎn)生了更智能的人工智能。大型語言模型(LLM)基于人工神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)的最新改進支持了其發(fā)展。大型語言模型還使用語義技術(shù)（語義學(xué)、語義網(wǎng)和自然語言處理）。大型語言模型的歷史始于1883年法國語言學(xué)家米歇爾·布雷亞爾提出的語義概念。米歇爾·布雷亞爾研究了語言的組織方式、語言隨時間的變化以及語言中單詞的連接方式。目前，語義用于為人類開發(fā)的語言，例如荷蘭語或印地語，以及人工智能編程語言，例如Python和Java。然而，自然語言處理專注于將人類交流內(nèi)容翻譯成計算機能夠理解的語言，然后再翻譯回來。它使用能夠理解人類指令的系統(tǒng)，使計算機能夠理解書面文本、識別語音并在計算機和人類語言普通語言學(xué)和梵語。在此期間，他為語言系統(tǒng)這一高度實用的模型奠定了基?加速孕育階段中，討論了人工神經(jīng)網(wǎng)絡(luò)的第一個數(shù)學(xué)模型供了一種以抽象術(shù)語描述大腦功能的方法，并表明《神經(jīng)活動中內(nèi)在思想的邏輯演算》奠定了人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)，是現(xiàn)代深度學(xué)習(xí)的前身，其神經(jīng)元絡(luò)為基礎(chǔ)思想的科學(xué)家們，會大大發(fā)展人工神經(jīng)網(wǎng)絡(luò)的成果。如果說符號主義是利用邏輯學(xué)，自上而下的通過推理演繹的方式解決人工智能這個課題的話，義（Connectionists）”。假設(shè)有人要求你設(shè)計出最強大的計算機。艾倫·圖靈是計算機科學(xué)和人工智能領(lǐng)域的核心人物，自1954年他英年早逝后，他的聲譽才得以提升。在我們所知的計算機出現(xiàn)之前的時代，他將自己的天才運用到解決此類問題上。他對這個問題和其他問題的理論研究仍然是計算、人工智能和現(xiàn)代加密標準（包括NIST推薦的標準）的基礎(chǔ)。二次世界大戰(zhàn)期間，“Hut8”小組，負責(zé)德國海軍密碼分析。期間圖靈設(shè)計了一些加速破譯德國密碼的技術(shù)，包括改進波蘭戰(zhàn)前研制的機器Bombe，一種可以找到恩尼格瑪密碼機設(shè)置的機電機器。圖靈在破譯截獲的編碼信息方面發(fā)揮了關(guān)鍵作用。圖靈對于人工智能的發(fā)展有諸多貢獻，圖靈曾寫過一篇名為《計算機器和智能》的論文，提問“機器會思考嗎？”，作為一種用于判定機器是否具有智能的測試方法，即圖靈測試。至今，每年都有試驗的比賽。此外，圖靈提出的著名的圖靈機模型為現(xiàn)代計算機的邏輯工作方式奠定了圖靈于1947年在倫敦的一次公開演講中宣稱，機器修改自身指令的潛力在大型語言模型領(lǐng)域具有重要意義。它強調(diào)了大型語言模型的適應(yīng)能力、持續(xù)改進、解決各種問題的能力以及緊跟不斷發(fā)展的語言趨勢的能力。這個想法與大語言模型的動態(tài)性質(zhì)完全吻合，使大語言模型能夠在瞬息萬變的語言環(huán)境中獲取知識、進行調(diào)整并保持最新狀態(tài)。腦游戲與人工智能方面的先鋒。塞謬爾的電腦跳棋程式是世界上最早能成功進行自也因此是人工智能（AI）基計算機在語言相關(guān)任務(wù)中的最早用途之一是機器翻譯兩位擅長破解敵方秘密密碼的人（1964年）開始了首批計算機進行語言翻譯和理解的研究的開始，也是導(dǎo)致我個可以自動將一組短語從俄語翻譯成英語的系統(tǒng)，這是然而，掌握自然語言處理的道路絕非易事。在接些早期嘗試都沒有取得可靠的結(jié)果，這凸顯了教機器掌?基于規(guī)則的模型一個計算機程序下跳年將其描述為“機器學(xué)一個計算機程序下跳年將其描述為“機器學(xué)?Mark1感知器使用神經(jīng)網(wǎng)絡(luò)1958年，康奈爾航空實驗室的弗蘭克·羅森布拉特將赫布的神經(jīng)網(wǎng)絡(luò)算法模型與塞繆爾的機器學(xué)習(xí)工作相結(jié)合，創(chuàng)建了第一個人工神經(jīng)網(wǎng)絡(luò)，稱為Mark1感知器。盡管語言翻譯仍然是一個目標，但計算機主要是為數(shù)學(xué)目的而制造的（比語言混亂得多）。這些用真空管制造的大型計算機用作計算器，計算機和軟件都是被定制的。感知器的獨特之處還在于它使用了為IBM704設(shè)計的軟件，并確定了類似的計算機可以共享標準化的軟件程在1960年MarkI感知機的開發(fā)和硬件建設(shè)中達到了頂峰。從本質(zhì)上講，這是第一臺可以通過試錯來學(xué)習(xí)新技能的計算機，它使用了一種模擬人類思維過程的神經(jīng)網(wǎng)絡(luò)。MarkI感知機被公認為人工智能的先驅(qū)，目前位于華盛頓特區(qū)的史密森尼博物館。MarkI能夠?qū)W習(xí)、識別字母，并能解決相當復(fù)雜的問題。1969年，明斯基和西摩·佩珀特出版了《感知機》一書，徹底改變?nèi)藗儗Ω兄獧C的看法。不幸的是，Mark1感知器無法識別許多種基本的視覺模式（例如面部），導(dǎo)致期望落空，神經(jīng)網(wǎng)絡(luò)研究和機器學(xué)習(xí)投入也被消減。?ELIZA使用自然語言編程直到1966年，麻省理工學(xué)院的計算機科學(xué)家約瑟夫·魏森鮑姆開發(fā)了ELIZA，它被稱為第一個使用NLP的程序。它能夠從收到的輸入中識別關(guān)鍵詞，并以預(yù)先編程的答案做出回應(yīng)。魏森鮑姆試圖證明他的假設(shè)，即人與機器之間的交流從ELIZA的機器人小程序。通從根本上說是膚淺的，但事情并沒有按計劃進行。為了簡化實驗并盡量減少爭議，魏森鮑姆開發(fā)了一個程序，使用“積極傾聽”，它不需要數(shù)據(jù)庫來存儲現(xiàn)實世界的信息，而是會反映一個人的陳述以推動對話向前發(fā)展。盡管Eliza的功能相對有限，但它代表了該領(lǐng)域的一次重大飛躍。這個開創(chuàng)性的程序使用模式識別來模擬對話，將用戶輸入轉(zhuǎn)換為問題并根據(jù)預(yù)定義規(guī)則生成響應(yīng)。盡管Eliza遠非完美，但它標志著自然語言處理(NLP)研究的開始，并為開發(fā)更高級的語言模型奠定了基礎(chǔ)。1970年特里·維諾格拉德在麻省理工學(xué)院（MIT）創(chuàng)建了SHRDLU，為人工智能領(lǐng)域做出了杰出貢獻。SHRDLU是一款旨在理解自然語言的創(chuàng)新軟件。它主要通過電傳打字機與用戶進行對話，討論一個稱為“積木世界”的封閉虛擬環(huán)境。在這個世界中，用戶可以通過移動物體、命名集合和提出問題進行交互。SHRDLU的突出之處在于它能夠熟練地結(jié)合名詞、動詞和形容詞等基本語言元素，盡管虛擬世界很簡單，但它卻能夠熟練地理解用戶指令。?統(tǒng)計語言模型20世紀90年代，我們處理語言的方式發(fā)生了重大變化。研究人員不再依賴嚴格的規(guī)則，而是開始使用統(tǒng)計模型來分析現(xiàn)實世界的文本示例。這些模型更加靈活，可以處理更廣泛的語言模式，但它們需要大量的計算機能力和大量數(shù)據(jù)集才能正常工作。20世紀70年代初，人工智能領(lǐng)域由倫納德·鮑姆(1971)等人引入了隱馬爾可夫模型(HMM)和條件隨機場(CRF)。HMM使用概率來判斷句子中發(fā)生了什么，例如識別單詞的角色（名詞、動詞等）。它們非常擅長處理單詞序列并找到句子背后最可能的故事，這使得它們對于語音識別和詞性標注等任務(wù)非常有用。轉(zhuǎn)向統(tǒng)計方法提高了語言處理的靈活性和上下文敏感性。盡管如此，它們也需要大量的計算資源和數(shù)據(jù)才能有效執(zhí)行。這種轉(zhuǎn)變也帶來了新的障礙，為語言建模領(lǐng)域的未來發(fā)展鋪平了道路。在20世紀90年代和21世紀初期，N-gram模型對統(tǒng)計語言建模做出了重大貢獻。這些模型簡單但功能強大。它們通過查看某個單詞前面的單詞序列來估計該單詞出現(xiàn)的可能性。這種直接的方法有助于理解語言的上下文。N-gram的一個突出用途是Google的PageRank算法（1996年）。本質(zhì)上，N-gram模型強調(diào)了語言中語境的重要性，并為能夠捕捉更廣泛的語言細微差別的更先進的技術(shù)奠定了基礎(chǔ)。?深度學(xué)習(xí)模型1983年，辛頓發(fā)明玻爾茲曼機，后來，簡化后的受限玻爾茲曼機被應(yīng)用于機器學(xué)習(xí)，成為深度神經(jīng)網(wǎng)絡(luò)的層級結(jié)構(gòu)基礎(chǔ)。1986年，辛頓提出適用于多層感知機的誤差反向傳播算法（BP這一算法奠定了后來深度學(xué)習(xí)的基礎(chǔ)。辛頓每隔一段時間都能發(fā)明出新東西，而他也堅持寫了兩百多篇神經(jīng)網(wǎng)絡(luò)相關(guān)的論文，盡管這些論文不被待見。到了2006年，辛頓已經(jīng)積累了豐富的理論和實踐基礎(chǔ)，而這一次，他發(fā)表的論文將改變整個機器學(xué)習(xí)乃至整個世界。辛頓發(fā)現(xiàn)，擁有多個隱藏層的神經(jīng)網(wǎng)絡(luò)能夠具有自動提取特征學(xué)習(xí)的能力，相比傳統(tǒng)的手工提取特征的機器學(xué)習(xí)更有效果。另外，通過逐層預(yù)訓(xùn)練的方式可以降低多層神經(jīng)網(wǎng)絡(luò)的訓(xùn)練難度，而這解決了長期以來多層神經(jīng)網(wǎng)絡(luò)訓(xùn)練的難題。辛頓將他的研究成果發(fā)表在兩篇論文中，而當時神經(jīng)網(wǎng)絡(luò)一詞被許多學(xué)術(shù)期刊編輯所排斥，有些稿件的標題甚至因為包含“神經(jīng)網(wǎng)絡(luò)”就會被退回。為了不刺激這些人的敏感神經(jīng)，辛頓取了個新名字，將該模型命名為“深度信念網(wǎng)絡(luò)”（DeepBeliefNetwork）。在20世紀90年代，卷積神經(jīng)網(wǎng)絡(luò)(CNN)被引入。CNN主要用于圖像處理，但也可用于某些NLP任務(wù)，例如文本分類。人工智能和神經(jīng)網(wǎng)絡(luò)LSTM和CNN，共同塑造了自然語言處理和深度學(xué)習(xí)的格局，為理解和處理人類語言開辟了新的可能性。度學(xué)習(xí)方面的貢獻與約書2024年因其在AI領(lǐng)域的卓越），1986年，循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)能夠捕捉語言中的序列依賴關(guān)系，但它面臨著長距離依賴關(guān)系和梯度消失的挑戰(zhàn)。同時，在語言建模的早期，杰語言模型(RNNLM)發(fā)揮了重要作用。該模型擅長識別序列中的短期單詞關(guān)系，但在捕獲長距離依賴關(guān)系時其局限性變得明顯，促使研究人員探索除了RNNLM之外，該領(lǐng)域還出現(xiàn)了潛在語義分析(LSA)，它由朗道爾和杜邁斯于1997年提出。LSA利用高維語義空間來揭示文本數(shù)據(jù)中隱藏的關(guān)系和含義。雖然它提供了對語義關(guān)聯(lián)的寶貴見解，但在處理更復(fù)雜的語言任務(wù)時遇到了某些限制。RNNLM和LSA的貢獻以及其他具有影響力的里程碑共同塑造了語言建模取得重大進步的道路。1997年，長短期記憶(LSTM)模型的推出改變了游戲規(guī)則。LSTM允許創(chuàng)建更深層、更復(fù)雜的神經(jīng)網(wǎng)絡(luò)，能夠處理大量數(shù)據(jù)。門控循環(huán)單元(GRU)是深度學(xué)習(xí)和自然語言處理領(lǐng)域的一個顯著新成員。GRU由Kyung-hyunCho及其團隊2014年是一種循環(huán)神經(jīng)網(wǎng)絡(luò)架構(gòu)，采用門控機制來控制輸入并忘記某些特征，類似于長短期記憶(LSTM)網(wǎng)絡(luò)。然而，GRU與LSTM的在于，它們沒有上下文向量或輸出門，因此架構(gòu)更簡單，參數(shù)更少。研究表明，GRU在各種任務(wù)中的表現(xiàn)與LSTM相似，包括復(fù)音音樂建模、語音信號建模和自然語言處理。這一發(fā)現(xiàn)凸顯了門控機制在循環(huán)神經(jīng)網(wǎng)絡(luò)中的價值，并促進了自然語言處理神經(jīng)網(wǎng)絡(luò)架構(gòu)的持續(xù)?圖形處理單元(GPU)的誕生在1999年推出第一款GPU（NvidiaGeForce256）之前，NLP模型完全依賴CPU進行推理。具有并行處理能力的GPU的引入將標志著一個關(guān)鍵的轉(zhuǎn)變，因為它將允許高效執(zhí)行NLP任務(wù)，從而能夠處理以前僅靠CPU無法實現(xiàn)的大型文本數(shù)據(jù)集和復(fù)雜計算。這項GPU技術(shù)將徹底改變深度學(xué)習(xí)模型，并將在機器翻譯和文本生成等任務(wù)方面取得重大此外，神經(jīng)網(wǎng)絡(luò)開始用于預(yù)測文本中的下一一個神經(jīng)語言模型，使用一個隱藏層前饋神經(jīng)網(wǎng)絡(luò)和開創(chuàng)性的詞嵌入。自從谷歌的TomasMikolov和他的團隊于2013年推出Word2Vec以來，人們開始更多地使用神經(jīng)網(wǎng)絡(luò)來完成語言任務(wù)。這些詞向量將單詞表示為連續(xù)空間中的密集向量，標志著傳統(tǒng)方法的轉(zhuǎn)變，并顯著改善了語言理解和單詞間語義關(guān)系的建模。利用神經(jīng)網(wǎng)絡(luò)進行語言建模使系統(tǒng)能夠預(yù)測句子中的下一個單詞，超越了統(tǒng)計分析并產(chǎn)生了更復(fù)雜的語言模型。?Seq2Seq模型2015年，Bahdanau等人提出了序列到序列模型（Seq2Seq），這是一種神經(jīng)網(wǎng)絡(luò)，可以有效地將可變長度的輸入序列映射到可變長度的輸出序列。Seq2Seq模型架構(gòu)由兩個關(guān)鍵組件組成：編碼器和解碼器。編碼器負責(zé)處理輸入序列，產(chǎn)生一個固定長度的上下文向量，該向量封裝了輸入序列的含義。力和可編程性能，也被業(yè)界譽為世界上第一個真正意義NLP中許多最先進模型的基礎(chǔ)。Transformer架構(gòu)是支持ChatGPT等應(yīng)用程序的語言模型的核心。他是AdeptAILabs的聯(lián)合創(chuàng)始人，解碼器隨后利用該上下文向量逐步生成輸出序列。更詳細地說，編碼器通常采用循環(huán)神經(jīng)網(wǎng)絡(luò)(RNN)逐個元素處理輸入序列，在每一步創(chuàng)建一個固定長度的隱藏狀態(tài)向量。最后一個隱藏狀態(tài)向量用作上下文向量并傳遞給解碼器。解碼器通常也以RNN的形式實現(xiàn)，它采用上下文向量并按順序生成輸出序列。它通過為每個步驟的潛在輸出元素生成概率分布，然后通過從該分布中采樣來選擇輸出序列的下一個元素來實現(xiàn)這一點。然而，盡管Seq2Seq模型取得了成功，但它們也存在一定的局限性，尤其是在處理NMT任務(wù)中的較長序列時。當谷歌于2016年推出其“神經(jīng)機器翻譯”系統(tǒng)時，這些局限性就變得顯而易見，這展示了深度學(xué)習(xí)在語言相關(guān)任務(wù)中的強大功能，并標志著機器翻譯能力的重大進步。最終，2017年Google提出的Transformer架構(gòu)的引入解決了Seq2Seq模型的許多缺點，從而顯著提高了NMT性能。NMT技術(shù)的這種發(fā)展凸顯了自然語言處理的動態(tài)性質(zhì)以及對更有效解決方案的不斷追求。Transformer的演變重塑了大型語言模型的格局。AshishVaswani在2017年的論文《注意力就是你所需要的一切》中引入Transformer模型，帶來了并行序列處理和捕獲大型序列中廣泛依賴關(guān)系的能力。關(guān)鍵創(chuàng)新在于它們使用了自注意力機制，能夠無縫集成序列內(nèi)所有位置的上下文信息，消除了對遞歸和卷積的需求，從而產(chǎn)生了更可并行化、訓(xùn)練速度更快的優(yōu)質(zhì)模型。自注意力機制代表了一次重大飛躍，它允許模型關(guān)注輸入序列的不同部分，并根據(jù)相關(guān)性分配不同的權(quán)重，即使單詞相距很遠。這一功能對于文本生成、語言翻譯和文本理解等任務(wù)至關(guān)重?GPT-12018年，OpenAI推出了他們的第一個大型語言模型GPT-1。這是谷歌在2017年創(chuàng)建了一種名為“Transformer”的新型計算機程序結(jié)構(gòu)之后推出的。OpenAI在一篇名為《通過生成式預(yù)訓(xùn)練提高語言理解能力》的論文中分享了他們的工作。這篇論文不僅介紹了GPT-1，還介紹了生成式預(yù)訓(xùn)練Transformer的概念。?BERT2018年，谷歌推出了Transformer雙向編碼器表示(BERT)，這是一個重大突破，凸顯了預(yù)訓(xùn)練模型的潛力。BERT代表了一種革命性的方法，它涉及在大量文本數(shù)據(jù)上訓(xùn)練廣泛的Transformer模型，并針對特定任務(wù)對其進行微調(diào)，標志著語言建模新時代的到來。BERT的影響是深遠的，因為它在各種自然語言理解任務(wù)（包括問答和情感分析）中建立了新標準。這標志著從僵化、特定于任務(wù)的模型轉(zhuǎn)向更具適應(yīng)性和可遷移性的全新模型。通過在預(yù)訓(xùn)練期間利用大量可用的文本數(shù)據(jù)，BERT深入了解了語言的微妙之處和上下文關(guān)系，重塑了自然語言處理的格局。OpenAI于2019年推出了GPT-2，這標志著LLM領(lǐng)域的一個轉(zhuǎn)折點。GPT-2擁有15億個參數(shù)，展示了生成式模型的巨大潛力。該模型具有準確預(yù)測序列中下一個元素的一般能力。然而，對濫用的擔憂導(dǎo)致了謹慎的發(fā)布策略。該模型能夠生成連貫且上下文豐富的文本，證明了深度學(xué)習(xí)和NLP的快速進步。同時，百度ERNIE、XLNet、XLMERT（微軟）、RoBERTa（Facebook）等模型出現(xiàn)在LLM領(lǐng)域，開創(chuàng)了自然語言處理可能性和能力的新時代。2020年，OpenAI發(fā)布了GPT-3，這是一款擁有1750億個參數(shù)的大型LLM。GPT-3突破了LLM的極限。它在語言翻譯和文本完成、編碼輔助和交互式講故事等任務(wù)中表現(xiàn)出色。它的“few-shot”和“zero-shot”學(xué)習(xí)能力非常出色，使其能夠用最少的訓(xùn)練示例執(zhí)行任務(wù)。GPT-3引入了“提示工程”的概念，使用戶能夠根據(jù)自己的需求調(diào)整Blender(Facebook)、T5(Google)和Meena(Google)也在當年推出。2021年，LLM社區(qū)因引入各種新模式而熱鬧非凡：Transformer-X（谷歌（EleutherAI）、XLM-R（Facebook）、LaMDA（谷歌）、Copilot（GitHub）、GPT-J（EleutherAI）、Jurassic-1（AI21）、Megatron-TuringNLG、Codex（OpenAI）、WebGPT（OpenAI）和BERT2（谷歌）。每個模型都有其獨特的優(yōu)勢，為不斷發(fā)展的NLP領(lǐng)域做出了貢獻，但名為LoRA的訓(xùn)練技術(shù)卻吸引了人們的注意力。?LoRA低秩自適應(yīng)(LoRA)是一種突破性的訓(xùn)練方法，旨在加快大型語言模型的訓(xùn)練，同時節(jié)省內(nèi)存資源。LoRA將秩分解權(quán)重矩陣（稱為更新矩陣）引入現(xiàn)有模型權(quán)重，并將訓(xùn)練工作完全集中在這些新增加的權(quán)重上。這種方法有兩個明顯的優(yōu)勢：首先，預(yù)訓(xùn)練模型的權(quán)重保持不變，降低了災(zāi)難性遺忘的風(fēng)險。其次，LoRA的秩分解矩陣的參數(shù)明顯較少，使得訓(xùn)練后的LoRA權(quán)重易于遷移。緊接著一種突破性的方法問世，可以加速量化模型的微調(diào)，同時保持其性能。這項創(chuàng)新被稱為QLoRA（量化低秩自適應(yīng)），它為大型語言模型領(lǐng)域帶來了范式轉(zhuǎn)變。QLoRA以LoRA（低秩自適應(yīng)）為基礎(chǔ)，通過引入一系列新技術(shù)將其提升到新的水平，這些技術(shù)不僅可以減少內(nèi)存需求，還可以提高微調(diào)過程的效率。就像廚師將食譜數(shù)字化以節(jié)省空間同時保留進行調(diào)整的能力一樣，QLoRA使研究人員和開發(fā)人員能夠有效地微調(diào)大型語言模型，即使在計算資源有限的情況下也是如此。foacebook從本質(zhì)上講，QLoRA利用了多項關(guān)鍵創(chuàng)新，包括NormalFloat(NF4)、DoubleQuantization,和PagedOptimizers,，這些創(chuàng)新共同實現(xiàn)了對大規(guī)模模型的微調(diào)，同時保持了性能。這一重大突破使大型語言模型微調(diào)變得民主化，使小型研究團隊能夠使用它，并預(yù)示著自然語言處理的新可能性。隨著我們繼續(xù)突破該領(lǐng)域的可能性界限，QLoRA無疑將在塑造NLP的未來方面發(fā)揮關(guān)鍵作用。Brain于2021年發(fā)布的LLM系列。Lamda使用了僅解碼器的轉(zhuǎn)換器語言模型，并在大量文本語料庫上進行了預(yù)訓(xùn)練。2022年，當時的谷歌工程師BlakeLemoine公開聲稱該程序具有感知能力，Lamda引起了廣泛關(guān)注。它建立在Seq2Seq架構(gòu)上。?開源模型的興起2022年，開源大型語言模型(LLM)領(lǐng)域經(jīng)歷了重大變革，一些先驅(qū)模型引領(lǐng)了潮流。EleutherAI的創(chuàng)作GPT-NeoX-20B是最早的開源LLM之一。盡管它的規(guī)模較小（與GPT-3等專有模型相比，它有200億個參數(shù)），但它通過RoPE嵌入和并行注意層等創(chuàng)新產(chǎn)生了影響。它的自定義標記器可有效進行代碼標記化，并在各種開源模型中得到采用。MetaAI的開放式預(yù)訓(xùn)練Transformers(OPT)計劃旨在使LLM的獲取更加民主化。OPT提供不同大小的模型，在精選數(shù)據(jù)集上進行預(yù)訓(xùn)練，并提供開源訓(xùn)練框架。雖然OPT模型的表現(xiàn)并不優(yōu)于專有模型，但它們在使LLM更易于研究和提高訓(xùn)練效率方面發(fā)揮了關(guān)鍵作用。BLOOM是一個包含1760億個參數(shù)的LLM，它誕生于1000多名研究人員歷時一年的大規(guī)模協(xié)作。它使用多語言文本數(shù)據(jù)集ROOTS語料庫進行訓(xùn)練。盡管BLOOM在各種基準測試中都具有競爭力，并且在機器翻譯任務(wù)中表現(xiàn)出色，但在某些方面仍然落后于專有模型。GPT-J和GLM等著名模型也取得了成功，為開源LLM領(lǐng)域的進一步發(fā)展奠定了基礎(chǔ)。2022年標志著語言模型領(lǐng)域向開放可訪問性和協(xié)作研究的重大轉(zhuǎn)變。?LoRA低秩自適應(yīng)(LoRA)是一種突破性的訓(xùn)練方法，旨在加快大型語言模型的訓(xùn)練，同時節(jié)省內(nèi)存資源。LoRA將秩分解權(quán)重矩陣（稱為更新矩陣）引入現(xiàn)有模型權(quán)重，并將訓(xùn)練工作完全集中在這些新增加的權(quán)重上。這種方法有兩個明顯的優(yōu)勢：首先，預(yù)訓(xùn)練模型的權(quán)重保持不變，降低了災(zāi)難性遺忘的風(fēng)險。其次，LoRA的秩分解矩陣的參數(shù)明顯較少，使得訓(xùn)練后的LoRA權(quán)重易于遷移。2023年，OpenAI發(fā)布了GPT-4，在大型語言模型(LLM)領(lǐng)域邁出了開創(chuàng)性的一步。GPT-4是一個龐大的多模態(tài)模型，擁有約一萬億個參數(shù)。從這個角度來看，GPT-4比其前身GPT-3大約五倍，比原始BERT模型大3,000倍。這一規(guī)模和容量上的巨大飛躍改變了LLM領(lǐng)域的格局，使其能夠一次性處理多達50頁的文本。要真正了解GPT-4的演變，了解這些模型的時間順序至關(guān)重要。近年來，我們見證了幾個值得關(guān)注的LLM的發(fā)展，它們?yōu)楫斍暗募夹g(shù)水平做出了貢獻。這些模型為GPT-4的出現(xiàn)鋪平了道路，它們反映了開源LLM研究的充滿活力和生機勃勃的前景。這一演變的關(guān)鍵時刻之一是2023年2月MetaAI推出LLaMA。LLaMA是人工智能領(lǐng)域的一項突破性進展。其重要性在于它作為Meta向公眾發(fā)布的基礎(chǔ)大型語言模型。LLaMA的重要性可以從幾個角度來理解：它通過提供更易于訪問且性能更高的大型語言模型替代方案，使人工智能研究的訪問變得民主化，減少了人工智能實驗所需的計算資源，并為更多開源計劃（如Alpaca、Vicuna、Dolly、WizardLM）奠定了基礎(chǔ)。此外，LLaMA用途廣泛，可以針對各種應(yīng)用進行微調(diào)，解決偏見和歧視等人工智能挑戰(zhàn)，同時通過受控訪問堅持負責(zé)任的人工智能實踐。繼LLaMA之后，MosaicML的MPT套件提供了開源LLM的商業(yè)可用替代方案。初始版本MPT-7B引起了廣泛關(guān)注，隨后是更大的MPT-30B模型。這些模型提供了質(zhì)量和商業(yè)可行性的精彩融合，拓展了開源LLM應(yīng)用的視野。另一個值得注意的進展是FalconLLM套件，其性能可與專有模型相媲美。Falcon-7B和Falcon-40B雖然是商業(yè)是可行的，結(jié)果表現(xiàn)也相當出色。這些模型挑戰(zhàn)了有關(guān)數(shù)據(jù)質(zhì)量的傳統(tǒng)觀念，表明在經(jīng)過精心過濾和重復(fù)數(shù)據(jù)刪除的網(wǎng)絡(luò)數(shù)據(jù)上訓(xùn)練的模型可以與在精選來源上訓(xùn)練的模型相媲美。LLaMA-2模型套件通過縮小開源和閉源LLM之間的差距標志著另一個重要里程碑。LLaMA-2的參數(shù)大小從70億到700億不等，并在2萬億個token的海量數(shù)據(jù)集上進行預(yù)訓(xùn)練，突破了開源模型性能的界限。大型語言模型(LLM)領(lǐng)域最顯著的進步之一是Zephyr7B模型，它是Mistral-7B-x0.1的微調(diào)版本。Zephyr7B擁有卓越的功能，這主要歸功于它利用了精煉直接偏好優(yōu)化(dDPO)和AI反饋(AIF)，使其能夠與用戶意圖緊密結(jié)合。值得注意的是，該模型的性能不僅創(chuàng)下了新基準，而且令人印象深刻的是，在聊天基準測試中甚至超越了備受推崇的Llama2-Chat-70B，展示了其實力。Zephyr7B真正與眾不同之處在于其卓越的效率。該模型以驚人的速度實現(xiàn)了卓越的性能，僅需幾個小時的訓(xùn)練。值得注意的是，這種效率是在無需人工注釋或額外采樣的情況下實現(xiàn)的，使其成為利用技術(shù)簡化模型開發(fā)流程的出色范例。Zephyr7B的創(chuàng)新方法將傳統(tǒng)的蒸餾監(jiān)督微調(diào)(dSFT)與偏好數(shù)據(jù)相結(jié)合，展示了融合各種技術(shù)的潛力，以創(chuàng)建一個重新定義自然語言理解和生成領(lǐng)域可實現(xiàn)的邊界的模型。Orca由微軟開發(fā)，擁有130億個參數(shù)，這意味著它足夠小，可以在筆記本電腦上運行。它旨在通過模仿LLM實現(xiàn)的推理過程來改進其他開源模型所取得的進步。Orca以明顯更少的參數(shù)實現(xiàn)了與GPT-4相同的性能，并且在許多任務(wù)上與GPT-3.5相當。Orca建立在130億個參數(shù)版本的LLaMA之GeiniGemini是Google在2023年6月發(fā)布的，為該公Palm為聊天機器人提供支持，在模型切換后，聊天機器人從Bard更名為Gemini。Gemini模型是多模態(tài)的，這意味著它們可以處理圖像、音頻和視頻以及文本。Gemini還集成在許多Google應(yīng)用程序和產(chǎn)品中。它有三種尺寸——Ultra、Pro和Nano。Ultra是最大、功能最強大的模型，Pro是中端模型，Nano是最小的模型，專為提高設(shè)備上任務(wù)的效率而設(shè)計。Gemini在大多數(shù)評估基準上都優(yōu)于GPT-4。2024年2月9日，谷歌宣布GeminiUltra可免費Gemma。Gemma采用了與Gemini相同的技術(shù)和基礎(chǔ)架構(gòu)，基于英偉達GPU和谷歌云TPU等硬件平臺進行優(yōu)化，有20億、70億兩種參數(shù)規(guī)模。每種規(guī)模都有預(yù)訓(xùn)練和指令微調(diào)版本，使用條款允許所有組織（無論規(guī)模大?。┴撠?zé)任地進行商用和分發(fā)。谷歌介紹，Gemma模型與其規(guī)模最大、能力最強的AI模型Gemini共享技術(shù)和基礎(chǔ)架構(gòu)。2024年6月28日，谷歌宣布面向全球研究人員Gemma2有90億（9B）和270億（27B）兩種參數(shù)大小，與第一代相比，其性能更高、推理效率更高，Gemma227B的性能比大其兩倍的同類產(chǎn)品更具競爭力；9B的性能也處于同類產(chǎn)品領(lǐng)先水平，優(yōu)于Llama38B和其他開放模型。2023年11月5日，馬斯克旗下xAI團隊發(fā)布其首個AI該系列模型具有聊天、編碼和推理等功能，包括GGPT-4o是由OpenAI訓(xùn)練的多語言、多模態(tài)（多種GPT-4o于2024年5月13日發(fā)布。該模型比其前身GPT-4快GPT-4o為ChatGPT創(chuàng)造了更自然的人機交互，是一個大可以捕捉情緒。GPT-4o可以在交互過程中查看照片或屏幕并提出相關(guān)問題。GPT-4o的響應(yīng)時間僅為232毫秒人類的響應(yīng)時間相似，比GPT-4Turbo更快。GPT-4o模型OpenAIo1，是OpenAI發(fā)布的推理模型系列。該模使其在嘗試解決問題時可以識別并糾正錯誤途徑。OpenAIo1包括三個型號，除o1-preview之外還將有究人員和開發(fā)人員打開大門。我們已經(jīng)走了很長一段路，究人員和開發(fā)人員打開大門。我們已經(jīng)走了很長一段路，但前進的道路同樣令人興奮。展望未來，我們必須時刻牢記道德考量、可訪問性和負責(zé)任的人工智能發(fā)展。我們可以共同努力，繼續(xù)塑造一個語言模型賦能并連接全球人民的世界。我們希望這次探索能讓您更深入地了解語言模型的歷史和潛力。當我們探索這個激動人心的人工智能領(lǐng)域時，讓我們記住，旅程還遠未結(jié)束，可能性無窮無盡。發(fā)展，到GPT-4o等強大模型的出現(xiàn)，再到LLaMA等開源計劃的出現(xiàn)，我們見證了人工智能和自然語言處理領(lǐng)域的深刻變革。時間軸見證了人類的智慧、奉獻和協(xié)作。我們見證了從基于規(guī)則的模型到統(tǒng)計方法的轉(zhuǎn)變，以及最終改變游戲規(guī)則的Transformer架構(gòu)的引入，這使得GPT-4o等模型成為可能。在此過程中，BERT和Seq2Seq等模型留下了自己的印記，重新定義了我們理解語言的方式。LoRA和QLoRA等最新創(chuàng)新有望使大型語言模型微調(diào)變得民主化，為更多研生成式人工智能崛起生成式人工智能(GenAI)是一種人工智能技術(shù)，可以生成各種類型的內(nèi)容，包括文本、圖像、音頻和合成數(shù)據(jù)。最近，圍繞生成式人工智能的討論是由新用戶界面的簡單性推動的，該界面可以在幾秒鐘內(nèi)創(chuàng)建高質(zhì)量的文本、圖形和視頻。需要注意的是，這項技術(shù)并非全新技術(shù)。生成式人工智能于20世紀60年代在聊天機器人中被引入。但直到2014年，隨著生成對抗網(wǎng)絡(luò)（GAN，一種機器學(xué)習(xí)算法）的引入，生成式人工智能才能夠創(chuàng)建令人信服的真實人物圖像、視頻和音頻。Transformers使研究人員能夠訓(xùn)練越來越大的模型，而無需事先標記所有數(shù)據(jù)。因此，新模型可以在數(shù)十億頁文本上進行訓(xùn)練，從而得到更有深度的答案。此外，Transformers還開啟了一種名為注意力的新概念，使模型能夠跟蹤跨頁面、跨章節(jié)和跨書籍的單詞之間的聯(lián)系，而不僅僅是單個句子之間的聯(lián)系。不僅僅是單詞：Transformers還可以利用其跟蹤聯(lián)系的能力來分析代碼、蛋白質(zhì)、化學(xué)物質(zhì)和DNA。所謂的大型語言模型(LLM)（即具有數(shù)十億甚至數(shù)萬億個參數(shù)的模型）的快速發(fā)展開啟了一個新時代，在這個時代，生成式人工智能模型可以編寫引人入勝的文本、繪制逼真的圖像，甚至可以即時創(chuàng)建一些有趣的情景喜劇。此外，多模式人工智能的創(chuàng)新使團隊能夠生成多種媒體類型的內(nèi)容，包括文本、圖形和視頻。這是Dall-E等工具的基礎(chǔ)，這些工具可以根據(jù)文本描述自動創(chuàng)建圖像或根據(jù)圖像生成文本標題。盡管取得了這些突破，但我們?nèi)蕴幱谑褂蒙墒饺斯ぶ悄軇?chuàng)建可讀文本和逼真風(fēng)格化圖形的早期階段。早期的實施存在準確性和偏見問題，并且容易產(chǎn)生幻覺并給出奇怪的答案。不過，迄今為止的進展表明，這種生成式人工智能的固有能力可以從根本上改變企業(yè)技術(shù)，改變企業(yè)的運營方式。展望未來，這項技術(shù)可以幫助編寫代碼、設(shè)計新藥、開發(fā)產(chǎn)品、重新設(shè)計業(yè)務(wù)流程和轉(zhuǎn)變供應(yīng)鏈。?生成式AI模型生成式人工智能模型結(jié)合了各種人工智能算法來表示和處理內(nèi)容。一旦開發(fā)人員確定了表示世界的方式，他們就會應(yīng)用特定的神經(jīng)網(wǎng)絡(luò)來響應(yīng)查詢或提示生成新內(nèi)容。諸如GAN和變分自動編碼器(VAE)（帶有解碼器和編碼器的神經(jīng)網(wǎng)絡(luò)）之類的技術(shù)適合生成逼真的人臉、用于AI訓(xùn)練的合成數(shù)據(jù)，甚至是特定人類的復(fù)制品。谷歌的GPT和谷歌AlphaFold等Transformer的最新進展也使得神經(jīng)網(wǎng)絡(luò)不僅可以編碼語言、圖像和視頻。02023年全球AI專利授權(quán)數(shù)量達37.8萬件2010年-2023年全球AI專利授權(quán)數(shù)量美國其他地區(qū) 德國 芬蘭英國法國世界知識產(chǎn)權(quán)組織(WIPO)的最新報告顯示，中國發(fā)明請的生成式人工智能(GenAI)專利數(shù)量最多，遠遠超過排名前五報告》記錄了截至2023年的十年間54,000項GenAI專利，其中僅GenAI允許用戶創(chuàng)建包括文本、圖像、音樂和計算機代碼GoogleGemini或百度的ERNIE等聊天機器人。2014年至2023年期間，中國將有超過38,000項GenAI發(fā)明，是排名第二的美國的六WIPO總干事WIPO希望讓每個人都更好地了解這項快速發(fā)展的技術(shù)的發(fā)展方向和發(fā)展方向。這可以幫助的發(fā)展，造福我們共同利益，并確保我們繼續(xù)將人類置于創(chuàng)新和創(chuàng)意生態(tài)系統(tǒng)的中心。我們相信，這份報告將使創(chuàng)新者、研究人員和其他人能夠駕馭快速發(fā)展的生成式人工智能格局及其對世界的影響，”2014年-2023年獲得GenAI專利數(shù)量主要公司u開源u半開源u閉源892019年-2023年全球不同可訪問類型基 清華大學(xué)Anthropic 上海人工智能實驗室 英國阿聯(lián)酋加拿大新加坡以色列 德國 芬蘭 瑞士 瑞典西班牙8832222111112011年-2023年GitHub人工智能項目星2023年全球各主要地區(qū)GitHub人工智能項目美國其他地區(qū)歐盟和英國印度智能模型的發(fā)布方面一直處于領(lǐng)先地位。2014年之后企業(yè)就占據(jù)了主導(dǎo)地位。2023年，全球AI領(lǐng)域產(chǎn)生了51個值得注意的人工智能模型，而學(xué)術(shù)界只有15個。值得注意的是，2023年，有21個值得注意的模型來自產(chǎn)學(xué)研合作創(chuàng)下新高。現(xiàn)在創(chuàng)建尖端的人工智能大模型需要大量的數(shù)據(jù)、算力和資金投入，而這些是學(xué)術(shù)界所不具備的。這種由企業(yè)主導(dǎo)領(lǐng)先人工智能模型研發(fā)的趨勢和去年相比基本保持不變，并且還將持續(xù)下去。2023年值得關(guān)注人工智能大模型發(fā)布國家分布 84443322012年-2023年各領(lǐng)域著名人工智AlexNet是推廣使用GPU改進Al模型的現(xiàn)有標準做法的論文之一，它需要估計470petaFLOP進行訓(xùn)練。最初的Transformer于2017年發(fā)布，需要大約7,400petaFLOP，谷歌的GeminiUltra是目前最先進的基礎(chǔ)模型之一，需要500億petaFLOP。而最新的Grok3需要的算力更加驚人。2017年-2023年部分模型訓(xùn)練成本預(yù)估TransformerTransformer-3 2024年海外市場AI相關(guān)企業(yè)重點融資元AMDAndreessenHorowitz-a16zAmplifyPartnersAccelPartnersAIAgent通用操元Argil天使輪YCombinator天使輪元YCombinatorTalusNetworkPre-A輪司AnthropicValorEquityPartnersAndreessenHorowitz-a16zAIAgent解決方A輪AIAgent解決方商A輪AllegionVenturesworkflowAI創(chuàng)意工作流BluespineAI理賠成本降A(chǔ)輪TanglinVenturePartnersFeniceInvestmentGroupWriterPremjiInvestAdobeWorkdayVentures商A輪JeffbezosRedpointVentures紅點全球基金MarcyVenturePartnersBessemerVenturePartnersRedpointVentures紅點全球基金Jugemu.aiDePIN項目Agent平臺提供商iGentDhyanVCTwinPathVenturesAI網(wǎng)站前端優(yōu)化TIPlatformManagementSmashingAI網(wǎng)絡(luò)內(nèi)容社區(qū)BlockchangeVenturesTrueVenturesPowerofNUrbintManagementA輪HomeToGoLEAPartnersSuccessVenturePartMyriadVenturePartnersWaymoAlphabetTigerGlobal老虎海外商A+輪DCVCBioBoozAllenHamiltonTheJeffriesFamilyOfficeA輪BOLDstartVenturesB輪AccelPartnersACMEVenturesLightmatterD輪FidelityManagementandResearchCompanyT.RowePriceMetaDeepMindAlbaVCAI轉(zhuǎn)錄和音頻智A輪AthleticoVenturesManaVenturesNumericAI會計自動化服A輪MenloVenturesInstitutionalVenturePartnersD輪VenrockHealthcareCapitalPragmaDistributioA輪D輪BessemerVenturePartnersPremjiInvestLightspeedVenturePartners光速AI技能管理服務(wù)商AI軟件及代碼開商B輪DSTGlobalLG集團VoyageAI用A輪DatabricksWingVenturePartnersTectonicCapital司微軟Microsoft軟銀愿景基金 KhoslaVenturesAltimeterCapitalFidelityManagementandResearchCompanyTigerGlobal老虎海外MGXPreparedB輪AndreessenHorowitz-a16zNewViewCapitalM13Atomicwork天使輪Z47-MatrixPartnersB輪YCombinatorMetaplanetHoldingsAI編程服務(wù)提供商A輪AI視頻處理播放A輪DSTGlobalJasperLau'sEraFundsJaredLetoNikeshArora錄VelocityFundMercorA輪GeneralCatalystParAdamD'AngeloJackDorseyfalA輪BrightbandA輪BainCapitalVenturAI并購服務(wù)XPHealthB輪AmericanFamilyVenturesManchesterStoryWorldLabsB輪[領(lǐng)投]NEA恩頤投資-NewAMD臺A輪WOMBODreamAI畫作制作Round13DigitalAssetsFundWVenturesTechnologiesAI金融科技TargetGlobalAI驅(qū)動客戶Stage2CapitalBreadandButterVenturAndreessenHorowitz-a16zNFDGVenturesDotyon.AI天使輪AtlassianfalGreenoaksCapitalManageKleinerPerkinsCaufielByers(KPCB全球)GeneralCatalystParAmplify.LAXYZVentureCapitalA輪SamsungNEXTDCM海外MillenniumNewHorizonsA輪YCombinatorViggleAI動畫生成商A輪B輪Pre-A輪NeotribeVenturesModelOpB輪本AI代碼審查平臺A輪LightspeedVenturePartners光速Valor天使輪AnimocaBrandsBigBrainHoldingsHanowFundPre-A輪InnovateUKMechanicalB輪DatchA+輪ThirdPrimeAI芯片研發(fā)商AIAI大模型方案A輪BainCapitalVenturesLightspeedVenturePartners商B輪AI法律助手服KleinerPerkinsCaufielByers(KPCB全球)UplimitA輪WorkdayVenturesTranslinkCapitalCowboyVenturesGreylockPartnersAI算力協(xié)議提A輪D輪AMDFujitsu富士通WorldLabsA輪[領(lǐng)投]NEA恩頤投資-NewAndreessenHorowitz-a16zMP商AlumniVenturesGroupAnysphereAndreessenHorowitz-a16zWanderboatAIAI驅(qū)動的智能FireworksAIAI實驗和生產(chǎn)B輪AMDMongoDBDatabricksAI創(chuàng)意工作室HubSpotAdobeAndreessenHorowitz-a16zAccendYCombinator教練”ThriveGlobalAliceL.Walton基金會商天使輪AlphaIntelligenceCapital商AtlassianVenturesAscensionVenturesBaobabNetworkAxeleraAIB輪VerveVenturesDustAI技術(shù)服務(wù)商LeyLineAI賦能人機混[領(lǐng)投]春華創(chuàng)投TaihillVentureDotyon.AIARCAAWSNVIDIA英偉達AI芯片研發(fā)商A輪CoatueManagementTherapeuticsB+輪AI芯片研發(fā)商A輪AirtableLatticeLightspeedVenturePartners光LocalGlobeNorthzoneVenturesAI語言識別工具DAOMakerMeezanVenturesVeetonApparateProteus創(chuàng)新AI視天使輪B輪BNPParibasSamsungVentures三星DSTGlobalAnteriorA輪[領(lǐng)投]NEA恩頤投資AIAI大模型方案解LightspeedVenturePartnersThoughtlyAI語音代理服務(wù)ExpansionVentureCapitalAforeCapitalAirMDRAI自主管理檢測商B輪TobikoA輪Viaduct商B輪B+輪AssociatesDatabricksMavenAGIA輪M13TheE14FundUncorrelatedVenturNFXThinkLabsBlackhornVenturesB輪ValorEquityPartnersAndreessenHorowitz-a16zBessemerVenturePartnersTeachers'VentureGrowtAI數(shù)據(jù)平臺MetaAMDYCombinatorTigerGlobal老虎海外GreenoaksCapitalManageHArtisanAI商[領(lǐng)投]OliverJungVoxel51B輪BlackRock貝萊德/黑巖AI自動生成A輪FellowsFundweka.ioAI深度學(xué)習(xí)和商AtreidesManagementGenerationInvestmentManagementMoreTechVenturesB輪FLOODGATEFundAI整合DeFi平臺TensorInvestmentCorporationAI醫(yī)療成像解B+輪BlueRunVentures海外AI大模型訓(xùn)練A輪AmplifyPartners微軟MicrosoftTLVPartnersTeam8NumericAI會計自動化天使輪MenloVenturesLongJourneyVenturesFriends&FamilyCapTekstWorldLabsAndreessenHorowitz-a16zLaminiA輪AMDAltimeterCapitalFidelityManagementandResearchBpifranceAugmentB輪LightspeedVenturePartners光MeritechCapitalPartnersAI程序員技術(shù)A輪B輪NewionInvestmentsAirchatAI社交媒體應(yīng)用A輪NEA恩頤投資-NewEnterpriseAssociatesAnsaCapital[領(lǐng)投]安大略省教師退休基金AI數(shù)據(jù)標簽提AnimocaBrandsARKInvestAI基礎(chǔ)模型開A輪AbstractVenturesGeneralCatalystPar微軟MicrosoftFortyTwo.VCAI創(chuàng)意工作室A輪AndreessenHorowitz-a16zAdjacentAIBrandtechMoussePartnersBanskGroupNendoLabsAI社交平臺天使輪ArcherCapitalXForceCapital臺AndrejRadonjicMacnBTCAnthropicAI實驗和生產(chǎn)平A輪DatabricksAI人力資源管理LuminoTRGCAIA輪PremjiInvestGeneralCatalystParMemorialHermannHospitalLoop.aiAforeCapitalAxionRayA輪AmploBVPInspiredCapitalPartneGreenoaksCapitalManageAdaptiveFinanciereSaintJamesAI程序員技術(shù)研BluwhaleAIWeb3服務(wù)提BaselayerCapitalGhafCapitalPartnersA輪商OctopusFirstCheckJabaliSonyInnovationFundTheiaAI辦公自動化商AMECloudVenturesTaalasB輪Wordware具YCombinatorM12A輪臺A輪KIT-ARSintefVentureVArmilarVenturePartnersD輪GeneralCatalystParWorkdayVenturesICONIQGrowthLightspeedVenturePartnersKPCB凱鵬華盈中國Pre-A輪NLXA輪CercanoManagementThayerVenturesNEA恩頤投資-NewEnterpriseAssociatesTalusNetworkTRGC微軟MicrosoftDatologyAIAI大模型訓(xùn)練DouweKielaA輪NatFriedmanBioptimus商AltavoA輪High-TechGründerfondsBeteiligungsmanagementThüringenTGFSTechnologiegründerfondsSaxoniaSystemsHoldingTUDAGTUDresdenAGAnthropicPraktikaAI語言學(xué)習(xí)應(yīng)Pre-A輪YellowRockA輪BloombergBeta天使輪商商MercuryJoinCapitalB輪商MayfieldFundD輪A輪A輪ViralMomentTechstarsVenturesLeonidCapitalPartnersAI語音合成軟B輪Mercor商A輪AndreessenHorowitz-a16zB輪MatrixPartners經(jīng)緯海外AmplifyPartnersA輪Agrawal'sAIinitiativeVenturesDurable商Ventures南方公園B輪NEA恩頤投資-NewEnterpriseAssociatesInstitutionalVenturePartnersJeffbezosTobikoMotherDuck2024-12-11B輪2024-11-15AI教育機器人B輪B輪商A輪[領(lǐng)投]啟賦資本元和資本Pre-A輪B輪A+輪領(lǐng)沨資本AI蛋白質(zhì)設(shè)計A輪[領(lǐng)投]謝諾投資[領(lǐng)投]深創(chuàng)投臺A輪D輪A輪[領(lǐng)投]君聯(lián)資本[領(lǐng)投]啟明創(chuàng)投[領(lǐng)投]洪泰基金天使輪MaaS賦能企B+輪B+輪AIGC大模型A輪LiblibAI哩布AI繪畫原創(chuàng)A輪AI人工智能A+輪好未來2024-7-17天使輪AI大模型推理和天使輪VR+AI科技公司B輪A+輪[領(lǐng)投]百度啟明創(chuàng)投AI初創(chuàng)大模型公司B輪Pre-B輪L4自動駕駛卡車B+輪AIGC產(chǎn)品開發(fā)Pre-A輪MonolithManagement礪AIGC視覺多模A+輪Pre-A輪[領(lǐng)投]武岳峰資本AI行業(yè)應(yīng)用服務(wù)臺A輪[領(lǐng)投]春華創(chuàng)投AI初創(chuàng)大模型B輪Pre-A輪[領(lǐng)投]武岳峰資本AI行業(yè)應(yīng)用服車產(chǎn)品開發(fā)商A輪[領(lǐng)投]啟明創(chuàng)投達泰資本AIGC視覺多商A輪奇B輪A輪AI初創(chuàng)大模型A輪MonolithManagement礪思資本A+輪B輪B輪幣Pre-A輪IDG資本B輪Pre-A輪A+輪啟明創(chuàng)投VAST哇嘶Pre-A輪[領(lǐng)投]春華創(chuàng)投英諾天使基金D輪Pre-A輪A輪[財務(wù)顧問]指數(shù)資本微處理器技術(shù)IP授商B輪司Minimax稀A輪北航投資普華資本能AI芯片設(shè)計商B輪A+輪商B輪IT系統(tǒng)解決方案提A+輪B輪 SamsungVentures三星2024-7-15B輪AI大算力芯片公司A輪VenturesA+輪A輪2024-11-11L4級自動駕駛產(chǎn)品B輪B輪天使輪L4級自動駕駛產(chǎn)品A輪B輪投臺發(fā)D輪AI解決方案提供商AI芯片研發(fā)商B+輪幣Mindflow曼AI基礎(chǔ)架構(gòu)與數(shù)據(jù)B+輪AI芯片研發(fā)商B輪[財務(wù)顧問]指數(shù)資本[領(lǐng)投]深創(chuàng)投[領(lǐng)投]安吉智慧谷2024-2-1B+輪金AI科技創(chuàng)新公司B輪AIGC技術(shù)服Pre-A輪片A+輪2024-1-17商B輪全球人工智能市場規(guī)模2022年-2032年全球人工智能市場規(guī)模及預(yù)估002024年上半年全球各地區(qū)每周至少使用一次人工智2024年上半年中小企業(yè)主對使用人工智能的擔憂2024年10月全球用戶對AI在就業(yè)市場應(yīng)用的觀點分析人工智能應(yīng)用已在企業(yè)中快速普及人工智能最常見的應(yīng)用已經(jīng)從2023年長遠戰(zhàn)略次要組成部分，轉(zhuǎn)變?yōu)?024年廣泛應(yīng)用并推動企業(yè)關(guān)鍵價值增長。提高產(chǎn)品或服務(wù)質(zhì)量并通過提高IT效率節(jié)省成本是開發(fā)AI應(yīng)用程序的主要驅(qū)動力。2024年10月全球主要地區(qū)認為Ai被廣泛應(yīng)用且推動關(guān)鍵北美歐洲全球化并縮短上市時間的機會。人工智能日益增長的戰(zhàn)略重要性正在推動各企業(yè)大幅增加相關(guān)計劃。廣泛的實驗和教育是企業(yè)應(yīng)盡的義務(wù)，如果不鼓勵，企業(yè)將失去其應(yīng)有的職責(zé)。然而，缺乏明確價值識別途徑的項目正因數(shù)據(jù)挑戰(zhàn)而受到阻礙，從而扼殺這一機會。人工智能項目可能會在有限的部署困境中停滯不前，從而浪費公司的金錢、時間和資源，而無法達到預(yù)期的使用水平。數(shù)據(jù)孤島、數(shù)據(jù)質(zhì)量差以及數(shù)據(jù)和模型管道效率低下等問題正阻礙這些計劃的實施。在普通組織中，51%的AI項目正在生產(chǎn)但尚未大規(guī)模交付。將AI項目引入生產(chǎn)環(huán)境時，數(shù)據(jù)質(zhì)量是最大的阻礙。35%的組織認為，存儲和數(shù)據(jù)管理是AI計劃最常見的基礎(chǔ)設(shè)施抑制因素；然而，那些已經(jīng)廣泛實施AI的組織對這些挑戰(zhàn)的感受不那么強烈。個問題。雖然越來越多的計劃被集中到分部署。平均而言，受訪企業(yè)被歸類為有限部署的生產(chǎn)項目多于擴大能力的項目。在追求新計劃時，許多組織可能無進到生產(chǎn)階段時，數(shù)據(jù)質(zhì)量是最常被提其組織內(nèi)的少數(shù)用例或項目。大規(guī)模實施組織將AI應(yīng)用從試點轉(zhuǎn)移到生產(chǎn)環(huán)境的三大障礙分析各組織紛紛投資生成式人工智能，其興趣超過了對長期存在的人工智能形式的興趣。隨著這波投資熱潮的塵埃落定，一小部分生成式人工智能先驅(qū)者應(yīng)運而生。這些組織擁有更廣泛的整合能力，并從該技術(shù)在新產(chǎn)品開發(fā)、增強創(chuàng)新和更快上市時間方面獲得了顯著的競爭優(yōu)勢。隨著生成式人工智能先驅(qū)者開始建立與他人之間的顯著差距，這些競爭優(yōu)勢可能會不斷增長，而這些差距是由他們的投資和基礎(chǔ)設(shè)施優(yōu)勢決定的。88%的組織正在積極研究生成式人工智能。24%的受訪者已將生成式人工智能視為其整個組織的一項綜合能力。大多數(shù)生成式人工智能開拓者都認為，生成式人工智能計劃對提高創(chuàng)新率（79%）、支持新產(chǎn)品推出（76%）和縮短產(chǎn)品上市時間（76%）等競爭差異化領(lǐng)域具有“高”或“非常高”個問題。雖然越來越多的計劃被集中到分部署。平均而言，受訪企業(yè)被歸類為有限部署的生產(chǎn)項目多于擴大能力的項目。在追求新計劃時，許多組織可能無法最大限度地發(fā)揮其現(xiàn)有投生成式人工智能的采用正在已經(jīng)將生成式人工智能投資轉(zhuǎn)化為規(guī)?；a(chǎn)能力。相比之下，11%的公司尚未投資生成式人工生成式人工智能的采用正在已經(jīng)將生成式人工智能投資轉(zhuǎn)化為規(guī)模化生產(chǎn)能力。相比之下，11%的公司尚未投資生成式人工智能，29%的公司仍在試驗該技術(shù)，37%的公司已將生成式人工智能投入生產(chǎn)但尚未實現(xiàn)規(guī)?；τ谝豁椫钡?022年11月推出ChatGPT后才引起公眾關(guān)注的技術(shù)而言，這是一個了不起的采用水平。已集成并廣泛部署生成式AI的組織將獲得廣泛的好處。重要的是，這些好處通常體現(xiàn)在提供競爭優(yōu)勢的領(lǐng)域。超過四分之三(79%)的先驅(qū)者認為生成式AI對其創(chuàng)新率具有“高”或“非常高”的影響，76%對其新產(chǎn)品上市時間具有影響，76%對其支持新產(chǎn)品推出具有影響，74%對其產(chǎn)品或服務(wù)質(zhì)量的改進具有影響，67%對其產(chǎn)品和/或服務(wù)差異化具有影響。這些水平超過了“AI成熟度”較低的組織，這表明生成生成式AI的先驅(qū)者在其支持基礎(chǔ)設(shè)施和策略方面更加成熟。他們使用更廣泛的場所進行AI模型訓(xùn)練和推理。但更根本的是，在AI基礎(chǔ)設(shè)施規(guī)劃方面，他們考慮的因素要多得多。與沒有進行同等程度投資的組織相比，他們更有可能在規(guī)劃基礎(chǔ)設(shè)施時考慮安全性、AI加速器訪問、數(shù)據(jù)隱私、可擴展性、客戶支持以及對AI工具和框架的訪問。與那些嘗試生成式AI的人相比，這些先驅(qū)者不太可能考慮的唯一因素是前期成本，他們認為前期成本不如長期運營支出重要。通過在基礎(chǔ)設(shè)施決策之初考慮這些因素，這些組織可以確保這些問題不會在項目進展過程中出現(xiàn)。AI加速器在優(yōu)化AI性能方面發(fā)揮著重要作用。這些專用硬件設(shè)備（最突出的例子是GPU）旨在加速模型訓(xùn)練和推理；對于AI工作負載，它們比CPU更快、更高效。組織在訪問GPU時可能會面臨挑戰(zhàn)，而這種稀缺性提升了它們在基礎(chǔ)設(shè)施規(guī)劃中的地位，并鼓勵采用專業(yè)的AI云計算平臺。在安全性之后，44%的組織認為加速器可用性是基礎(chǔ)設(shè)施決策的主要因素。超大規(guī)模公共云是通往GPU的一條途徑，但許多人也轉(zhuǎn)向了專業(yè)的AI云。GPU云正成為訓(xùn)練（近三分之一，即32%的組織采用）和推理（31%）的關(guān)鍵場所。在某些地區(qū)，特別是亞太地區(qū)，缺乏人工智能加速器已經(jīng)限制了組織將模型投入生產(chǎn)。這些專業(yè)云產(chǎn)品在信息技術(shù)和服務(wù)公司2024年全球人工智能趨勢報告展現(xiàn)了與2023年報告截然不同的人工智能應(yīng)用前景。人工智能正在得到更廣泛的應(yīng)用，更加注重提供產(chǎn)品和服務(wù)質(zhì)量改進和收入增長。生成式人工智能的成熟是這一轉(zhuǎn)變的關(guān)鍵驅(qū)動力。然而挑戰(zhàn)依然存在。許多組織正在努力將投資轉(zhuǎn)移到他們可以大規(guī)模提供的能力上，他們承認業(yè)務(wù)運營的可持續(xù)性面臨壓力。構(gòu)建強大的數(shù)據(jù)架構(gòu)，助力AI成功明智的投資是生成式AI成功的關(guān)鍵探索生成式AI驅(qū)動的IT效率擴大可持續(xù)發(fā)展實踐04TheTrend全球人工智能發(fā)展趨勢發(fā)式進入公眾視野的一年，2023年是它因為研究人員和企業(yè)都在尋求確定如何將這一技術(shù)的革命性飛躍最實際地融入生成式人工智能的發(fā)展與計算機少數(shù)公司生產(chǎn)的大型集中式計算機逐漸被企業(yè)和研究機構(gòu)使用的小型高效機器取代。在隨后的幾十年里，技術(shù)逐漸進隨著時間的推移，功能強大的個人計算生成式人工智能已經(jīng)進入了“業(yè)余愛好者”階段——與計算機一樣，進一步的進步旨在以更小的成本實現(xiàn)更高的性能。2023年，具有開放許可的高效基礎(chǔ)模型呈爆炸式增長，首先是Meta推對平價和易用。借助開源社區(qū)開發(fā)的微調(diào)技術(shù)和數(shù)據(jù)集，許多開放模型現(xiàn)在可以在大多數(shù)基準測試中勝過除最強大的閉源模型之外的所有模型，盡管參數(shù)數(shù)型不斷擴展的功能將獲得最多的媒體關(guān)注。但最具影響力的發(fā)展可能是那些專注于治理、中間件、訓(xùn)練技術(shù)和數(shù)據(jù)管道的發(fā)展，這些發(fā)展使生成式人工智能可持續(xù)和易于訪問。以下是未來一年值當生成式人工智能首次引起大眾關(guān)注時，典型的商業(yè)領(lǐng)袖的知識主要來自營銷材料和令人振奮的新聞報道。實際經(jīng)驗（如果有的話）僅限于擺弄ChatGPT和現(xiàn)在對人工智能解決方案有了更深入的了解。有機構(gòu)將用技術(shù)成熟度曲線將生成式人工智能定位在“預(yù)期膨脹的頂峰”，即將滑入“幻滅的低谷”——換句話說，即將進入一個（相對）令人失望的過渡期——而德勤2024年第一季度的“企業(yè)生成式人工智能狀況”報告指出，許多領(lǐng)導(dǎo)者“預(yù)計短期內(nèi)將產(chǎn)生重大的變革影響”。而現(xiàn)實情況可能介于兩者之間：生成式人工智能提供了獨特的機會和解決方案，但它并不會滿足所有人的需求?，F(xiàn)實世界的結(jié)果與炒作相比如何，在一定程度上取決于觀點。像ChatGPT這樣的獨立工具通常占據(jù)大眾想象的焦點，但順利集成到現(xiàn)有服務(wù)中往往會產(chǎn)生更大的持久力。在當前的炒作周期之前，生成機器學(xué)習(xí)工具（如谷歌在2018年推出的“智能撰寫”功能）并沒有被視為范式轉(zhuǎn)變，盡管它們是當今文本生成服務(wù)的先驅(qū)。同樣，許多影響深遠的生成式AI工具正在作為企業(yè)環(huán)境的集成元素實施，它們增強和補充現(xiàn)有工具，而不是徹底改變或取代它們：例如，MicrosoftOffice中的Photoshop中的“生成填充”功能或生產(chǎn)力和協(xié)作應(yīng)用程序中的虛擬代理。生成式人工智能在日常工作流程中首先獲得發(fā)展勢頭的地方，將對人工智能工具的未來產(chǎn)生比任何特定人工智能功能的假設(shè)優(yōu)勢更大的影響。根據(jù)IBM最近對1,000多名企業(yè)級公司員工進行的一項調(diào)查，推動人工智能采用的三大因素是人工智能工具的進步使其更易于訪問、降低成本和自動化關(guān)鍵流程的需求，以及嵌入到標準現(xiàn)成業(yè)務(wù)應(yīng)用程序中的人工智能數(shù)量不斷增加。最先進的生成式人工智能的野心正在不斷增長。下一波進步不僅將側(cè)重于提高特定領(lǐng)域的性能，還將側(cè)重于能夠?qū)⒍喾N類型的數(shù)據(jù)作為輸入的多模態(tài)模型。雖然跨不同數(shù)據(jù)模態(tài)運行的模型并不是一個嚴格意義上的新現(xiàn)象——文本到圖像模型（如CLIP）和語音到文本模型（如Wave2Vec）已經(jīng)存在多年——但它們通常只在一個方向上運行，并且經(jīng)過訓(xùn)練以完成特定任務(wù)。Gemini等專有模型，以及LLaVa、Adept或Qwen-VL等開源模型，它們可以在自然語言處理(NLP)和計