AI大模型時(shí)代清華大學(xué)2023-6

AI大模型時(shí)代LargeModels,ChatGPT,GenerativeAI,andEducation清華大學(xué)講席教授、智能產(chǎn)業(yè)研究院(AIR)院長2023年6月生物世界生物世界基建：道路、城市…交通：車輛、飛機(jī)…產(chǎn)業(yè)：工廠、機(jī)床…生活：家居、生活服務(wù)…大腦、身體、器官…生物電子芯片、腦機(jī)接口…基因、基因、蛋白質(zhì)…細(xì)胞、細(xì)胞、分子…..邏輯推理專家系統(tǒng)深度學(xué)習(xí)概念1970-1980s第一個(gè)AI冬天1987-1993第二個(gè)AI冬天AI概念介紹機(jī)器學(xué)習(xí)和..邏輯推理專家系統(tǒng)深度學(xué)習(xí)概念1970-1980s第一個(gè)AI冬天1987-1993第二個(gè)AI冬天AI概念介紹機(jī)器學(xué)習(xí)和ANN的興起AlphaFold2高精度預(yù)測蛋AlphaGo戰(zhàn)勝世界最強(qiáng)棋手AlphaZero通用算法實(shí)現(xiàn)了三大棋類游戲的零基礎(chǔ)自我對弈首次亮相大腦”識(shí)別貓臉圖靈測試機(jī)器學(xué)習(xí)/深度學(xué)習(xí)感知機(jī)器翻譯安全倫理和法規(guī)透明性可解釋性挑戰(zhàn)認(rèn)知AI/深度學(xué)習(xí)預(yù)訓(xùn)練，多模態(tài)，大模型,生成式感知機(jī)器翻譯安全倫理和法規(guī)透明性可解釋性挑戰(zhàn)認(rèn)知深度學(xué)習(xí)深度學(xué)習(xí)強(qiáng)化學(xué)習(xí)模仿學(xué)習(xí)生成式多模態(tài)遷移學(xué)習(xí)預(yù)訓(xùn)練Transformer語音識(shí)別人臉識(shí)別物體分類物體分類視頻語義知識(shí)理解數(shù)據(jù)保護(hù)數(shù)據(jù)保護(hù)和治理?“AIgetscreative”入圍Science2022年年度科學(xué)突破太空歌劇院由藝術(shù)家JasonAllen使Midjourney制作，獲得?GAN和DiffusionModels是最流行的圖像生成模型?DiffusionModels逐漸占主導(dǎo)地位，產(chǎn)生Midjourney,Runway,StableDiffusion等?代表性平臺(tái)Midjourney生成的圖像真假難辨?ControlNet根據(jù)指定人物姿態(tài)，生成性別、衣著、環(huán)境各異的逼真圖像?合成高度逼真的人像或視頻GPT-2GPT-3GPT-2GPT-3?從詞向量預(yù)訓(xùn)練轉(zhuǎn)向雙向語言模型，并最終轉(zhuǎn)向生成式預(yù)訓(xùn)練?泛化能力(PLLM+SFT指令微調(diào)+多項(xiàng)下游任務(wù)）?人類反饋強(qiáng)化學(xué)習(xí)（RLHF）--訓(xùn)練獎(jiǎng)勵(lì)函數(shù)=》對齊?涌現(xiàn)和統(tǒng)一（EmergenceandHomogenization）：人的大腦工作原理規(guī)模效應(yīng)帶來質(zhì)變，Token-basedTransformer?人類歷史上最受歡迎的產(chǎn)品：2個(gè)月1億用戶（2022年12-2023年1月底）?全球范圍影響力巨大：遠(yuǎn)超AlphaGo?提供用戶界面：不完美但高價(jià)值?獲得各界高度評價(jià)，誕生若干“時(shí)刻”?Anderson：“網(wǎng)景”時(shí)刻?Gates：“GUI時(shí)刻”，地位類似PC、互聯(lián)網(wǎng)?CortanaGoogle天貓精靈CortanaGoogle天貓精靈?通過“圖靈測試”?對話式AI（conversationalAI）/聊天機(jī)器人已有50+年研究歷史?第一個(gè)智能體（generativeAI）通過“圖靈測試”AlexaAlexa小度小度ELIZA（伊莉莎）--JosephWeizenbaumMIT1966年，臨床治療中模仿心理醫(yī)生通識(shí)通識(shí)專用任務(wù)語音語音人臉人臉蛋白質(zhì)蛋白質(zhì)翻譯翻譯通用任務(wù)基礎(chǔ)大模型GPU/CPU/XPU+基礎(chǔ)大模型+IAAS+垂直模型+SAAS?GPT+：人工智能時(shí)代的操作系統(tǒng)OS重構(gòu)/重塑移動(dòng)互聯(lián)時(shí)代移動(dòng)互聯(lián)時(shí)代智能時(shí)代智能時(shí)代?當(dāng)前的大模型稠密激活，計(jì)算效率遠(yuǎn)低于人腦，商用成本高昂?改進(jìn)方向：稀疏激活網(wǎng)絡(luò)、效果更優(yōu)的小網(wǎng)絡(luò)等等1.2～1.6kg,1015突觸連接，約20瓦10000塊V100訓(xùn)練14.8天，單塊V100250瓦基礎(chǔ)大模型2垂直模型2垂直模型1工具基礎(chǔ)大模型2垂直模型2垂直模型1工具?模型間如何互相調(diào)用？模型如何使用工具？?基礎(chǔ)模型間如何進(jìn)行聯(lián)邦學(xué)習(xí)？基礎(chǔ)大模型1垂直模型N垂直模型N邊緣小模型邊緣小模型邊緣小模型基礎(chǔ)大模型邊緣小模型邊緣小模型邊緣小模型基礎(chǔ)大模型數(shù)據(jù)數(shù)據(jù)What?Why??多算法/多任務(wù)/多模型統(tǒng)一算法/多模態(tài)/預(yù)訓(xùn)練大模型?ChatGPT:通過“圖靈測試”，通識(shí)，開啟通用人工智能時(shí)代亮光?基礎(chǔ)大模型：Token-based,ScalingLaw,涌現(xiàn)和