體系化人工智能與大模型-2023.09

體系化人工智能與大模型o國移ú

馮俊q

2023-07-181大模型的優(yōu)勢強理解能力： 理解長文，短文，t題，指e，?碼，提示，圖片，視頻，聲音，表?強生成能力： 寫詩，作文，畫畫，?碼，多性?仿ā實，非ā實ā強信息集成能力：

知?融\1數(shù)據(jù)融\，系統(tǒng)融\2大模型走向為人<做事=面臨的s戰(zhàn)泛理解能力： 理解長文，短文，t題，指e，?碼，提示，圖片，視頻，聲音，表?Weak

in

Robustness

,

Coherence,

Representation

of

Understanding

(Internal

World

Model)強生成能力： 寫詩，作文，畫畫，?碼，多性?仿ā實，非ā實āHallucination,

Measure

of

Goodness,

Control-ability強信息集成能力：

知?融\1數(shù)據(jù)融\，系統(tǒng)融\Collaborative

learning

,

Continuous

Learning

,

Complex

System

AI復g系統(tǒng)的智能化體系業(yè)ó端r端智能優(yōu)化能力大小模型協(xié)同v人協(xié)同模式3大模型發(fā)展路徑：研判研判1模型相關的理?和?心技術O斷突|，

幅提升總體智能水平，

可?性，

孞全性和可?性亟需關2研判2模型商?的相關標準，支撐體系，

運營運維體系在Tn行業(yè)逐步完善r位24體系化人工智能針對項目提出的挑戰(zhàn)，我們提出體系化人工智能?Holistic

AI，HAIā的關思路，依托泛在的網(wǎng)絡和AI算力，在_?境o實ā對AI能力進行靈活且高效的配1調(diào)度1訓?和部，?滿足日益~富的數(shù)智化業(yè)ó需求

，同時~?AI業(yè)ó可?可?孞全，其?特征~AI服ó大閉環(huán)、AI能力原子化重構(gòu)、網(wǎng)絡原生AI及安全可信AI2y據(jù)智能化業(yè)ó需求，

k需對AI

能力進行調(diào)度、配置和運行監(jiān)控，

使其能在最合理的算網(wǎng)資源上運

行和服ó泛AI算力?/網(wǎng)/?/端/…GPU/ASIC/NPU/CPU/…泛AI算力提供yy?體系化AIOS泛在網(wǎng)絡資源提供yAI能力y?

原子化網(wǎng)絡原業(yè)ó行業(yè)及n人客戶AI

x心能力及模型提供y 5體系化人工智能

?Holistic

AIā與大模型大閉環(huán)原子化能力無??蓋_常檢測無??蓋_常?因分÷基?仿真的y?參數(shù)分÷基?圖像的工參_常發(fā)āy?參數(shù)決策?v大閉環(huán)?Big

Loop

AI)：“AI?業(yè)ó端r端的y?優(yōu)化~目標，重點關多能力級聯(lián)P并聯(lián)優(yōu)化1_ú態(tài)?境oAI能力優(yōu)化的基x理?和技術，

從而?rAI產(chǎn)業(yè)y?2原子化(Atomized

AI)：AI技術依據(jù)高]?1易調(diào)度1自y?1易適配等原則進行原子化拆解和重?2一n典型的小模型1 小模型2 小模型3 小模型4 ... 原子化AI能力包含通?智能層1適配層1?口層，通?智數(shù)據(jù)協(xié)同

模型參數(shù)協(xié)同

模型互學習能層可多n能力r享2AI原子化重?是體系化人工智能得?實ā的基x2基x模型1 基x模型2 ...數(shù)據(jù)基礎設y視覺類物理?境語音類網(wǎng)絡?_語言類|件算力結(jié)?化數(shù)據(jù)仿真?境......網(wǎng)絡原生?Network

Nativeā安全可信?Trust的

AIā6Big

Loop

AI組合多個模型的智能，包括基礎模型，

行業(yè)模型或小模型，

并能夠端到端服務于業(yè)務目標網(wǎng)絡t題投?

級聯(lián)優(yōu)化語音?{+口語自然語言理解

級聯(lián)優(yōu)化0121ASR InterfacesTop-K:Token

Embeddingssoftmax

valuesMatrix

multiply:softmax

output

*

matrix

Gumbel

softmax:smooth

distributionNLU7Big

Loop

AI

with

Small

ModelsFuse

Multiple

Models

into

one

target

model"Cascaded

Multi-task

Adaptive

Learning

Based

on

Neural

Architecture

Search",

Y.Gao,

Shilei

Zhang,Zihao

Cui,

Chao

Deng,

Junlan

Feng*.

Interspeech

20238Big

Loop

AI

with

Small

ModelsCancade

three

models

-

speech

enhancement

,

ASR，

NLU

-

with

Bottleneck

Adapter"Cascaded

Multi-task

Adaptive

Learning

Based

on

Neural

Architecture

Search",

Y.Gao,

Shilei

Zhang,Zihao

Cui,

Chao

Deng,

Junlan

Feng*.

Interspeech

20239Big

Loop

AI

with

Big

Pretraied

ModelsFuse

Multiple

Models

into

one

target

model?

多個神經(jīng)元網(wǎng)絡層形成一個功能塊?

功能相似網(wǎng)絡：輸入相似時

，輸出相似?

將一個網(wǎng)絡分成多個功能塊，

相似的功能塊形成一個集合，這個集合稱為：

等同網(wǎng)絡塊集合"Deep

Model

Reassembly",

Xingyi

Yang

,

etc.

NeurIPS

202210Big

Loop

AI

with

Big

Pretraied

ModelsStitch

Multiple

Bi