書(shū)生萬(wàn)象大模型的技術(shù)演進(jìn)與應(yīng)用探索

書(shū)生·萬(wàn)象多模態(tài)大模型的目錄/OpenGVLab/InternVL未來(lái):“通用性”一個(gè)模型多種任務(wù)多種模態(tài)深度學(xué)習(xí)理論突破深度置信網(wǎng)絡(luò)AlphaFold蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)準(zhǔn)確率新高圍棋比賽AlphaGo4:1李世乭歷史:“特定任務(wù)+大數(shù)據(jù)”取得巨大成功未來(lái):“通用性”一個(gè)模型多種任務(wù)多種模態(tài)深度學(xué)習(xí)理論突破深度置信網(wǎng)絡(luò)AlphaFold蛋白質(zhì)結(jié)構(gòu)預(yù)測(cè)準(zhǔn)確率新高圍棋比賽AlphaGo4:1李世乭ImageNetImageNet競(jìng)賽2016200620212012201620062021大規(guī)模語(yǔ)音識(shí)別 大規(guī)模語(yǔ)音識(shí)別 德州撲克首次在多人復(fù)雜對(duì)局中超越人類人臉識(shí)別LFW識(shí)別率99%,超過(guò)人類以視覺(jué)為核心的多模態(tài)大模型有望在眾多領(lǐng)域帶來(lái)AI生產(chǎn)力革命lili/OpenGVLab/InternVL/OpenGVLab/InternVL/OpenGVLab/InternVL目錄傳統(tǒng)視覺(jué)/視覺(jué)-語(yǔ)言基礎(chǔ)模型范式已落后于大語(yǔ)言模型的發(fā)展，亟需新的范式來(lái)推動(dòng)其發(fā)展visionvisionvision?訓(xùn)練數(shù)據(jù)單一、數(shù)據(jù)量小傳統(tǒng)視覺(jué)/視覺(jué)-語(yǔ)言基礎(chǔ)模型范式已落后于大語(yǔ)言模型的發(fā)展，亟需新的范式來(lái)推動(dòng)其發(fā)展visionvisionvisionvision?訓(xùn)練數(shù)據(jù)單一、數(shù)據(jù)量小?60億參數(shù)視覺(jué)模型+1000億參數(shù)語(yǔ)言模型?漸進(jìn)式對(duì)齊視覺(jué)基礎(chǔ)模型和語(yǔ)言模型表征?大規(guī)模、多來(lái)源圖文多模態(tài)訓(xùn)練數(shù)據(jù)核心思想：擴(kuò)大視覺(jué)基礎(chǔ)模型并為通用視覺(jué)語(yǔ)言設(shè)計(jì)1：擴(kuò)大視覺(jué)模型至6B參數(shù)/OpenGVLab/InternVL/OpenGVLab/InternVL設(shè)計(jì)1：擴(kuò)大視覺(jué)模型至6B參數(shù)基于原始ViT結(jié)構(gòu)，通過(guò)搜索模型深度{32,48,64,80}，注意力頭維度{64,128}，以及MLP比率{4,8}，將視覺(jué)模型擴(kuò)大至6B參數(shù)，找到速度、精度、穩(wěn)定性平衡的模型核心思想：擴(kuò)大視覺(jué)基礎(chǔ)模型并為通用視覺(jué)語(yǔ)言設(shè)計(jì)2：漸進(jìn)式的圖像-文本對(duì)齊策略核心思想：擴(kuò)大視覺(jué)基礎(chǔ)模型并為通用視覺(jué)語(yǔ)言設(shè)計(jì)2：漸進(jìn)式的圖像-文本對(duì)齊策略設(shè)計(jì)2：漸進(jìn)式的圖像-文本對(duì)齊策略階段1：利用海量帶噪聲的圖文數(shù)據(jù)進(jìn)行對(duì)比學(xué)習(xí)預(yù)訓(xùn)練（~5B圖像）階段2：利用過(guò)濾后的高質(zhì)量圖文數(shù)據(jù)進(jìn)行對(duì)比學(xué)習(xí)和生成式聯(lián)合訓(xùn)練（~1B圖像）篩選指標(biāo)：CLIP相似度,水印概率,unsafe概率,美學(xué)指標(biāo),圖片分辨率,caption長(zhǎng)度等核心思想：擴(kuò)大視覺(jué)基礎(chǔ)模型并為通用視覺(jué)語(yǔ)言設(shè)計(jì)2：漸進(jìn)式的圖像-文本對(duì)齊策略從適配視覺(jué)感知任務(wù)，到適配通用視覺(jué)語(yǔ)言任務(wù)，極大地?cái)U(kuò)寬了ImageClassificationImageClassificationSemanticSemanticSegmentationImageClassificationImageClassificationObjectObjectDetectionInstanceSegmentationZeroInstanceSegmentationZero-ShotImageCLS.CaptioningSemanticCaptioningSemanticSegmentation…VisualQuestionAns…VisualQuestionAnsweringMulti-RoundDialogueMulti-RoundDialogue……I∈RH×W×3F∈R××C僅用不到不到三分之一參數(shù)量，實(shí)現(xiàn)了與ViT檢索性能優(yōu)于CLIP、OpenCLIP、CoCa等模型強(qiáng)零樣本圖像、視頻分類能力/OpenGVLab/InternVLhttps://github/OpenGVLab/InternVL/OpenGVLab/InternVLInternVL+LanguageAdapter->Zeroshot多語(yǔ)言內(nèi)容生成OutputOutput(UNet,Transformer)?即插即用的為現(xiàn)有擴(kuò)散模型增加多語(yǔ)言能力?只需要英文數(shù)據(jù)訓(xùn)練，即可泛化到其他語(yǔ)言InternVL+LanguageAdapter->Zeroshot多語(yǔ)言內(nèi)容生成只需要英文數(shù)據(jù)，即可支持超多語(yǔ)言/mulanai/MuLanInternVL+LanguageAdapter->Zeroshot多語(yǔ)言內(nèi)容生成即插即用，無(wú)需對(duì)DiffusionModel做額外訓(xùn)練AnimateDiffAnimateDiff目錄/OpenGVLab/InternVL）：）：理解，高分辨率非常重要。但是對(duì)于一些常）：53.6%56.8%53.6%56.8%59.4%58.5%52.8%49.9%50.5%52.1%88.3%78.2%88.1%80.3%78.1%78.0%-73.5%76.1%78.5%80.8%81.3%85.6%88.4%89.3%86.5%68.7%61.4%49.8%67.5%AI2D45.2%53.5%80.7%80.6%83.8%90.9%66.0%/OpenGVLab/InternVL/OpenGVLab/InternVL漸進(jìn)式對(duì)齊訓(xùn)練，通過(guò)模型"從小到大"、數(shù)據(jù)"從粗到精"的漸進(jìn)式的訓(xùn)練策略，以較低的成本完成了大模型的訓(xùn)練，在有限資源下展現(xiàn)出卓越的性能表現(xiàn)大模型大數(shù)據(jù)僅需20%算力資源，比肩頂級(jí)閉源多模態(tài)大模型高效預(yù)訓(xùn)練僅需20%算力資源，比肩頂級(jí)閉源多模態(tài)大模型/OpenGVLab/InternVL更強(qiáng)的OCR能力：毛筆字+豎排+繁體更強(qiáng)的圖表理解能力細(xì)節(jié)文字理解+文字深層含義細(xì)節(jié)文字理解+文字深層含義結(jié)合專業(yè)知識(shí)問(wèn)答理解人工布置的巧妙之處httpshttps://github/OpenGVLab/InternVL