書生萬象大模型的技術演進與應用探索

書生·萬象多模態(tài)大模型的目錄/OpenGVLab/InternVL未來:“通用性”一個模型多種任務多種模態(tài)深度學習理論突破深度置信網(wǎng)絡AlphaFold蛋白質(zhì)結(jié)構(gòu)預測準確率新高圍棋比賽AlphaGo4:1李世乭歷史:“特定任務+大數(shù)據(jù)”取得巨大成功未來:“通用性”一個模型多種任務多種模態(tài)深度學習理論突破深度置信網(wǎng)絡AlphaFold蛋白質(zhì)結(jié)構(gòu)預測準確率新高圍棋比賽AlphaGo4:1李世乭ImageNetImageNet競賽2016200620212012201620062021大規(guī)模語音識別 大規(guī)模語音識別 德州撲克首次在多人復雜對局中超越人類人臉識別LFW識別率99%,超過人類以視覺為核心的多模態(tài)大模型有望在眾多領域帶來AI生產(chǎn)力革命lili/OpenGVLab/InternVL/OpenGVLab/InternVL/OpenGVLab/InternVL目錄傳統(tǒng)視覺/視覺-語言基礎模型范式已落后于大語言模型的發(fā)展，亟需新的范式來推動其發(fā)展visionvisionvision?訓練數(shù)據(jù)單一、數(shù)據(jù)量小傳統(tǒng)視覺/視覺-語言基礎模型范式已落后于大語言模型的發(fā)展，亟需新的范式來推動其發(fā)展visionvisionvisionvision?訓練數(shù)據(jù)單一、數(shù)據(jù)量小?60億參數(shù)視覺模型+1000億參數(shù)語言模型?漸進式對齊視覺基礎模型和語言模型表征?大規(guī)模、多來源圖文多模態(tài)訓練數(shù)據(jù)核心思想：擴大視覺基礎模型并為通用視覺語言設計1：擴大視覺模型至6B參數(shù)/OpenGVLab/InternVL/OpenGVLab/InternVL設計1：擴大視覺模型至6B參數(shù)基于原始ViT結(jié)構(gòu)，通過搜索模型深度{32,48,64,80}，注意力頭維度{64,128}，以及MLP比率{4,8}，將視覺模型擴大至6B參數(shù)，找到速度、精度、穩(wěn)定性平衡的模型核心思想：擴大視覺基礎模型并為通用視覺語言設計2：漸進式的圖像-文本對齊策略核心思想：擴大視覺基礎模型并為通用視覺語言設計2：漸進式的圖像-文本對齊策略設計2：漸進式的圖像-文本對齊策略階段1：利用海量帶噪聲的圖文數(shù)據(jù)進行對比學習預訓練（~5B圖像）階段2：利用過濾后的高質(zhì)量圖文數(shù)據(jù)進行對比學習和生成式聯(lián)合訓練（~1B圖像）篩選指標：CLIP相似度,水印概率,unsafe概率,美學指標,圖片分辨率,caption長度等核心思想：擴大視覺基礎模型并為通用視覺語言設計2：漸進式的圖像-文本對齊策略從適配視覺感知任務，到適配通用視覺語言任務，極大地擴寬了ImageClassificationImageClassificationSemanticSemanticSegmentationImageClassificationImageClassificationObjectObjectDetectionInstanceSegmentationZeroInstanceSegmentationZero-ShotImageCLS.CaptioningSemanticCaptioningSemanticSegmentation…VisualQuestionAns…VisualQuestionAnsweringMulti-RoundDialogueMulti-RoundDialogue……I∈RH×W×3F∈R××C僅用不到不到三分之一參數(shù)量，實現(xiàn)了與ViT檢索性能優(yōu)于CLIP、OpenCLIP、CoCa等模型強零樣本圖像、視頻分類能力/OpenGVLab/InternVLhttps://github/OpenGVLab/InternVL/OpenGVLab/InternVLInternVL+LanguageAdapter->Zeroshot多語言內(nèi)容生成OutputOutput(UNet,Transformer)?即插即用的為現(xiàn)有擴散模型增加多語言能力?只需要英文數(shù)據(jù)訓練，即可泛化到其他語言InternVL+LanguageAdapter->Zeroshot多語言內(nèi)容生成只需要英文數(shù)據(jù)，即可支持超多語言/mulanai/MuLanInternVL+LanguageAdapter->Zeroshot多語言內(nèi)容生成即插即用，無需對DiffusionModel做額外訓練AnimateDiffAnimateDiff目錄/OpenGVLab/InternVL）：）：理解，高分辨率非常重要。但是對于一些常）：53.6%56.8%53.6%56.8%59.4%58.5%52.8%49.9%50.5%52.1%88.3%78.2%88.1%80.3%78.1%78.0%-73.5%76.1%78.5%80.8%81.3%85.6%88.4%89.3%86.5%68.7%61.4%49.8%67.5%AI2D45.2%53.5%80.7%80.6%83.8%90.9%66.0%/OpenGVLab/InternVL/OpenGVLab/InternVL漸進式對齊訓練，通過模型"從小到大"、數(shù)據(jù)"從粗到精"的漸進式的訓練策略，以較低的成本完成了大模型的訓練，在有限資源下展現(xiàn)出卓越的性能表現(xiàn)大模型大數(shù)據(jù)僅需20%算力資源，比肩頂級閉源多模態(tài)大模型高效預訓練僅需20%算力資源，比肩頂級閉源多模態(tài)大模型/OpenGVLab/InternVL更強的OCR能力：毛筆字+豎排+繁體更強的圖表理解能力細節(jié)文字理解+文字深層含義細節(jié)文字理解+文字深層含義結(jié)合專業(yè)知識問答理解人工布置的巧妙之處httpshttps://github/OpenGVLab/InternVL