智能研發(fā)的點與面：螞蟻代碼大模型落地實踐

智能研發(fā)的點與面：螞蟻代

碼大模型落地實踐演講人：肖斌

02

智能研發(fā)發(fā)展路線

03

關鍵技術與難點目

錄

04

未來方案思考 01研發(fā)提效探索研發(fā)提效探索CodeFuse在螞蟻研發(fā)全生命周期提效的探索在CLI中執(zhí)行操作編寫提交消息

了解最近代碼變更

在代碼庫中搜索…重構代碼執(zhí)行代碼審查編寫測試

編寫代碼注釋或…調(diào)試代碼

互聯(lián)網(wǎng)搜索

理解代碼

編寫代碼0.00%20.00%40.00%

60.00%

80.00%100.00%

比例注：數(shù)據(jù)來源JetBrains2023年開發(fā)者生態(tài)報告代碼補全

代碼問答

解釋代碼u添加注釋

生成測試

代碼大模型探索開發(fā)者最耗時活動各功能使用占比

螞蟻大模型發(fā)展路線CodeFuse

3.0GPT-3

模型落地?

0.25B模型?

代碼行補全?

全螞蟻落地2022CodeFuse

2.0?

發(fā)布IDE插件，支持多語言，多IDE?

CodeFuse開源，登頂開源代碼大

模型HunabEval榜單（74.4%）CodeFuse立項?

發(fā)布1.3B模型?

多語言代碼補全?

發(fā)布編程開發(fā)助手2023

Q42023

Q3?

發(fā)布CodeFuse1.0?

支持多種模型?

螞蟻內(nèi)公測，大客戶使用?

BigCode第一名?

倉庫級代碼問答&需求?

倉庫級代碼補全優(yōu)化?

IDE插件對外放量?

支持螞蟻內(nèi)部數(shù)十種研發(fā)下游任務CodeFuse

持續(xù)升級2023

Q22023

Q1?

支持螞蟻內(nèi)部效能平臺CodeFuse

1.02024Chat模式Agent模式Sop

多Agent編排人類僅需設定目標，提供資源，

設置流程，監(jiān)督結果。通過SOP方式根據(jù)特定流程編排多領域Agent，完成特

定復雜任務或跨平臺任務。單純問答形式無法滿足智能化需求，需要結合平臺的能力進行智能化改造，

集成研發(fā)平臺能力（工具）供AI調(diào)度。集成平臺知識庫或平臺特定數(shù)

據(jù)對模型進行加訓，通過對話

方式提供研發(fā)平臺知識問答。

大模型的能力演進智能化工具化AI

Native工具化平臺通過程序，工具等傳統(tǒng)方式滿足用戶各種明確且特定的功能。用戶

一般在產(chǎn)品上通過界面和特定操作流程完成任務。AI原生平臺以AI技術為核心，能夠自主進行復

雜的任務處理和決策。AI能力嵌入

到用戶每個操作中，通常能通過更簡單的操作完成更復雜的事情。智能化平臺通過效能平臺Copilot完成AI能力

的使用，用戶一般通過側邊欄進

行平臺知識庫問答或直接通過AI調(diào)

度效能平臺能力。

大模型背景下效能平臺產(chǎn)品演進AI

Native效能平臺傳統(tǒng)效能平臺效能平臺+Copilot需求分析編碼自測聯(lián)調(diào)測試部署發(fā)布監(jiān)控運維Run編譯問題自動修復啟動問題自動修復部署問題自動修復智能

DebugCodeFuseAIAssistant

Platform數(shù)據(jù)/模型/部署/推理/評測等AI升級研發(fā)鏈路個人生產(chǎn)力釋放、研發(fā)環(huán)節(jié)智能化、人工參與率降低產(chǎn)品矩陣領域Agent研發(fā)輔助CICD流水線智能執(zhí)行執(zhí)行問題定位域排查CICDconfigOps監(jiān)控時序分析監(jiān)控日志解讀監(jiān)控語義搜索智能變更&應急Analysis需求智能拆解需求to系分需求to測分系分to研發(fā)計劃CodeFuseAPIsQualityTextto測試用例單測用例生成

接口用例生成測試覆蓋率提升測試資產(chǎn)選取

CodeFuse代碼大模型落地現(xiàn)狀RAG

IDE能力評測體系其他數(shù)據(jù)體系AI

Native

R&D全新研發(fā)范式，

AI原生的研發(fā)交付代碼補全代碼優(yōu)化添加注釋代碼評審代碼生成缺陷修復代碼解釋變更總結CodeFuseVATCodeFuse

IDECodeFuseCopilot超級會話及管理領域Agent開發(fā)螞蟻大模型基礎設施大模型/Agent建設平臺等核心能力底層依賴項目解析與問答倉庫理解與問題智能

CLIAgent調(diào)度與執(zhí)行技術知識問題意圖識別升級

演進Coding智能研發(fā)發(fā)展路線螞蟻智能研發(fā)發(fā)展路線在現(xiàn)有產(chǎn)品功能上做智能化升級是AI

應用的重要方式

。一些適合的場景：1.生成式，

如

自然語言生成用例

、根據(jù)變更代碼補齊測試用例等；2.總結類，

如

對

PR

標題和描述的總結

、基于文檔的總結與問答；3.推理類，

如代碼沖突解決

、問題的診斷與修復

、異常日志分析等；提取效能平臺特征加訓語料

特定效能平臺模型

Copilot+Chat模式效能Copilot+Chat模型加訓CodeFuse大模型

傳統(tǒng)效能平臺

傳統(tǒng)效能平臺快速集成AI能力單純問答形式無法滿足智能化需求，

需要結合平臺的能力進行智能化改造。以領域Agent

為核心，

對效能平臺進行全面升級，

增加超級會話及Agent

調(diào)度與執(zhí)行能力提供知識庫效能Copilot

+Agent

Copilot+Agent模式自定義工具（API）RAG檢索CodeFuse大模型工具調(diào)用傳統(tǒng)效能平臺工具與AI能力升入結合傳統(tǒng)效能平臺全量數(shù)據(jù)

AI

Native

模式AI原生：用戶無需主動觸發(fā)AI功能，任何原有功能都能友好嵌入AI能力至用戶操作中。04

代碼分析智能生成優(yōu)化、簡化建議，幫助寫出更好的代碼05

生成測試快速生成測試用例，單測/

集測一鍵搞定06

智能問答AI

協(xié)助解決研發(fā)問題，

無需離開編碼環(huán)境03

解釋代碼準確解釋代碼，歷史

代碼

so

easy02

生成注釋代碼編輯區(qū)域快捷

添加注釋01

代碼補全智能補全，

一鍵采納關鍵技術與難點CodeFuse研發(fā)助手關鍵技術以及難點突破

算法關鍵技術與難點代碼底座大模型≠產(chǎn)品落地代碼補全模型挑戰(zhàn)5?響應速度敏感?

代碼補全耗時

600msModelOps加速?常規(guī)訓練無代碼

語法?無法自動停止?

自回歸訓練從左

到右?無法利用上下文挑戰(zhàn)1?

單文件感知范圍

有限?業(yè)務邏輯不準?

代碼能力?生成代碼符合

預期BlockFim：程序

分析FIM

:fill

in

the

middle預訓練+MFT微

調(diào)RepoFuse倉庫

級補全推理部署模型填空自適應語法粒度代碼底座大模型倉庫級感知挑戰(zhàn)2挑戰(zhàn)3挑戰(zhàn)4

工程關鍵技術與難點算法模型

≠

產(chǎn)品落地?

全量代碼計算量

大?

實時代碼難被計

算?

服務端OR本地存

儲?

RAG檢索時間長?

耗時敏感?

純模型能力存在

幻覺問題?

生成結果括號不

匹配?

模型能力存在某

些領域上限?

同時運行多個模

型進行效果驗證?

單個模型同時用

多種策略進行效

果驗證?

上下文邊界導致

可用信息少?

無法利用代碼引

用鏈路相關信息?

無法參考其他相

似代碼?

什么時候觸發(fā)（立即

or

等待

or

動態(tài)delay）?

全部觸發(fā)

or

部分

觸發(fā)（隊列機制）?

要不要觸發(fā)：緩

存復用本地存儲/索引?本地輕量向量/索引

庫?嚴格限制資源的低

侵入構建?20ms以下倉庫檢索觸發(fā)時機優(yōu)化 HPF搶占式隊列 上下文太少不觸發(fā) 上下文感知緩存

動態(tài)delayRAG+程序分析?庫內(nèi)檢索召回?個性化業(yè)務獨立擴

展?引用鏈路追蹤?代碼解析/壓縮AB平臺?多場景多樣化分語

言AB實驗PE/前后處理?低收益判斷?業(yè)務語義Prompt增

強?Few-Shot學習?多種校驗后處理實時+耗時效果優(yōu)化觸發(fā)時機上下文邊界多模型/多策略挑戰(zhàn)3挑戰(zhàn)4挑戰(zhàn)5挑戰(zhàn)1挑戰(zhàn)2

如何對高頻場景進行觸發(fā)時機優(yōu)化（代碼補全為例）絕大部分請求為無效請求，浪費GPU資源HPF搶占式隊列相對節(jié)省80%+GPU資源敲擊鍵盤決策樹模型動態(tài)Delay提取Prompt發(fā)起請求提取Prompt觸發(fā)事件緩存發(fā)起請求邊界判斷上下文長短光標位置上下文hashLRU緩存40+用戶特

征抽取線性模型

什么是模型幻覺問題倉庫內(nèi)其他相關文件內(nèi)容模型“虛假認知”由于無法感知SortUtils中bubbleSort方法，所以模型根據(jù)有限的上下文猜測了可能的insertionSort方法，并生成對

應調(diào)用代碼，導致生成代碼的編譯錯誤。生成效果

基于上下文感知學習

(

ICL

)

能力，

解決模型幻覺問題Context-Aware感知邊界無上下文當前文件光標前內(nèi)容當前文件光標前后內(nèi)容（FIM）所有打開的文件所有的語義相關元素本地倉庫所有相關的元素整個本地倉庫公司所有倉庫其他非代碼信息CY24

里程碑倉庫級感知范圍CY23

里程碑文件級感知范圍

上下文感知學習

(

ICL

)

能力預處理–本地索引構建AST分析/代碼切分向量化/Embedding函數(shù)過濾/代碼摘要FileChuck函數(shù)KV索引庫文本索引庫Code

基于上下文感知學習

(

ICL

)

能力，

解決模型幻覺問題結合RAG+程序分析能力強化上下文。感知本地倉庫中預處理構建的文本庫/向量庫做相似度檢索尋找相似代碼

。通過AST解析，引用鏈路等追蹤手段，

找到對應相關代碼并壓縮測試集

EM：

40.9%->

59.75%遠程能力增強本地核心能力Prompt構造?多結構構造?

ABTest重要性排序?

相關相似混排?結構壓縮，無效

信息去除?

token計算/占比

分析相似代碼?文本檢索?

向量檢索?滑動窗口相關代碼?

AST解析?動態(tài)類型推導?

應用鏈路追蹤?

代碼結構分析?二方/三方包文件上下文相關文章：《RepoFuse》

/abs/2402.14323本地文本索引庫本地向量檢索引擎跨庫引用鏈路檢索輕量級K-V索引庫知識庫檢索能力本地文本檢索引擎重要性排序Embedding服務

基于上下文感知學習

(

ICL

)

能力，

解決模型幻覺問題Context-Aware擴展邊界的意義?

倉庫內(nèi)多文件代碼補全?

70%的代碼編寫會用到倉庫內(nèi)其他文件信息?

更加關注倉庫整體依賴關系?

更加關注與目標代碼相似的代碼段Generate

HTML

withpythonsyntaxhighlighting

for“print(‘

reading

docs’)”<pre><codeclass="language-python">print(“

reading

docs

”;)

</code></pre>?

單文件代碼補全?

無法利用倉庫內(nèi)其他文件信息?

僅能完成30%的場景?

補全不準，

出現(xiàn)嚴重的幻覺Generator

基于上下文感知學習

(

ICL

)

能力，

解決模型幻覺問題倉庫內(nèi)其他相關文件內(nèi)容生成效果優(yōu)化前優(yōu)化后?

Motivation?大模型自回歸訓練，僅適合Chat任務，不支持代碼補全。?代碼補全需要根據(jù)代碼的上下文預測代碼缺失部分，

此模式無法結合上下文進行完型填空。?

FIM

（Fill

in

the

middle）?將訓練的文本序列一部分移動到結尾，自回歸