AI落地研發(fā)的“最后一公里”暨《DevData24研發(fā)效能基準(zhǔn)報(bào)告》數(shù)據(jù)解讀

《DevData

'24

研發(fā)效能基準(zhǔn)報(bào)告》核心數(shù)據(jù)解讀思碼逸研發(fā)效能發(fā)效能能思碼逸研發(fā)效能思碼逸研發(fā)效能思碼逸研發(fā)效能思碼逸研發(fā)效能思碼逸研發(fā)效能思碼思碼逸清華大學(xué)計(jì)算機(jī)系博士；前微軟亞洲研究院研究員，斯坦福大學(xué)、卡內(nèi)基梅隆大學(xué)訪問(wèn)學(xué)者《軟件研發(fā)效能度量規(guī)范》標(biāo)準(zhǔn)核心起草專家多篇論文發(fā)表在

FSE、OSDI

等頂級(jí)國(guó)際會(huì)議上曾參與微軟下一代服務(wù)器系統(tǒng)架構(gòu)設(shè)計(jì)，獲

4

項(xiàng)美國(guó)發(fā)明專利Apache

DevLake

開(kāi)源項(xiàng)目發(fā)起人任晶磊公思碼司逸職創(chuàng)位始人兼CEO思碼逸研發(fā)效能G

O

P

S

全球運(yùn)維大會(huì)暨

X

O

p

s

技術(shù)創(chuàng)新峰會(huì)

2

0

2

4

·

北京站發(fā)效能能思碼逸研發(fā)效能思碼逸研發(fā)效能思碼逸研發(fā)效能思碼逸研發(fā)效能思碼逸研發(fā)效能思碼逸研發(fā)效能思碼思碼逸企業(yè)研發(fā)應(yīng)用

AI，效能提升了嗎？（采納率）應(yīng)用

AI

工具對(duì)企業(yè)研發(fā)效能的影響數(shù)據(jù)來(lái)源：《DevData

2024

研發(fā)效能基準(zhǔn)調(diào)研報(bào)告》效率方面：

18%應(yīng)用

AI

工具比未應(yīng)用的企業(yè)需求交付周期更快質(zhì)量方面：

23%應(yīng)用

AI

工具比未應(yīng)用的企業(yè)單元測(cè)試覆蓋度更高G

O

P

S

全球運(yùn)維大會(huì)暨

X

O

p

s

技術(shù)創(chuàng)新峰會(huì)

2

0

2

4

·

北京站AI

落地企業(yè)研發(fā)的路徑與終點(diǎn)AI

落地企業(yè)研發(fā)需要“以終為始”，做填空題：使用

DevChat后，規(guī)范提交比例從

%提高到了

%，從而看清楚了需求、缺陷和重構(gòu)工作的占比，優(yōu)化了資源分配

據(jù)此保證了

%研發(fā)帶寬用于支持業(yè)務(wù)需求，將需求吞吐率從每月交付

個(gè)提升到

使用

DevChat后，單元測(cè)試覆蓋度從

%提高到了

%，改進(jìn)了質(zhì)量薄弱環(huán)節(jié)，降低了質(zhì)量保障成本

據(jù)此將缺陷密度從

‰降低到

‰，發(fā)版事故數(shù)從

個(gè)減少到

G

O

P

S

全球運(yùn)維大會(huì)暨

X

O

p

s

技術(shù)創(chuàng)新峰會(huì)

2

0

2

4

·

北京站DevData

'24

研發(fā)效能基準(zhǔn)報(bào)告指標(biāo)涵蓋了《軟件研發(fā)效能度量規(guī)范》的三個(gè)主要認(rèn)知域：

交付速率、交付質(zhì)量和交付能力。三大認(rèn)知域統(tǒng)計(jì)分析代碼生產(chǎn)率、代碼貢獻(xiàn)均衡度、需求吞吐量、需求交付周期、重點(diǎn)問(wèn)題密度、缺陷修復(fù)工作量等指標(biāo)基準(zhǔn)線（或表征）15個(gè)指標(biāo)基準(zhǔn)線首次采用客觀數(shù)據(jù)結(jié)合主觀問(wèn)卷方式

?？陀^數(shù)據(jù)來(lái)自受訪企業(yè)私有部署的思碼逸DevInsight，采集Git、Jira等數(shù)據(jù)。170份有效樣本G

O

P

S

全球運(yùn)維大會(huì)暨

X

O

p

s

技術(shù)創(chuàng)新峰會(huì)

2

0

2

4

·

北京站DevData

'24

研發(fā)效能基準(zhǔn)報(bào)告代碼當(dāng)量*：基于程序分析算法，衡量代碼規(guī)模和復(fù)雜度的基礎(chǔ)指標(biāo)使用代碼當(dāng)量作為可靠數(shù)據(jù)校準(zhǔn)其他研效數(shù)據(jù)質(zhì)量*

Jinglei

Ren,

Hezheng

Yin,

et

al.

Towards

quantifying

the

developmentvalue

of

code

contributions.

FSE

2018.G

O

P

S

全球運(yùn)維大會(huì)暨

X

O

p

s

技術(shù)創(chuàng)新峰會(huì)

2

0

2

4

·

北京站DevData

'24

研發(fā)效能基準(zhǔn)報(bào)告G

O

P

S

全球運(yùn)維大會(huì)暨

X

O

p

s

技術(shù)創(chuàng)新峰會(huì)

2

0

2

4

·

北京站認(rèn)知域指標(biāo)（單位）平均值IQR交付速率需求吞吐量（個(gè)/月）20人以下386–

2421-50人4612–

5450人以上6621–

50需求交付周期（天）219–

30需求顆粒度（代碼當(dāng)量）49361–

645代碼生產(chǎn)率（代碼當(dāng)量/人月）35952199–

5003開(kāi)發(fā)過(guò)程穩(wěn)定性（代碼生產(chǎn)率離散系數(shù)）0.340.25–

0.40代碼貢獻(xiàn)均衡度（%）29%23%–

35%交付質(zhì)量單元測(cè)試覆蓋度（%）15.27%6.61%–

20.08%注釋覆蓋度（%）30.70%22.36%–

32.98%代碼不重復(fù)度（%）84.97%79.26%–

91.46%重點(diǎn)問(wèn)題密度（個(gè)/千當(dāng)量）1.710.54–

2.21缺陷修復(fù)工作量（代碼當(dāng)量）367–

47DevData

'24

研發(fā)效能基準(zhǔn)報(bào)告G

O

P

S

全球運(yùn)維大會(huì)暨

X

O

p

s

技術(shù)創(chuàng)新峰會(huì)

2

0

2

4

·

北京站「高效能團(tuán)隊(duì)」評(píng)分量表，取等權(quán)重綜合得分前20%認(rèn)知域指標(biāo)（單位）評(píng)分3分 2分 1分交付速率需求交付周期（天）≤

Q1Q1

-Q3≥

Q3代碼生產(chǎn)率（代碼當(dāng)量/人月）≥

Q3Q1

-Q3≤

Q1開(kāi)發(fā)穩(wěn)定性（代碼生產(chǎn)率離散系數(shù)）≤

Q1Q1

-Q3≥

Q3代碼貢獻(xiàn)均衡度（%）≥

Q3Q1

-Q3≤

Q1交付質(zhì)量單元測(cè)試覆蓋度（%）≥

Q3Q1

-Q3≤

Q1注釋覆蓋度（%）≥

Q3Q1

-Q3≤

Q1代碼不重復(fù)度（%）≥

Q3Q1

-Q3≤

Q1重點(diǎn)問(wèn)題密度（個(gè)/千當(dāng)量）≤

Q1Q1

-Q3≥

Q3缺陷修復(fù)工作量（代碼當(dāng)量）≤

Q1Q1

-Q3≥

Q3交付能力部署頻率按需每天多次部署介于每周1次到每月1次介于每月1次到每6個(gè)月1次變更前置時(shí)間介于1天到1周之間介于1周到1個(gè)月介于1個(gè)月到6個(gè)月之間服務(wù)恢復(fù)時(shí)間不到1天介于1天到1周介于1周到1個(gè)月變更失敗率0%-15%16%-30%46%-60%DevData

'24

研發(fā)效能基準(zhǔn)報(bào)告「高效能團(tuán)隊(duì)」

中位值水平畫(huà)像每

14

天交付一個(gè)需求代碼生產(chǎn)率

3463

當(dāng)量/人月代碼生產(chǎn)率離散系數(shù)

0.2535%的團(tuán)隊(duì)成員貢獻(xiàn)

80%的代碼當(dāng)量單元測(cè)試覆蓋度

20%注釋覆蓋度

33%代碼不重復(fù)度

91%重點(diǎn)問(wèn)題密度

0.54

個(gè)/千當(dāng)量修復(fù)一個(gè)缺陷耗費(fèi)

15當(dāng)量可提供每天多次按需部署變更前置時(shí)間在

1

天～1

周之間服務(wù)恢復(fù)時(shí)間不到

1

天變更失敗率小于

15%交付速率交付質(zhì)量交付能力G

O

P

S

全球運(yùn)維大會(huì)暨

X

O

p

s

技術(shù)創(chuàng)新峰會(huì)

2

0

2

4

·

北京站DevData

'24

研發(fā)效能基準(zhǔn)報(bào)告敏捷開(kāi)發(fā)模式下的代碼生產(chǎn)率更高，相比其他模式高

9%20

人以下團(tuán)隊(duì)的代碼生產(chǎn)率相比

50

人以上團(tuán)隊(duì)高

46%單元測(cè)試覆蓋度中位值僅為

15%，“測(cè)試左移”仍有較大空間引入外包的研發(fā)團(tuán)隊(duì)代碼生產(chǎn)率高

12%，但重點(diǎn)問(wèn)題密度高

25%應(yīng)用度量指標(biāo)管理研效的企業(yè)相比未應(yīng)用企業(yè)的代碼生產(chǎn)率高

5%G

O

P

S

全球運(yùn)維大會(huì)暨

X

O

p

s

技術(shù)創(chuàng)新峰會(huì)

2

0

2

4

·

北京站DevData

'24

研發(fā)效能基準(zhǔn)報(bào)告運(yùn)營(yíng)培訓(xùn)、結(jié)合私有信息、適配實(shí)際場(chǎng)景是

AI

落地企業(yè)研發(fā)的三大挑戰(zhàn)G

O

P

S

全球運(yùn)維大會(huì)暨

X

O

p

s

技術(shù)創(chuàng)新峰會(huì)

2

0

2

4

·

北京站DevData

'24

研發(fā)效能基準(zhǔn)報(bào)告流程規(guī)范、團(tuán)隊(duì)協(xié)作和度量體系是企業(yè)研發(fā)效能提升面臨的三大挑戰(zhàn)G

O

P

S

全球運(yùn)維大會(huì)暨

X

O

p

s

技術(shù)創(chuàng)新峰會(huì)

2

0

2

4

·

北京站度量案例：助力提升DevOps成熟度數(shù)據(jù)分散，收集困難原始數(shù)據(jù)比較散亂，沒(méi)有統(tǒng)一的度量模型和方法痛點(diǎn)歸納需求背景：金融企業(yè)，研發(fā)團(tuán)隊(duì)規(guī)模超300人。數(shù)據(jù)分散，治理困難，指標(biāo)體系不完善。集團(tuán)對(duì)信息化建設(shè)提出要求，以推動(dòng)整體效能提升，其中完成信通院DevOps成熟度評(píng)級(jí)成為關(guān)鍵考核標(biāo)準(zhǔn)。通過(guò)

DevOps持續(xù)交付標(biāo)準(zhǔn)3

級(jí)評(píng)估，相關(guān)能力達(dá)到國(guó)內(nèi)領(lǐng)先水平實(shí)踐效果指標(biāo)和評(píng)價(jià)體系不完善解決方案借助思碼逸系統(tǒng)集成能力，01

01

陸續(xù)將DevOps工具集成到系統(tǒng)中，完成數(shù)據(jù)自動(dòng)同步建設(shè)企業(yè)領(lǐng)域數(shù)據(jù)寬表，對(duì)數(shù)02 02 據(jù)進(jìn)行清洗整理，借助DORA指標(biāo)建立評(píng)估模型從思碼逸指標(biāo)體系中選取質(zhì)量03

03

類評(píng)價(jià)指標(biāo)，補(bǔ)充完善已有指標(biāo)庫(kù)G

O

P

S

全球運(yùn)維大會(huì)暨

X

O

p

s

技術(shù)創(chuàng)新峰會(huì)

2

0

2

4

·

北京站度量案例：助力提升DevOps成熟度G