專家眼中的QA、敏捷測(cè)試

第第頁(yè)專家眼中的QA、敏捷測(cè)試專家眼中的QA、敏捷測(cè)試

發(fā)表于：2023-09-04來(lái)源：InfoQ：賈國(guó)清點(diǎn)擊數(shù)：標(biāo)簽：QA、敏捷測(cè)試

編者按：測(cè)試、QA一直是大家關(guān)注的話題，只要有軟件開(kāi)發(fā)，就離不開(kāi)QA和軟件測(cè)試。本次特別邀請(qǐng)到一淘網(wǎng)測(cè)試架構(gòu)師@公直_黃利，諾基亞敏捷及精益教練@徐毅-Kaveri和百度高級(jí)測(cè)試工程師楊進(jìn)，請(qǐng)他們談下各自對(duì)QA和測(cè)試的理解，內(nèi)容涉及如何衡量軟件測(cè)試的有

編者按：（測(cè)試）、QA一直是大家關(guān)注的話題，只要有軟件（開(kāi)發(fā)），就離不開(kāi)QA和軟件（測(cè)試）。本次特別邀請(qǐng)到一淘網(wǎng)測(cè)試架構(gòu)師@公直_黃利，諾基亞敏捷及精益教練@徐毅-Kaveri和百度高級(jí)測(cè)試（工程師）楊進(jìn)，請(qǐng)他們談下各自對(duì)QA和測(cè)試的理解，內(nèi)容涉及如何衡量（軟件測(cè)試）的有效性，探索式測(cè)試，（敏捷測(cè)試），（開(kāi)源）對(duì)測(cè)試的影響，測(cè)試的開(kāi)放性以及測(cè)試框架推薦等。

InfoQ：請(qǐng)先做下自我介紹。

徐毅：我叫徐毅，現(xiàn)在在諾基亞北京擔(dān)任敏捷及精益教練的工作。我是從05年在杭州諾基亞網(wǎng)絡(luò)的時(shí)候開(kāi)始轉(zhuǎn)做專職測(cè)試的，同期也加入公司剛成立的測(cè)試（自動(dòng)化）小組，這對(duì)我的理念有很大的影響，基本上我認(rèn)為所有的測(cè)試都應(yīng)該（自動(dòng)化）。06年初加入當(dāng)時(shí)的第一個(gè)Scrum試點(diǎn)項(xiàng)目，體會(huì)了一把敏捷測(cè)試，當(dāng)時(shí)還根據(jù)我們的經(jīng)驗(yàn)總結(jié)出了一套輕量化的測(cè)試流程。后來(lái)我們?cè)诠緝?nèi)推廣使用robotframework這個(gè)工具，作為（培訓(xùn)）師指導(dǎo)大家學(xué)會(huì)使用這個(gè)工具來(lái)進(jìn)行測(cè)試自動(dòng)化。后來(lái)還擔(dān)任了一段時(shí)間的測(cè)試自動(dòng)化教練的工作。

公直：阿里巴巴一淘網(wǎng)測(cè)試架構(gòu)師。

楊進(jìn)：百度高級(jí)（測(cè)試工程師），06年加入百度，之前有過(guò)4年的測(cè)試開(kāi)發(fā)工作，加入百度以來(lái)，主要從事自動(dòng)化開(kāi)發(fā)、（測(cè)試方法）改進(jìn)以及（系統(tǒng)測(cè)試）相關(guān)的工作。

InfoQ：最近主要在從事哪方面的工作?

徐毅：最近主要是在敏捷及精益教練這個(gè)方面做得比較多，輔助組織和個(gè)人進(jìn)行敏捷轉(zhuǎn)型，由于有很強(qiáng)的測(cè)試背景，所以同時(shí)也做敏捷測(cè)試相關(guān)的工作。

公直：最近半年一直在做代碼質(zhì)量的相關(guān)工作。在一淘業(yè)務(wù)線測(cè)試團(tuán)隊(duì)支持之下，與測(cè)試、產(chǎn)品架構(gòu)師、PE等合作，從系統(tǒng)層面出發(fā)，優(yōu)化目前的測(cè)試策略和方法，提升系統(tǒng)的可測(cè)試性和可部署性。

楊進(jìn)：近1年主要focus在系統(tǒng)測(cè)試和效果監(jiān)控等系統(tǒng)層面的工作，目前是線下百度和大搜索效果監(jiān)控的負(fù)責(zé)人，線下百度是一個(gè)基礎(chǔ)的系統(tǒng)測(cè)試平臺(tái)，對(duì)外提供預(yù)上線、故障預(yù)演、數(shù)據(jù)測(cè)試等系統(tǒng)層面的服務(wù)，而效果監(jiān)控目標(biāo)是快速發(fā)現(xiàn)產(chǎn)品嚴(yán)重影響用戶體驗(yàn)的效果問(wèn)題，它和線下百度相互相成，共同提升百度對(duì)外服務(wù)的質(zhì)量。

InfoQ：國(guó)內(nèi)外一直有很多人把測(cè)試與質(zhì)量保證混為一談，其實(shí)測(cè)試屬于質(zhì)量控制(QC)，而QA還有更多內(nèi)容，請(qǐng)談?wù)勀鷮?duì)QA和測(cè)試的理解。

徐毅：其實(shí)不管是保證還是控制，都很難達(dá)到名副其實(shí)的效果。測(cè)試做得再充分、再?gòu)氐?、再快速，也無(wú)法把質(zhì)量給控制起來(lái)，最多只能夠更頻繁地展現(xiàn)出質(zhì)量的現(xiàn)狀。關(guān)于QA么，我曾經(jīng)在微博上發(fā)起過(guò)一個(gè)討論，還是比較熱鬧的，大家可以去看看，WhatisthevalueofQualityManager。至于"質(zhì)量保證'這個(gè)詞，大家可以想一想，如果我跟你拍胸脯說(shuō)某件事情包在我身上，我保證辦到，但實(shí)際情況是，回過(guò)頭去我得催著一撥人做這個(gè)做那個(gè)才能保證你的事情辦妥，你覺(jué)得這是你理解中的"保證'嗎?更重要的問(wèn)題在于，"質(zhì)量是什么'。如今，我們可以說(shuō)質(zhì)量的外延發(fā)生了變化，已經(jīng)涵蓋了許多方面;也可以說(shuō)，質(zhì)量已經(jīng)不再重要，用戶體驗(yàn)才是最重要的。溫伯格在他的《質(zhì)量軟件管理》書中說(shuō)到"qualityisvaluetosomeperson'，對(duì)于不同的人來(lái)說(shuō)，同一件東西的價(jià)值可以是不同的。

公直：其實(shí)一直以來(lái)個(gè)人不太喜歡把測(cè)試工程師稱呼為QA，QA一般是指質(zhì)量保證，范疇更大一些，在一淘，像過(guò)程改進(jìn)工程師、配置管理工程師都在做質(zhì)量控制的事情。單純地靠測(cè)試工程師本身也是沒(méi)有辦法控制質(zhì)量的，因?yàn)閷?duì)決定軟件質(zhì)量的還是開(kāi)發(fā)工程師。這個(gè)在博客中的《Google如何測(cè)試》系列文章中提及，對(duì)于質(zhì)量來(lái)說(shuō)，預(yù)防問(wèn)題比發(fā)現(xiàn)問(wèn)題本身更重要。質(zhì)量更多是開(kāi)發(fā)人員的問(wèn)題，而不是（測(cè)試人員）的。通過(guò)把測(cè)試工作融入到開(kāi)發(fā)過(guò)程中，我們能降低那些富產(chǎn)Bug的人的出錯(cuò)機(jī)會(huì)，不僅可以避免了大量最終用戶的使用問(wèn)題，而且還可以極大地降低（測(cè)試人員）報(bào)無(wú)效Bug的數(shù)量。測(cè)試的未來(lái)在于發(fā)現(xiàn)設(shè)計(jì)和（編程）人員解決問(wèn)題方法上的局限、思路中的狹隘和技能方面的不足，這是我對(duì)測(cè)試的理解，也認(rèn)為是以后測(cè)試發(fā)展的一個(gè)方向。

楊進(jìn)：我理解測(cè)試關(guān)注的更多是被測(cè)對(duì)象上線前的質(zhì)量，而QA關(guān)注的是宏觀意義上的質(zhì)量，包括開(kāi)發(fā)環(huán)節(jié)的質(zhì)量控制(如何提高代碼本身質(zhì)量)、測(cè)試環(huán)節(jié)、上線環(huán)節(jié)以及運(yùn)維環(huán)節(jié)(如線上出現(xiàn)問(wèn)題后如何快速止損)，甚至還包括用那種開(kāi)發(fā)模式能更有效的提升項(xiàng)目開(kāi)發(fā)質(zhì)量和效率，因而是一個(gè)更寬泛的領(lǐng)域。

InfoQ：如何衡量軟件測(cè)試的有效性?

徐毅：衡量一個(gè)東西的有效性，對(duì)我來(lái)說(shuō)就看比較有無(wú)之間的區(qū)別，也就是說(shuō)比較"有軟件測(cè)試'和"無(wú)軟件測(cè)試'在"效果'上面的差異，那就是有效性啦，也即是有效的程度。那么，你所期望的"效果'又是什么呢?

公直：從90年代末開(kāi)始，測(cè)試進(jìn)入所謂的"Preventionorientedperiod'(參見(jiàn)wiki)階段，強(qiáng)調(diào)2點(diǎn)，第一個(gè)（缺陷）預(yù)防，第二就是軟件度量。就是這個(gè)問(wèn)題本身(如何衡量軟件測(cè)試的有效性)，如何度量你做的測(cè)試有什么收益，如何判斷你的測(cè)試活動(dòng)的有效性，無(wú)論是學(xué)術(shù)界還是工業(yè)界，好像也還沒(méi)有什么比較好的方法，特別是在國(guó)內(nèi)目前的現(xiàn)狀(人治，部門經(jīng)理或者項(xiàng)目經(jīng)理決定太多東西)，度量系統(tǒng)(例如sonar)計(jì)算出的測(cè)試ROI本身可能也不一定準(zhǔn)確，人的因素變化太多。我就簡(jiǎn)單說(shuō)下我們這邊判斷測(cè)試有效性做法好了，基本上還是還是從結(jié)果來(lái)看，上線失敗次數(shù)、線上故障、線上Bug幾個(gè)維度來(lái)評(píng)估測(cè)試的有效性。

楊進(jìn)：要想全面評(píng)判測(cè)試的有效性是比較困難的，目前比較通用的手段是在產(chǎn)品發(fā)布以后，利用用戶報(bào)告（bug）的數(shù)量和趨勢(shì)來(lái)判斷測(cè)試的有效性，然后這種判斷方法需要上線后才能進(jìn)行因而顯得價(jià)值有限，上線前也有一些可參考的手段，比如UT完成后的代碼覆蓋率，（測(cè)試（用例））完后的評(píng)審，測(cè)試報(bào)告的評(píng)審等。我自己比較喜歡手段是代碼覆蓋率，因?yàn)榇a覆蓋率是一個(gè)利用客觀標(biāo)準(zhǔn)進(jìn)行判定的方法。此外基于測(cè)試（需求）覆蓋率也是一個(gè)好方法。

InfoQ：請(qǐng)談下您對(duì)探索式測(cè)試的理解，請(qǐng)分享下這方面的實(shí)踐經(jīng)驗(yàn)?

徐毅：其實(shí)探索式測(cè)試是什么，CemK