優(yōu)秀的軟件測(cè)試人員思考問(wèn)題的方式

1、軟件測(cè)試人員的思考問(wèn)題方式測(cè)試員有很多不同的背景,測(cè)試團(tuán)隊(duì)是多元化的集體,但是大多數(shù)人都同意:測(cè)試員的思考方式是不同的。怎么不同?有人說(shuō)測(cè)試員是“消極”思維者。測(cè)試員會(huì)抱怨這種說(shuō)法,認(rèn)為自己喜歡征服,他們?cè)趫?bào)告壞消息時(shí)有一種特別的興奮感。這是種普遍觀點(diǎn)。我們提出另一種觀點(diǎn)。測(cè)試員并不抱怨,他們提供的是證據(jù)。測(cè)試員并不喜歡征服,他們喜歡打破產(chǎn)品沒(méi)有問(wèn)題的幻覺(jué)。測(cè)試員并不喜歡發(fā)布?jí)南?他們喜歡把客戶從虛假信念中解放出來(lái)。我們的觀點(diǎn)是,按測(cè)試員的方式思考意味著實(shí)踐認(rèn)識(shí)論。測(cè)試運(yùn)用的是認(rèn)識(shí)論,不是靠傲慢或謙卑。本章旨在把測(cè)試員的大腦開(kāi)發(fā)成,經(jīng)過(guò)仔細(xì)調(diào)諧的推理機(jī)器。請(qǐng)記住:要用精神力量做好事,而不做壞

2、事。經(jīng)驗(yàn)1,測(cè)試運(yùn)用的是認(rèn)識(shí)論讀者看到這個(gè)題目會(huì)說(shuō):嘿,回來(lái)!我們?cè)谶@里不是要討論對(duì)電影明星的新崇拜。請(qǐng)相信我們。認(rèn)識(shí)論是能夠幫助測(cè)試員更好測(cè)試的一個(gè)哲學(xué)分支。認(rèn)識(shí)論研究如何認(rèn)識(shí)所了解的東西:研究證據(jù)和推理。這是科學(xué)實(shí)踐的基礎(chǔ)。研究認(rèn)識(shí)論的人有科學(xué)家、教育家和哲學(xué)家,當(dāng)然還有精英級(jí)的軟件測(cè)試員。學(xué)習(xí)認(rèn)識(shí)論的學(xué)生研究科學(xué)、哲學(xué)和心理學(xué),目標(biāo)是了解怎樣才能改進(jìn)我們的思維。我們使用的術(shù)語(yǔ)比經(jīng)典定義要寬,以便能夠更多地利用批評(píng)性思維的最新成果。將認(rèn)識(shí)論運(yùn)用于軟件測(cè)試,要問(wèn)與以下類似的問(wèn)題:z怎么知道軟件足夠好?z如果軟件并不是足夠好,怎樣才能知道?z怎么知道已經(jīng)完成了足夠的測(cè)試?蘇格拉底早在2400年

3、前就提倡并描述了對(duì)信念的批判性觀察,因此我們把他看作是最早的認(rèn)識(shí)論者。直到今天,哲學(xué)家、科學(xué)家和心理學(xué)家都還在繼續(xù)研究認(rèn)識(shí)論。作為測(cè)試員,這就是我們的遺產(chǎn)。經(jīng)驗(yàn)2,研究認(rèn)識(shí)論有助于更好測(cè)試直接與軟件測(cè)試有關(guān)的認(rèn)識(shí)論問(wèn)題包括:z如何收集和評(píng)估證據(jù)。z如何進(jìn)行有效的推論。z如何使用不同邏輯形式。z擁有合理的信念意味著什么。z形式和非形式推理之間的差別。z非形式推理的常見(jiàn)謬誤。z自然語(yǔ)言的含義與模糊性。z如何做出好的決策。從來(lái)也沒(méi)有研究過(guò)這些問(wèn)題的很多人也能測(cè)試得很好,但是如果要做得比很好還好,就要研究這些問(wèn)題。研究認(rèn)識(shí)論可幫助測(cè)試員設(shè)計(jì)有效的測(cè)試策略,更好地意識(shí)到自己工作中的錯(cuò)誤,理解自己的測(cè)試能

4、夠證明什么、不能證明什么,并編寫(xiě)出無(wú)懈可擊的測(cè)試報(bào)告。以下是三本具有很高可讀性的入門(mén)書(shū):z批判性思維的工具:心理學(xué)的元思想(Tools of Critical Thinking:Metathoughts for Psychology(Levy l997。這本書(shū)是針對(duì)精神病醫(yī)生寫(xiě)的,但是對(duì)測(cè)試員也很有用。書(shū)中每一章都是有關(guān)更好思維的不同思想。不一定把它全讀完,可以挑選任何一章閱讀。z思考與決策(Thinking and Deciding(Baron l994。這是討論思維世界的一本可讀性很高的普通教科書(shū),是很好的入門(mén)書(shū)。z研究的技巧(The Craft of Research(Booth、Col

5、omb和Williams 1995。 這是一本有關(guān)批判性閱讀和寫(xiě)作的很好的書(shū)籍,包括如何組織有說(shuō)服力的論據(jù)。主要針對(duì)大學(xué)生讀者。經(jīng)驗(yàn)3,認(rèn)知心理學(xué)是測(cè)試的基礎(chǔ)如果說(shuō)認(rèn)識(shí)論告訴我們的是應(yīng)該怎樣思考,那么認(rèn)知心理學(xué)告訴我們的是我們是怎樣思考的。與測(cè)試有關(guān)的一些問(wèn)題包括:z人的感覺(jué)和記憶可靠性。z信念從哪里來(lái)。z信念如何影響人的行為。z做出決策所使用的偏見(jiàn)和捷徑。z如何了解并分享所知道的信息。z如何考慮復(fù)雜事情。z在壓力下如何思考。z如何識(shí)別模式。z如何把想法和事物分類。z如何注意事物之間的差別。z記憶事件中的失真。z如何重新構(gòu)建部分記憶的事件(例如不可再現(xiàn)的程序錯(cuò)誤。從來(lái)也沒(méi)有研究過(guò)這些問(wèn)題的很多

6、人也能測(cè)試得很好,但是如果要做得比很好還好,就要研究這些問(wèn)題。研究認(rèn)知心理學(xué)有助于理解影響測(cè)試員工作成績(jī)的因素,以及影響人們解釋自己工作方式的因素。開(kāi)始研究認(rèn)知心理學(xué),不能不看曠野中的認(rèn)知(Cognition in the wild(Hutchins 1995。Hutchins研究海軍航海團(tuán)隊(duì),以及他們?cè)鯓訁f(xié)同工作。這本書(shū)的很多內(nèi)容也都與軟件項(xiàng)目和測(cè)試團(tuán)隊(duì)有關(guān)。有關(guān)思考心理學(xué)的一本有用的書(shū)是理論與證據(jù):科學(xué)推理的能力的開(kāi)發(fā)(Theory and Evidence:The Development of Scientific Reasoning(Koslowski 1996。在這本書(shū)中,Koslo

7、wski研究了人們?nèi)绾问褂靡蚬P(guān)系理論進(jìn)行系統(tǒng)推理。這可以解釋為什么測(cè)試不只是查看外部行為,并對(duì)照簡(jiǎn)單的預(yù)期描述進(jìn)行檢查。經(jīng)驗(yàn)4,測(cè)試在測(cè)試員的頭腦中優(yōu)秀測(cè)試和平庸測(cè)試之間的差別在于測(cè)試員如何思考:測(cè)試員的測(cè)試設(shè)計(jì)選擇,解釋所觀察到的現(xiàn)象的能力,以及非常令人信服地分析描述這些現(xiàn)象的能力。測(cè)試的其他工作大部分是一般的辦公室工作。如果看到兩個(gè)測(cè)試員并排工作,不一定能看出誰(shuí)的測(cè)試更好。他們工作中能夠看得到的部分外表相同,這說(shuō)明:z很多人認(rèn)為測(cè)試很容易,因?yàn)榭梢院苋菀椎啬７聝?yōu)秀測(cè)試員的外表看得到的行為,并且他們沒(méi)有好的測(cè)試的其他標(biāo)準(zhǔn)。z如果要成為優(yōu)秀測(cè)試員,就要學(xué)會(huì)像優(yōu)秀測(cè)試員那樣思考,而不是模仿他們

8、的行為。 z經(jīng)驗(yàn)5,測(cè)試需要推斷,并不只是做輸出與預(yù)期結(jié)果的比較流行的觀點(diǎn)認(rèn)為,測(cè)試員只是執(zhí)行測(cè)試用例,并對(duì)照預(yù)期結(jié)果比較執(zhí)行結(jié)果。這種觀點(diǎn)把測(cè)試看作是簡(jiǎn)單的比較活動(dòng),沒(méi)有看到一些聰明人必須設(shè)計(jì)測(cè)試,并確定預(yù)期輸出。想想看,測(cè)試設(shè)計(jì)人員幾乎從來(lái)沒(méi)有得到過(guò)應(yīng)該測(cè)試什么的權(quán)威指導(dǎo),更不要說(shuō)應(yīng)該期望什么了?？梢缘玫降闹笇?dǎo)是要解釋的主體。在現(xiàn)實(shí)生活中,大多數(shù)測(cè)試設(shè)計(jì)都是基于推斷,或基于與測(cè)試員的推斷有關(guān)的經(jīng)驗(yàn)。不僅如此,這些推斷還要隨時(shí)間發(fā)生變化。像測(cè)試員那樣思考,就是要掌握探索式推斷的藝術(shù)。探索式推斷聽(tīng)起來(lái)可能像是奇怪的想法,這意味著要以一種不能事先預(yù)測(cè)的方式,通過(guò)一種思想引出另一種思想,然后再引出

9、下一種思想。有關(guān)探索式推斷的一本很好的書(shū)是證明與反駁:數(shù)學(xué)發(fā)現(xiàn)的邏輯(Proofs and Refutations:The Logic of Mathematical Discovery(Lakatos,1976。關(guān)于這本書(shū)需要注意的是,Lakatos如何說(shuō)明數(shù)學(xué)和科學(xué)推理過(guò)程是探索式的,而不是腳本化的。甚至數(shù)學(xué)家也是積極探索地推理,而不是通過(guò)運(yùn)用枯燥的公式。他們像測(cè)試員那樣思考!經(jīng)驗(yàn)6,優(yōu)秀測(cè)試員會(huì)進(jìn)行技術(shù)性、創(chuàng)造性、批判性和實(shí)用性地思考各種類型的思考都要考慮測(cè)試的實(shí)施。但是我們認(rèn)為需要提出四種主要思考:z技術(shù)性思考。對(duì)技術(shù)建模并理解因果關(guān)系的能力。這包括諸如相關(guān)技術(shù)事實(shí)的知識(shí)和使用工具并預(yù)

10、測(cè)系統(tǒng)行為的能力。z創(chuàng)造性思考。產(chǎn)生思想并看到可能性的能力。測(cè)試員只能以能夠想象得到的方式進(jìn)行測(cè)試,只能尋找猜想會(huì)存在的問(wèn)題。z批判性思考。評(píng)估思想并進(jìn)行推斷的能力。這包括在自己的思考中發(fā)現(xiàn)并消除錯(cuò)誤的能力,將產(chǎn)品觀察與質(zhì)量準(zhǔn)則關(guān)聯(lián)起來(lái)的能力,以及針對(duì)特定信念或所建議的行動(dòng)過(guò)程構(gòu)建有說(shuō)服力的測(cè)試用例的能力。z實(shí)用性思考。把想法付諸實(shí)施的能力。這種能力包括諸如運(yùn)用測(cè)試工具,并使測(cè)試手段和力量與項(xiàng)目范圍適應(yīng)的技能。總之,像測(cè)試員那樣思考,會(huì)最終導(dǎo)致相信事物可能不像外表看起來(lái)那樣。不管事物是怎樣的,都可能有差別。我們發(fā)現(xiàn),當(dāng)測(cè)試過(guò)程以最具破壞性的方式失敗時(shí),根本原因最有可能是視野狹窄。換句話說(shuō),這不

11、是運(yùn)行了一萬(wàn)個(gè)測(cè)試,而本來(lái)應(yīng)該運(yùn)行一萬(wàn)零一個(gè)的問(wèn)題;問(wèn)題是沒(méi)有想象出測(cè)試的總體大綱,沒(méi)有做即使有兩倍時(shí)間和資源也不會(huì)做的測(cè)試。經(jīng)驗(yàn)7,黑盒測(cè)試并不是基于無(wú)知的測(cè)試黑盒測(cè)試意味著產(chǎn)品內(nèi)部知識(shí)在測(cè)試中不起重要作用。大多數(shù)測(cè)試員都是黑盒測(cè)試員。為了做好黑盒測(cè)試.就要了解用戶,了解他們的期望和需要,了解技術(shù),了解軟件運(yùn)行環(huán)境的配置,了解這個(gè)軟件要與之交互的其他軟件,了解軟件必須管理的數(shù)據(jù),了解開(kāi)發(fā)過(guò)程等等。黑盒測(cè)試的優(yōu)勢(shì)在于測(cè)試員可能與程序員的思考不同,因此有可能預(yù)測(cè)出程序員所遺漏的風(fēng)險(xiǎn)。黑盒測(cè)試強(qiáng)調(diào)有關(guān)軟件的用戶和環(huán)境知識(shí),這一點(diǎn)并不是所有人都喜歡的。我們甚至把黑盒測(cè)試描述為基于無(wú)知的測(cè)試,因?yàn)闇y(cè)試

12、員自始至終都不了解軟件內(nèi)部代碼。我們認(rèn)為這反映出對(duì)測(cè)試團(tuán)隊(duì)角色的根本誤解。我們不反對(duì)測(cè)試員了解產(chǎn)品的工作原理。測(cè)試員對(duì)產(chǎn)品了解得越多,了解產(chǎn)品的方式越多,越能夠更好地測(cè)試它。但是,如果測(cè)試員主要關(guān)注的是源代碼,以及能夠從源代碼導(dǎo)出的測(cè)試,則測(cè)試員所做的工作也許就是程序員已經(jīng)做過(guò)的,并且測(cè)試員關(guān)于這些代碼的知識(shí)要少于程序員。經(jīng)驗(yàn)8,測(cè)試員不只是游客測(cè)試員對(duì)產(chǎn)品做的大量不是測(cè)試的事,有助于測(cè)試員對(duì)產(chǎn)品的了解。測(cè)試員可以瀏覽產(chǎn)品,看看產(chǎn)品由什么組成,怎么工作。這樣做有很高價(jià)值,但這不能算是測(cè)試。測(cè)試員和游客之間的差別在于,測(cè)試員把精力放在評(píng)估產(chǎn)品上,而不只是見(jiàn)證產(chǎn)品。雖然不必事先預(yù)測(cè)產(chǎn)品應(yīng)該表現(xiàn)出的

13、行為,但是試驗(yàn)產(chǎn)品能力的活動(dòng)還沒(méi)有成為測(cè)試,除非而且直到測(cè)試員運(yùn)用某種如果問(wèn)題存在就能標(biāo)識(shí)的原理或過(guò)程時(shí),這種活動(dòng)才能成為測(cè)試。經(jīng)驗(yàn)9,所有測(cè)試都試圖回答某些問(wèn)題所執(zhí)行的所有測(cè)試,都是要回答有關(guān)現(xiàn)實(shí)的產(chǎn)品和應(yīng)該得到的產(chǎn)品之間關(guān)系的某個(gè)問(wèn)題。有時(shí)測(cè)試員完全沒(méi)有意識(shí)到自己在回答問(wèn)題。如果測(cè)試員只是在尋找明顯的問(wèn)題可能還好,但是在很多情況下,問(wèn)題并不會(huì)閃爍著“請(qǐng)報(bào)告我”的提示自己跳出來(lái)。產(chǎn)品的有些錯(cuò)誤行為用戶可能一眼就會(huì)看出,盡管測(cè)試員可能沒(méi)有注意到。在任何測(cè)試活動(dòng)中,都要問(wèn)自己什么樣的問(wèn)題應(yīng)該推動(dòng)自己評(píng)估測(cè)試策略,否則就會(huì)更像是游客,而不是測(cè)試員。經(jīng)驗(yàn)10,所有測(cè)試都基于模型測(cè)試員在設(shè)計(jì)測(cè)試時(shí),頭

14、腦中可能會(huì)有一個(gè)想象的圖景,也可能有功能清單或某種圖表。測(cè)試員會(huì)有誰(shuí)是用戶、用戶關(guān)心什么的一些概念。所有這些都是模型。不管模型是什么,測(cè)試都主要基于產(chǎn)品模型進(jìn)行,而不是實(shí)際產(chǎn)品。有缺點(diǎn)的模型會(huì)產(chǎn)生有缺點(diǎn)的測(cè)試。學(xué)會(huì)一種對(duì)產(chǎn)品建模的新方法,就像是學(xué)會(huì)了觀察產(chǎn)品的一種新方法。要研究建模問(wèn)題。測(cè)試員對(duì)建模藝術(shù)越精通,越能夠更好地測(cè)試。有關(guān)需求分析和軟件體系結(jié)構(gòu)的教科書(shū)和課程會(huì)有所幫助。獲得各種建模技能的一種很好方法就是研究系統(tǒng)的思考。請(qǐng)參閱通用系統(tǒng)思考引論:25周年版(An Introduction to General Systems Thinking : Silver Anniversary E

15、dition(Weinberg 2001。經(jīng)驗(yàn)11,直覺(jué)是不錯(cuò)的開(kāi)始,但又是糟糕的結(jié)束測(cè)試員很想根據(jù)自己的直覺(jué)使用具體的測(cè)試數(shù)據(jù),或判斷具體的輸出,即測(cè)試員自己知道的“本能感覺(jué)”,即使說(shuō)不出來(lái)使用這些知識(shí)的合理性的理由。我們認(rèn)為這是有用的感覺(jué),但是只是在開(kāi)始時(shí)更有用,而不是在其他時(shí)候。除了直覺(jué)有很強(qiáng)的偏見(jiàn)這個(gè)事實(shí)之外,真正的問(wèn)題還在于測(cè)試員試圖讓其他人(例如程序員和經(jīng)理認(rèn)真地對(duì)待自己的錯(cuò)誤報(bào)告和質(zhì)量評(píng)估。除非這種發(fā)現(xiàn)是基于大家都有的直覺(jué),否則測(cè)試員的工作建議很可能不被采用。因此.我們建議把直覺(jué)用作指南,但不能用作合理性證明。當(dāng)有“這是問(wèn)題,因?yàn)樗@然是問(wèn)題”的想法時(shí),可考慮換一種方式;“這是問(wèn)

16、題,因?yàn)槲矣^察到產(chǎn)品行為與需求x、Y 和z矛盾,而我的客戶很看重這些需求。”經(jīng)驗(yàn)12,為了測(cè)試,必須探索為了很好地測(cè)試產(chǎn)品,測(cè)試員就必須研究它,必須深入它。這是一種探索過(guò)程,即使已經(jīng)有了產(chǎn)品的完美描述。直到通過(guò)想象或接觸產(chǎn)品本身而探索規(guī)格說(shuō)明之前,所得到的測(cè)試都會(huì)是膚淺的。即使充分研究了產(chǎn)品,對(duì)產(chǎn)品有了很深的了解,仍然要探索問(wèn)題。因?yàn)樗袦y(cè)試都是采樣,而且樣本永遠(yuǎn)也不可能完備,探索式思考要在整個(gè)測(cè)試項(xiàng)目過(guò)程中,在尋求最大化測(cè)試價(jià)值時(shí)起作用。這里所謂的探索,是指有目的的漫游:帶著一般使命在某個(gè)空間中漫游,但沒(méi)有預(yù)先確定的路線。探索包括不斷學(xué)習(xí)和實(shí)踐。常常需要返回、重復(fù)或在沒(méi)有經(jīng)過(guò)培訓(xùn)的人看來(lái)是浪

17、費(fèi)的其他過(guò)程。也許正因?yàn)槿绱?探索對(duì)于測(cè)試和對(duì)軟件工程的重要性,常常沒(méi)有得到重視,總之受到這個(gè)領(lǐng)域的文獻(xiàn)作者和顧問(wèn)的嘲笑。證明我們關(guān)于探索核心重要性的論斷超出了本書(shū)的主題范圍。生動(dòng)地體驗(yàn)探索的一種方法,就是觀察自己在不看印在盒子上的完成圖的情況下,如何拼接拼圖板,或玩“20點(diǎn)問(wèn)題(Twenty Questions”或“策劃(Mastermind”游戲。請(qǐng)注意,通過(guò)預(yù)先嚴(yán)格確定的步驟進(jìn)行,在這些活動(dòng)中會(huì)怎樣遇到更多的困難,得到更少的回報(bào)。經(jīng)驗(yàn)13,探索要求大量思索探索就是偵查,是沒(méi)有邊界的搜索。可把探索看作是在太空中遨游,需要前向,后向和側(cè)向思索。z前向思索。根據(jù)已知探索未知,從所看到的探索還沒(méi)

18、有看到的,注意支流和副作用。例如,看到一個(gè)打印菜單項(xiàng),點(diǎn)擊看看會(huì)發(fā)生什么。z后向思索。從懷疑或想象的東西返回到已知,嘗試證實(shí)或否定自己的推測(cè)。例如:懷疑是否有打印這個(gè)文檔的方法,于是打開(kāi)菜單并檢查是否有打印菜單項(xiàng)Solow 1990。z側(cè)向思索。讓自己的工作由于新冒出的想法而轉(zhuǎn)移,然后再將探索主題返回到主線索上(de Bono 1970 。例如:這個(gè)圖非常有意思。嘿!我想該打印一些更復(fù)雜的圖,看看會(huì)怎么樣。即使沒(méi)有要測(cè)試的產(chǎn)品,也可以探索?？梢允褂猛瑯拥乃妓鬟^(guò)程探索一組文檔,或與程序員面談。通過(guò)構(gòu)建更豐富、更具想象力的產(chǎn)品模型,探索也會(huì)不斷取得進(jìn)展。這些模型以后會(huì)使測(cè)試員設(shè)計(jì)出有效的測(cè)試。經(jīng)驗(yàn)

19、14, 使用誘導(dǎo)推斷邏輯發(fā)現(xiàn)推測(cè)誘導(dǎo)推斷(abductive inference又叫做假設(shè)歸納(hypothetical induction,是一種測(cè)試員每天都要使用的關(guān)鍵推理形式的有些怪的術(shù)語(yǔ):最佳解釋的推理。其主要內(nèi)容是:1.收集一些數(shù)據(jù)并要找出其中的意義。2.構(gòu)造可能說(shuō)明這些數(shù)據(jù)的各種解釋。3.收集更多的數(shù)據(jù),以確定或否定每種解釋。4.從候選解釋中,選擇能夠最一致地說(shuō)明所有重要數(shù)據(jù)的解釋,如果沒(méi)有足夠證據(jù)證實(shí)任何結(jié)論,則繼續(xù)搜索。誘導(dǎo)推斷是科學(xué)和測(cè)試的基本方法。醫(yī)生在為病人診斷時(shí)就要使用這種方法,測(cè)試員在判斷產(chǎn)品是什么和不是什么、產(chǎn)品應(yīng)該怎樣運(yùn)行或不應(yīng)該怎樣運(yùn)行時(shí),也要使用這種方法。如果

20、要更好地進(jìn)行誘導(dǎo)推斷,則:z收集更多的數(shù)據(jù)。z收集更重要的數(shù)據(jù)。z收集更可靠的數(shù)據(jù)。z理解應(yīng)用于數(shù)據(jù)的原因和效果。z找出可以說(shuō)明數(shù)據(jù)的更多、更好的解釋。z收集更多否定每個(gè)解釋的數(shù)據(jù)。z收集更多區(qū)分解釋的數(shù)據(jù)。z除非某個(gè)解釋能說(shuō)明所有重要數(shù)據(jù),并且明顯得到比其他解釋更好的解釋,否則不要確定解釋。誘導(dǎo)是尋找好的解釋的一種系統(tǒng)化方法。盡管誘導(dǎo)推斷過(guò)程并不提供絕對(duì)確定性,但是在很多情況下,這都是最佳手段。經(jīng)驗(yàn)15,使用猜想與反駁邏輯評(píng)估產(chǎn)品20世紀(jì)初,哲學(xué)家Karl Popper引入了猜想與反駁(conjecture and refutation方法(Popper 1989,用于如何區(qū)分宗教和科學(xué)問(wèn)題

21、。這種方法基于科學(xué)家永遠(yuǎn)也不能絕對(duì)肯定任何具體事實(shí),或關(guān)于自然的理論這個(gè)前提。任何東西都是猜想。有些猜想很強(qiáng).例如重力的存在。它是猜想而不是絕對(duì)肯定的事實(shí),是因?yàn)槟軌蛳胂蟪鲂碌男畔?如果這種信息存在,就會(huì)使人們拒絕該猜想。Popper注意到,雖然我們不能證明猜想是真,但是卻可以證明猜想是假的。因此,他提出給定猜想的置信度,只能來(lái)自反駁它.但又反駁不了的努力。這種給出猜想并嘗試反駁的方法,以三種重要方式應(yīng)用于測(cè)試:z測(cè)試的目的是顯示產(chǎn)品失效,要比顯示產(chǎn)品正常更有力。如果想知道產(chǎn)品是否能夠正常運(yùn)行,尋找方法反駁其正常運(yùn)行,這樣的測(cè)試可能更好。z有關(guān)軟件(軟件有怎樣的行為、如何好等已經(jīng)牢固形成的信念

22、應(yīng)該受到質(zhì)疑。這意味著應(yīng)該能夠想象出新的與已有信念矛盾的信息。否則,我們的信念只不過(guò)就是信仰。信仰在私人生活中是有益的,但是對(duì)測(cè)試是有害的。z警惕聲稱以超過(guò)測(cè)試員所運(yùn)行的具體測(cè)試的方式,檢驗(yàn)或確認(rèn)了產(chǎn)品的測(cè)試。任何量的測(cè)試都不能提供產(chǎn)品質(zhì)量的確認(rèn)性。z經(jīng)驗(yàn)16,需求是重要人物所關(guān)心的質(zhì)量或條件可以從很多種“需求”定義中選擇適合測(cè)試員的定義。作為測(cè)試員,必須認(rèn)識(shí)到誰(shuí)的關(guān)于質(zhì)量的觀點(diǎn)最重要(并不是每個(gè)人的觀點(diǎn)都同等重要。然后了解對(duì)于產(chǎn)品他們要什么,不要什么。這種需求與軟件工程的“需求”(在“需求文檔”中發(fā)布的,并由有批準(zhǔn)權(quán)限的人批準(zhǔn)的一組陳述和所有種類的規(guī)格說(shuō)明沒(méi)有差別。至于測(cè)試,產(chǎn)品應(yīng)該具備或滿

23、足的任何質(zhì)量或條件都是需求。不同客戶通過(guò)產(chǎn)品要得到不同的東西,他們不一定知道要什么,而且所要的東西會(huì)隨時(shí)發(fā)生變化。這位測(cè)試員的工作更有意義。歡迎測(cè)試。經(jīng)驗(yàn)17,通過(guò)會(huì)議、推導(dǎo)和參照發(fā)現(xiàn)需求如果期望得到一迭印刷精美、文件袋封條蓋有全球有效印章的需求,那還是另找工作吧。我們所經(jīng)歷的最好情況,需求文檔(包括所有種類的產(chǎn)品規(guī)格說(shuō)明、用例、多媒體文檔等是不完整、不準(zhǔn)確的,盡管需求文檔提供了信息并且是有幫助的。我們所看到的最差情況,文檔是不完整、不準(zhǔn)確、沒(méi)有提供信息并且是沒(méi)有幫助的。測(cè)試員把項(xiàng)目文檔(產(chǎn)品的顯式規(guī)格說(shuō)明看作是惟一需求來(lái)源會(huì)影響其測(cè)試過(guò)程。在我們所管理的所有測(cè)試團(tuán)隊(duì)中,堅(jiān)持這樣要求會(huì)招致反駁

24、。需求信息到達(dá)測(cè)試員主要有三種途徑:z會(huì)議。找出其有關(guān)質(zhì)量的意見(jiàn)具有影響力的人,與他們交流,了解他們最關(guān)心什么。 z推導(dǎo)。通過(guò)外推己知的項(xiàng)目和產(chǎn)品其他信息,確定什么需求最重要。z參照。既發(fā)現(xiàn)顯式,也發(fā)現(xiàn)隱式規(guī)格說(shuō)明,并以此作為測(cè)試的基礎(chǔ)。在很多項(xiàng)目中,優(yōu)秀測(cè)試員所使用的大多數(shù)需求要么來(lái)自推導(dǎo),要么來(lái)自隱式規(guī)格說(shuō)明的參照。搜尋測(cè)試所需的信息,是測(cè)試員的工作。有一本關(guān)于這個(gè)問(wèn)題的好書(shū):探索需求:設(shè)計(jì)之前的質(zhì)量(Exploring Requirements: Quality Before Design(Gause和Weinberg l989。經(jīng)驗(yàn)18,既要使用顯式規(guī)格說(shuō)明,也要使用隱式規(guī)格說(shuō)明并不是

25、包含測(cè)試所依賴重要信息的所有參照都是顯式地提供給測(cè)試員的:z顯式規(guī)格說(shuō)明是一個(gè)有用的需求信息源,經(jīng)過(guò)客戶的權(quán)威確認(rèn)。(“是的,這就是規(guī)格說(shuō)明,是產(chǎn)品描述?！眤隱式規(guī)格說(shuō)明是沒(méi)有經(jīng)過(guò)客戶權(quán)威確認(rèn)的一個(gè)有用的需求信息源。(“這不是規(guī)格說(shuō)明,但是有意義?！彪[式規(guī)格說(shuō)明的威信來(lái)自其內(nèi)容的說(shuō)服力和可信性,而不是客戶的批準(zhǔn)。在大多數(shù)情況下,只有部分隱式規(guī)格說(shuō)明與當(dāng)前產(chǎn)品有關(guān)。隱式規(guī)格說(shuō)明有很多種形式:z競(jìng)爭(zhēng)對(duì)手的產(chǎn)品。z相關(guān)產(chǎn)品。z同一產(chǎn)品的老版本。z項(xiàng)目團(tuán)隊(duì)之間的電子郵件討論。z顧客意見(jiàn)。z雜志文章(例如,有關(guān)產(chǎn)品老版本的綜述 。z相關(guān)主題的教科書(shū)(會(huì)計(jì)書(shū)籍適用于會(huì)計(jì)應(yīng)用程序 。z圖形用戶界面(GUI風(fēng)

26、格指南。z操作系統(tǒng)(o/s兼容性需求。z測(cè)試員自己的豐富經(jīng)驗(yàn)。當(dāng)產(chǎn)品與顯式規(guī)格說(shuō)明沖突時(shí),測(cè)試員的報(bào)告任務(wù)相對(duì)簡(jiǎn)單一些:“產(chǎn)品違反了規(guī)格說(shuō)明,因此產(chǎn)品也許錯(cuò)了?！碑?dāng)違反的是隱式規(guī)格說(shuō)明時(shí),測(cè)試員的報(bào)告必須詳細(xì)一些:“在Microsoft Office中,功能鍵F4固定用于重復(fù)命令。除非我們也這樣定義,否則在日常工作中也使用Office的用戶會(huì)感到困惑?！彪m然沒(méi)有人說(shuō)Microsoft Office是這個(gè)產(chǎn)品的規(guī)格說(shuō)明,但是客戶可能會(huì)同意采用與Office一致的用戶界面會(huì)提高可使用性。如果是這樣,則Office 就是這個(gè)產(chǎn)品的一個(gè)隱式規(guī)格說(shuō)明。有些測(cè)試員可能會(huì)問(wèn),為什么設(shè)計(jì)人員不把所有有用的信息

27、都放入顯式規(guī)格說(shuō)明,使得他們不必再?gòu)碾[式資源中分辨規(guī)格說(shuō)明?；卮鸷芎?jiǎn)單:雖然這樣做方便了測(cè)試員,但是很昂貴,而且沒(méi)有必要?？蛻粝嘈艤y(cè)試員能夠使用所需的各種參考資料快速找出重要的問(wèn)題。經(jīng)驗(yàn)19,“它沒(méi)有問(wèn)題”真正的含義是,它看起來(lái)在一定程度上滿足部分需求 任何時(shí)候聽(tīng)到有人說(shuō)“我試過(guò)了,它沒(méi)有問(wèn)題”、“我保證它沒(méi)有問(wèn)題”或“它現(xiàn)在更好了”,我們建議把“它沒(méi)有問(wèn)題”解釋為“它看起來(lái)在一定程度上滿足部分需求”。測(cè)試員應(yīng)該立即想到的一些問(wèn)題包括:z“它”是什么?我們正在談?wù)摰氖钱a(chǎn)品的哪個(gè)部分?z外觀是什么情況?到底觀察到了什么?z檢查了哪些需求?正確性如何?性能如何?z為了通過(guò)測(cè)試要在多大的程度上滿足該

28、需求?只是剛剛通過(guò),還是超過(guò)指標(biāo)很多?z它什么時(shí)候沒(méi)有問(wèn)題?測(cè)試覆蓋了多大范圍的條件?通過(guò)這些條件可以安全地推廣到多遠(yuǎn)?如果不愿意,可以默默地問(wèn)自己。關(guān)鍵是如果對(duì)“它沒(méi)有問(wèn)題”沒(méi)有進(jìn)一步地限定,它就會(huì)是模糊的。測(cè)試員所認(rèn)為的“它沒(méi)有問(wèn)題”的意義,可能與別的人定義不同.經(jīng)驗(yàn)20,測(cè)試員所能得到的只是對(duì)產(chǎn)品的印象不管測(cè)試員對(duì)產(chǎn)品的質(zhì)量有什么看法,都是猜想。不管猜想有多么好的支持,也不能肯定自己是對(duì)的。因此,任何時(shí)候報(bào)告產(chǎn)品質(zhì)量狀態(tài)時(shí),都應(yīng)該用有關(guān)測(cè)試方法和測(cè)試過(guò)程的己知局限性的信息,對(duì)報(bào)告進(jìn)行限定。經(jīng)驗(yàn)21,不要將試驗(yàn)與測(cè)試混淆起來(lái)試驗(yàn)的含義是什么,可能表示測(cè)試員執(zhí)行一段探索式測(cè)試,產(chǎn)生些沒(méi)有文檔

29、或試驗(yàn)產(chǎn)品的臨時(shí)性試驗(yàn);也可能表示測(cè)試員編寫(xiě)一套可執(zhí)行測(cè)試程序,或一套顯式的測(cè)試過(guò)程;也可能表示某種高水平的測(cè)試矩陣、測(cè)試大綱或一套測(cè)試數(shù)據(jù)。試驗(yàn)的概念是自包含的、實(shí)在的,與其他方便(我們通篇使用方便(convenient概念,因?yàn)樗菧y(cè)試界的標(biāo)準(zhǔn)行話試驗(yàn)不同,但也是受限的。關(guān)鍵還是測(cè)試,而不是如何將測(cè)試打成被稱為試驗(yàn)的包。測(cè)試是任何至少包含以下四種活動(dòng)的活動(dòng):z配置。準(zhǔn)備要測(cè)試的產(chǎn)品,將其置于正確的起始狀態(tài),否則測(cè)試結(jié)果會(huì)受到不良變量的影響。z運(yùn)行。向產(chǎn)品輸人數(shù)據(jù),向產(chǎn)品發(fā)命令,以某種方式與產(chǎn)品交互。否則,產(chǎn)品只是放在那里,測(cè)試員能夠做的只是評(píng)審,而不是測(cè)試。z觀察。收集有關(guān)產(chǎn)品行為信息、輸

30、出數(shù)據(jù)、系統(tǒng)整體狀態(tài)、與其他產(chǎn)品的交互等方面的信息。測(cè)試員不能觀察所有事物,但是沒(méi)有觀察的任何事物都可能使測(cè)試員看不到問(wèn)題所在。z評(píng)估。運(yùn)用規(guī)則、推理或可檢測(cè)所觀察到數(shù)據(jù)中存在問(wèn)題的機(jī)制。否則要么不能報(bào)告問(wèn)題,要么只是把數(shù)據(jù)提交給客戶,由客戶自己進(jìn)行評(píng)估。試驗(yàn)產(chǎn)生的可能有很多形式,不要過(guò)于關(guān)注形式,要保證有這四種活動(dòng)發(fā)生。要關(guān)注執(zhí)行這些活動(dòng)的思考者,關(guān)注試驗(yàn)是否很好地完成了預(yù)想的策略和測(cè)試使命。經(jīng)驗(yàn)22,當(dāng)測(cè)試復(fù)雜產(chǎn)品時(shí):陷入與退出有時(shí)復(fù)雜性可能是無(wú)法抗拒的。測(cè)試員的意志可能會(huì)被擊垮。因此,當(dāng)要測(cè)試復(fù)雜和使人畏懼的功能集合時(shí),可間歇進(jìn)行。人的頭腦具有處理復(fù)雜問(wèn)題的驚人能力,但是不要指望馬上就能

31、理解復(fù)雜產(chǎn)品?？稍囍妊芯繌?fù)雜產(chǎn)品30分鐘或一個(gè)小時(shí),然后停下來(lái)干點(diǎn)別的。這就是陷入與退出(P1unge in and quit法。不要擔(dān)心在這段不長(zhǎng)的時(shí)間內(nèi)效率不高,如果覺(jué)得問(wèn)題太多,要盡快退出。這種方法的優(yōu)點(diǎn)是,除了選擇產(chǎn)品的一部分并研究外,絕對(duì)不需要計(jì)劃。經(jīng)過(guò)幾個(gè)輪次的陷入與退出,就會(huì)開(kāi)始明白產(chǎn)品的模式和輪廓,很快就會(huì)在頭腦中更系統(tǒng)、更具體地測(cè)試和研究策略。這種方法很神奇。最終,會(huì)掌握足夠的知識(shí)以設(shè)計(jì)全面的測(cè)試計(jì)劃,如果認(rèn)為這些計(jì)劃能夠完成自己的任務(wù)。經(jīng)驗(yàn)23運(yùn)用試探法快速產(chǎn)生測(cè)試思路試探法(hcuristic是一種經(jīng)驗(yàn)規(guī)則,是一種基于經(jīng)驗(yàn)做出猜測(cè)的方法。這個(gè)詞源自希臘語(yǔ),表示“開(kāi)始發(fā)現(xiàn)

32、”。試探法并不能保證得到正確的答案或最佳答案,但是很有用。最早運(yùn)用試探法的著作是如何解決它(How to Solve it(Polya l957。出于可能的測(cè)試用例數(shù)量是無(wú)限的,因此肯定要選出在所面臨的時(shí)間和預(yù)算約束條件下有效的少量測(cè)試用例。有經(jīng)驗(yàn)的測(cè)試員會(huì)收集并共享能夠改進(jìn)其猜測(cè)質(zhì)量的測(cè)試試探方法。一組好的試探方法有助于很快地生成測(cè)試。以下是采用試探法測(cè)試的一些例子:z測(cè)試邊界。邊界更有可能暴露規(guī)格說(shuō)明的模糊問(wèn)題。z測(cè)試所有錯(cuò)誤消息。錯(cuò)誤處理代碼與主流功能代碼相比,一般比較弱。z測(cè)試與程序員的配置不同的配置。程序員已經(jīng)偏信自己的配置沒(méi)有問(wèn)題。z運(yùn)行比較難設(shè)置的測(cè)試。在其他條件相同的情況下,易

33、于設(shè)置的測(cè)試更有可能已經(jīng)被執(zhí)行過(guò)。z避免冗余測(cè)試。如果某個(gè)測(cè)試實(shí)際上是重復(fù)其他測(cè)試,就不會(huì)產(chǎn)生新價(jià)值。為了明智地運(yùn)用試探法,請(qǐng)注意:試探法中并沒(méi)有智慧,智慧來(lái)自測(cè)試員。試探法所能夠做的,只不過(guò)就是為測(cè)試員的思考提出建議。盲目使用自己并不了解的試探法并不是好的測(cè)試實(shí)踐。在收集測(cè)試方法時(shí),要了解每個(gè)方法背后的原理,以及更適用和不太適用的條件。經(jīng)驗(yàn)24,測(cè)試員不能避免偏向,但是可以管理偏向測(cè)試員是有偏向的,這使得測(cè)試員選擇一部分測(cè)試的可能性要比其他測(cè)試大。如果有一個(gè)很長(zhǎng)的編輯字段,測(cè)試員也許更可能輸入諸如1111111111,而不是3287504619,因?yàn)檩斎胱址貜?fù)的字符串,要比從0到9隨機(jī)選擇

34、數(shù)字更容易。也許這是一種很小的偏向,但仍是一種偏向。更糟的偏向是,大多數(shù)測(cè)試員傾向于測(cè)試最可視的功能,不管是不是最重要的功能。此外,大多數(shù)測(cè)試員還傾向于考慮認(rèn)為與自己類似的用戶,傾向于使用非常簡(jiǎn)單、非?；闹嚨妮斎?而不是具有中等復(fù)雜度的現(xiàn)實(shí)輸入。以下是一些常見(jiàn)偏向:z同化偏向。更有可能把未來(lái)的測(cè)試結(jié)果解釋為總體上證實(shí)自己對(duì)產(chǎn)品的看法。z證實(shí)偏向。更有可能關(guān)注確實(shí)會(huì)證實(shí)自己對(duì)產(chǎn)品看法的測(cè)試結(jié)果。z可用性偏向。如果頭腦中已經(jīng)想到一種用戶以某種方式操作的場(chǎng)景,則更 有可能認(rèn)為這種操作更常出現(xiàn)。z最初印象偏見(jiàn)。更信任所做的第一次觀察。z最新印象偏見(jiàn)。更信任所做的最近一次觀察。z框架效應(yīng)。對(duì)錯(cuò)誤報(bào)告的反

35、應(yīng)與措辭有很大關(guān)系,不管其真正含義如何。z知名偏向。把碰巧認(rèn)識(shí)的用戶意見(jiàn)放在更重要的地位。z表達(dá)偏向。期望較小的問(wèn)題也許有較小的原因,而嚴(yán)重問(wèn)題會(huì)有大原因。測(cè)試員不能避免這些偏向,因?yàn)檫@些偏向在很大程度上已經(jīng)固化在頭腦中。測(cè)試員能夠做的是管理偏向。例如,只需通過(guò)研究偏向并在實(shí)踐中注意,這樣在思考時(shí)就可以更好地進(jìn)行補(bǔ)償。多樣化也可以抵御過(guò)強(qiáng)的偏向。如果測(cè)試員集體談?wù)摐y(cè)試問(wèn)題,可以將一個(gè)測(cè)試員的偏向降低到最低限度。根據(jù)定義,試探法也是一種偏向。使用試探法,是因?yàn)槠淦蚩梢砸员容^好的方式引導(dǎo)測(cè)試員。經(jīng)驗(yàn)25,如果自己知道自己不聰明,就更難被愚弄騙子說(shuō),最容易上當(dāng)?shù)娜?是絕對(duì)自信不會(huì)被愚弄的人。作為測(cè)

36、試員也可以把這條定律用于自己的工作中。證明自己容易被愚弄。做到這一點(diǎn)并不難,只需仔細(xì)看看自己在測(cè)試中犯的錯(cuò)誤。任何時(shí)候都要注意其他測(cè)試員所發(fā)現(xiàn)的自己本來(lái)也可以發(fā)現(xiàn),但是沒(méi)有發(fā)現(xiàn)的問(wèn)題。如果真心認(rèn)為自己容易被愚弄,也會(huì)比較謹(jǐn)慎一點(diǎn),在考慮自己的測(cè)試策略細(xì)節(jié)時(shí)就會(huì)更認(rèn)真一點(diǎn)。這是一種新測(cè)試員能夠提高的最快的方法之一,因?yàn)橹雷约嚎梢员挥夼且环N態(tài)度,并不是特殊技能或知識(shí)。新測(cè)試員的問(wèn)題是,對(duì)于他們來(lái)說(shuō),這個(gè)定律只是一條信仰(“人家告訴我,我應(yīng)該認(rèn)為我可以被愚弄”,而有經(jīng)驗(yàn)的測(cè)試員的感覺(jué)和反應(yīng),會(huì)通過(guò)實(shí)際教訓(xùn)喚起和加強(qiáng)(“我還覺(jué)得1994年的那次大教訓(xùn)。我們?cè)趺匆矝](méi)有想到病毒會(huì)感染我們自認(rèn)為性能非常

37、可靠的磁盤(pán)。我的聲譽(yù)在這一天全給毀了” 。經(jīng)驗(yàn)26,如果遺漏一個(gè)問(wèn)題,檢查這種遺漏是意外還是策略的必然結(jié)果如果擲幣猜邊時(shí),猜的是國(guó)徽面,出現(xiàn)的卻是字面.這是否意味著做出了差的決策?以任何理性的觀點(diǎn)看都不是這樣。除非在硬幣上做了手腳,否則出現(xiàn)任何一回的機(jī)會(huì)都是50%。出現(xiàn)字面沒(méi)有什么可奇怪的,只是不夠幸運(yùn)罷了。決策策略沒(méi)有問(wèn)題。在測(cè)試過(guò)程中沒(méi)有發(fā)現(xiàn)程序錯(cuò)誤時(shí)也存在同樣問(wèn)題,同樣也會(huì)困擾客戶。在研究測(cè)試策略出現(xiàn)了什么問(wèn)題之前,先不要自責(zé)。出現(xiàn)遺漏,是否因?yàn)橹覍?shí)地執(zhí)行了好的測(cè)試策略,并只是碰巧沒(méi)有發(fā)現(xiàn)那個(gè)特定的問(wèn)題?如果是這樣,可保持原有方針不變。確實(shí)有這種情況。但是,如果遺漏程序錯(cuò)誤是因?yàn)闇y(cè)試策略

38、關(guān)注了錯(cuò)的問(wèn)題類型,可利用這個(gè)機(jī)會(huì)改進(jìn)測(cè)試策略。經(jīng)驗(yàn)27,困惑是一種測(cè)試工具當(dāng)測(cè)試員感到困惑時(shí),這可能是某種重要的預(yù)示。z規(guī)格說(shuō)明不清楚嗎?規(guī)格說(shuō)明中的模糊點(diǎn),常常是為了掩蓋有影響力的項(xiàng)目相關(guān)人員之間的重要分歧。z產(chǎn)品不清楚嗎?產(chǎn)品可能有嚴(yán)重問(wèn)題。z用戶文檔不清楚嗎?產(chǎn)品的這個(gè)部分可能太復(fù)雜,有太多的特例和不一致性要描述。z內(nèi)部問(wèn)題只是難以理解嗚?我們?cè)噲D自動(dòng)化的有些系統(tǒng)具有內(nèi)在的復(fù)雜性,或包含復(fù)雜的技術(shù)問(wèn)題。程序員也認(rèn)為它們復(fù)雜、困難,并導(dǎo)致自己犯遺漏、誤解和過(guò)于簡(jiǎn)化的錯(cuò)誤。測(cè)試員對(duì)產(chǎn)品、技術(shù)和一般測(cè)試問(wèn)題了解得越多,自己的困惑就會(huì)成為更有力的指南針,指出重要問(wèn)題所在。在測(cè)試過(guò)程中,如果對(duì)產(chǎn)

39、品一無(wú)所知,那么至少知道自己在困惑。在這種情況下,困惑可以成為最佳交付內(nèi)容,即提出也許其他人沒(méi)有勇氣提出的問(wèn)題。經(jīng)驗(yàn)28,清新的眼光會(huì)發(fā)現(xiàn)失效理解事物,是把新信息吸收到已知信息中,同時(shí)修改已知的信息以適應(yīng)新信息的高智力過(guò)程。測(cè)試員在理解了產(chǎn)品或功能部件之后,會(huì)在頭腦中形成映射,并且頭腦不再那么努力工作。對(duì)于測(cè)試員來(lái)說(shuō)這可能是個(gè)問(wèn)題。當(dāng)非常了解產(chǎn)品后,會(huì)對(duì)產(chǎn)品做出更多的假?zèng)],并更少檢查這些假?zèng)]。這種情況對(duì)于測(cè)試至少有三點(diǎn)提示:z第一次接觸產(chǎn)品或功能時(shí),要特別注意使自己困惑和煩惱的地方。這可能 說(shuō)明用戶也會(huì)有類似反應(yīng)。z當(dāng)與團(tuán)隊(duì)的新成員一起工作時(shí),與他們一起測(cè)試。觀察他們?cè)诹私猱a(chǎn)品時(shí)的反應(yīng)。z警惕

40、陷人測(cè)試慣例。即使沒(méi)有遵循嚴(yán)格的測(cè)試腳本,也可能對(duì)特定功能太熟悉,以至于以越來(lái)越窄的方式進(jìn)行測(cè)試。在任何可能的地方引人多樣性,或改由其他測(cè)試員負(fù)責(zé)。經(jīng)驗(yàn)29,測(cè)試員要避免遵循過(guò)程,除非過(guò)程先跟隨自己警惕其他人的過(guò)程。測(cè)試用例和過(guò)程的描述,常常不提測(cè)試的內(nèi)部設(shè)計(jì)目標(biāo)。這非常容易使測(cè)試員在執(zhí)行測(cè)試時(shí)并不太理解如何建立測(cè)試,或?qū)ふ沂裁?。換句話說(shuō),測(cè)試員并沒(méi)有真正跟上過(guò)程。一般來(lái)說(shuō),測(cè)試過(guò)程的編寫(xiě)和設(shè)計(jì)都比較差,因?yàn)闆](méi)有多少優(yōu)秀測(cè)試員像擅長(zhǎng)計(jì)算機(jī)那樣擅長(zhǎng)程序設(shè)計(jì)人員的工作。如果要遵循測(cè)試過(guò)程,最好采用自己設(shè)計(jì)、自己擁有或已經(jīng)完全了解的過(guò)程。為了得到最好結(jié)果,測(cè)試員必須掌握自己的測(cè)試,而不是自己的文檔。

41、要使過(guò)程跟隨自己。如果確信那些過(guò)程很好,也至少要研究一下過(guò)程的工作原理。請(qǐng)參閱使我們聰明的事物:機(jī)器時(shí)代的人性保護(hù)(Things that Make Us Smart : Defending Human Attributes in the Age of The Machine(Norman l993和信息的社會(huì)壽命(The Social Life of information(Brown和Duguid 2000。經(jīng)驗(yàn)30,在創(chuàng)建測(cè)試過(guò)程時(shí),避免“1287”我們中的Bach曾經(jīng)見(jiàn)過(guò)一位測(cè)試員編寫(xiě)的測(cè)試過(guò)程包含“在字段中輸入1287個(gè)字符?！边@1287是從哪里來(lái)的?測(cè)試員解釋說(shuō).他的測(cè)試想法只不過(guò)是在一個(gè)小輸入字段中,輸入非常多的字