騰訊游戲產(chǎn)品運(yùn)營(yíng)事故課件

騰訊大講堂第五十一期研發(fā)管理部大講堂主頁(yè)：Walker游戲產(chǎn)品運(yùn)營(yíng)事故案例介紹講述事故背后的故事，從案例了解網(wǎng)游運(yùn)營(yíng)騰訊游戲發(fā)布軌跡2004年2005年2006年2003年2007年2008年2009年從2003年到2008年，騰訊游戲的發(fā)展已經(jīng)走過(guò)了5年多的歷程。2003-08QQ游戲大廳發(fā)布凱旋公測(cè)《凱旋》產(chǎn)品

《凱旋》是騰訊代理IMAZIC的一款3D大型網(wǎng)游，也是我們?cè)囁W(wǎng)絡(luò)游戲市場(chǎng)的第一款產(chǎn)品。為此騰訊在上海專門組建了網(wǎng)絡(luò)游戲事業(yè)部來(lái)負(fù)責(zé)該產(chǎn)品的運(yùn)營(yíng)工作，該游戲從2003年8月1日正式公測(cè)上市?！秳P旋》產(chǎn)品《凱旋》在當(dāng)時(shí)是一款非常高端的產(chǎn)品，3D畫面效果優(yōu)秀出色，采用了無(wú)縫地圖技術(shù)，真實(shí)裝備Avatar，任務(wù)鏈設(shè)計(jì)，寵物系統(tǒng)等等，設(shè)計(jì)理念新穎，市場(chǎng)影響力大。

《凱旋》公測(cè)之后，為了迎接十一長(zhǎng)假，策劃希望策劃一些線上活動(dòng)，繼續(xù)沖高在線，MiniBoss活動(dòng)就此出爐。《凱旋》產(chǎn)品MiniBoss事故記錄由策劃部提出希望在國(guó)慶節(jié)期間開展一個(gè)在線活動(dòng)，營(yíng)造游戲中的節(jié)日氣氛，并提高節(jié)日期間在線；活動(dòng)策劃案需求轉(zhuǎn)交韓方后，韓方回復(fù)他們正好新開發(fā)了一個(gè)類似的活動(dòng)包，可供我們使用；這個(gè)活動(dòng)包的內(nèi)容主要是將游戲內(nèi)地底深處的超級(jí)BOSS縮小后隨機(jī)放到地面刷出，供普通玩家挑戰(zhàn)，并且還有機(jī)會(huì)獲得珍貴寶石；策劃部門同意采用該活動(dòng)包，作為國(guó)慶期間節(jié)日活動(dòng)的一部份，并相應(yīng)準(zhǔn)備了相關(guān)的網(wǎng)站宣傳內(nèi)容；活動(dòng)包由韓方提供給海外部，同時(shí)策劃部之前提供了測(cè)試需求給海外部，海外部測(cè)試后認(rèn)為符合需求，因此交給了技術(shù)部，然后技術(shù)部安排了自動(dòng)更新的腳本，在10月1日凌晨自動(dòng)啟動(dòng)。MiniBoss事故記錄10.1期間，部門放假，活動(dòng)自動(dòng)執(zhí)行，結(jié)果因?yàn)橐恍┘?xì)節(jié)設(shè)計(jì)問(wèn)題和寶石產(chǎn)出幾率過(guò)高，導(dǎo)致活動(dòng)期間珍貴寶石大量產(chǎn)出，玩家采用自動(dòng)化方法大量獲取珍貴寶石后對(duì)整個(gè)經(jīng)濟(jì)系統(tǒng)產(chǎn)生巨大影響；流通道具的大量產(chǎn)生導(dǎo)致了一系列問(wèn)題，游戲體驗(yàn)被迅速透支，流失玩家數(shù)量驚人；假期結(jié)束后，整個(gè)游戲在線由4W多下跌到不足2W，游戲內(nèi)經(jīng)濟(jì)崩潰，物價(jià)異常變動(dòng)，大量忠實(shí)玩家離開，流失玩家數(shù)量巨大。因此事故時(shí)間太久，無(wú)法回檔，官方已經(jīng)沒(méi)有任何辦法消除事故影響；經(jīng)此打擊之后，凱旋的游戲在線一直未能得到恢復(fù)，之后再未突破過(guò)4W水平，在線持續(xù)下跌至目前水平。《凱旋》產(chǎn)品在MiniBoss事件中，錯(cuò)誤究竟發(fā)生在哪里呢？似乎每個(gè)部門都有錯(cuò)，但是每個(gè)部門卻又沒(méi)有能力去發(fā)現(xiàn)和制止錯(cuò)誤，似乎大家一起努力的結(jié)果就是朝錯(cuò)誤的方向越跑越遠(yuǎn)；在錯(cuò)誤產(chǎn)生之后，卻很難找到責(zé)任人，甚至沒(méi)有一個(gè)直接責(zé)任人出現(xiàn)。事故之后，團(tuán)隊(duì)沒(méi)有收獲任何經(jīng)驗(yàn)教訓(xùn)，只能繼續(xù)這樣運(yùn)轉(zhuǎn)?！秳P旋》產(chǎn)品白裝備事件記錄2004年1月15日凱旋發(fā)布一個(gè)新的版本的時(shí)候出現(xiàn)的一個(gè)BUG，導(dǎo)致部分玩家背包中的帶屬性的綠色藍(lán)色等高級(jí)裝備變成沒(méi)有屬性的白色裝備，同時(shí)還出現(xiàn)部分玩家角色消失問(wèn)題；在我方測(cè)試時(shí)，未及時(shí)發(fā)現(xiàn)此問(wèn)題。更新后，開始陸續(xù)接到玩家投訴，技術(shù)部檢查后確認(rèn)是游戲BUG造成，于是通過(guò)商務(wù)部向韓方提出緊急修復(fù)的需求，同時(shí)開始逐個(gè)手工處理玩家投訴；當(dāng)天下午的時(shí)候，玩家投訴量達(dá)到400單，技術(shù)部門開始通宵處理，到次日凌晨投訴量已經(jīng)上升到1500單，手工處理已經(jīng)無(wú)法承擔(dān)。這時(shí)候因?yàn)楸本┑恼箷?huì)緣故，相關(guān)領(lǐng)導(dǎo)均不在公司，一直無(wú)人拍板最終處理方案，只能繼續(xù)手工處理。白裝備事件記錄等到下午，韓方發(fā)來(lái)一個(gè)統(tǒng)計(jì)工具，用于統(tǒng)計(jì)受損的賬戶數(shù)量；經(jīng)過(guò)統(tǒng)計(jì)后發(fā)現(xiàn)受影響賬號(hào)竟然在10萬(wàn)以上，于是又經(jīng)過(guò)漫長(zhǎng)討論，最終決定回檔。此時(shí)距離發(fā)現(xiàn)問(wèn)題已經(jīng)過(guò)了30多個(gè)小時(shí)，需回檔時(shí)間近2天，受影響活躍玩家?guī)资f(wàn)人；回檔過(guò)程中，再次發(fā)現(xiàn)數(shù)據(jù)異常，無(wú)法啟動(dòng)服務(wù)器，游戲停機(jī)時(shí)間一再延長(zhǎng)，在18個(gè)多小時(shí)后才恢復(fù)了服務(wù)；經(jīng)此打擊，更多的活躍玩家離開了凱旋，游戲在線下跌到1萬(wàn)余?！秳P旋》產(chǎn)品在白裝備事件中，我們得到了哪些教訓(xùn)呢？對(duì)于網(wǎng)游產(chǎn)品，測(cè)試部門是一定需要專業(yè)重點(diǎn)建設(shè)的；對(duì)于緊急事故必須有完備的處理預(yù)案和責(zé)任人制度；對(duì)于重大的備份恢復(fù)操作，平時(shí)要經(jīng)常演習(xí)熟悉；對(duì)于風(fēng)險(xiǎn)評(píng)估和具體應(yīng)對(duì)，我們還需要更多的經(jīng)驗(yàn)；對(duì)于用戶管理和運(yùn)營(yíng)維護(hù)方面的經(jīng)驗(yàn)缺乏，輿論導(dǎo)向控制不力，用戶反饋收集緩慢，信息不全，用戶體驗(yàn)很差；最重要的是，我們需要一個(gè)符合網(wǎng)游產(chǎn)品運(yùn)營(yíng)特點(diǎn)的團(tuán)隊(duì)管理結(jié)構(gòu)。只有合理的將一個(gè)整體任務(wù)的結(jié)果責(zé)任賦予某人，才能讓其擁有與這個(gè)責(zé)任對(duì)等的權(quán)力來(lái)制約和控制整個(gè)事情。經(jīng)驗(yàn)必須是沉積在每個(gè)人身上，而不是整個(gè)團(tuán)隊(duì)，富有經(jīng)驗(yàn)的的產(chǎn)品經(jīng)理是一個(gè)團(tuán)隊(duì)的重要財(cái)富?，F(xiàn)在的運(yùn)營(yíng)團(tuán)隊(duì)工作模型一個(gè)運(yùn)營(yíng)團(tuán)隊(duì)的三層工作模型客服市場(chǎng)運(yùn)維渠道網(wǎng)站研發(fā)用戶……現(xiàn)在的運(yùn)營(yíng)團(tuán)隊(duì)內(nèi)部工作模型運(yùn)營(yíng)項(xiàng)目A運(yùn)營(yíng)項(xiàng)目B運(yùn)營(yíng)項(xiàng)目C《凱旋》產(chǎn)品后續(xù)《凱旋》之后，公司在很長(zhǎng)時(shí)間一直沒(méi)有再代理海外的游戲產(chǎn)品；QQGame的崛起讓公司決策方面決定加強(qiáng)自研網(wǎng)游產(chǎn)品的投入，上海團(tuán)隊(duì)主要力量被拆散，大部分骨干人員流失，騰訊在大型網(wǎng)游市場(chǎng)的第一步就摔了一個(gè)不小的跟頭；自研QQGame產(chǎn)品獲得成功后，公司決定繼續(xù)研發(fā)更加高端的游戲產(chǎn)品，第一款A(yù)CG產(chǎn)品《QQ堂》2004年中正式立項(xiàng)了。騰訊游戲發(fā)布軌跡2004年2005年2006年2003年2007年2008年2003-08QQ游戲大廳發(fā)布凱旋公測(cè)2009年2004-12QQ堂公測(cè)《QQ堂》產(chǎn)品QQ堂產(chǎn)品第一次建立了產(chǎn)品運(yùn)營(yíng)團(tuán)隊(duì)，雖然才3個(gè)產(chǎn)品人員，但是已經(jīng)開始建立項(xiàng)目和產(chǎn)品的負(fù)責(zé)制。同時(shí)，部門也逐漸開始嘗試將技術(shù)主導(dǎo)型的工作模式轉(zhuǎn)變產(chǎn)品運(yùn)營(yíng)主導(dǎo)型的工作模式；QQ堂如果誕生在別的公司，注定將成為一個(gè)沒(méi)有任何市場(chǎng)反應(yīng)就會(huì)迅速失敗的產(chǎn)品，但是我們的平臺(tái)給這個(gè)產(chǎn)品源源不斷的送去了用戶，讓產(chǎn)品研發(fā)運(yùn)營(yíng)團(tuán)隊(duì)得以生存，得以學(xué)習(xí)和提高。在運(yùn)營(yíng)了7個(gè)月后，產(chǎn)品運(yùn)營(yíng)團(tuán)隊(duì)開始逐漸找到了感覺(jué)，終于開始學(xué)會(huì)如何掌控這個(gè)產(chǎn)品，7月的正式版本之后，QQ堂慢慢發(fā)力，在線開始節(jié)節(jié)上升；產(chǎn)品團(tuán)隊(duì)信心十足，甚至開始變得有點(diǎn)急功近利了《QQ堂》產(chǎn)品QQ堂“歡樂(lè)幸運(yùn)星”抽獎(jiǎng)2005年8~9月間，因?yàn)榛蔅U另外一款重量級(jí)產(chǎn)品《QQ幻想》的跳票，互娛系統(tǒng)的月度考核指標(biāo)遇到了極大的挑戰(zhàn)，領(lǐng)導(dǎo)層號(hào)召各個(gè)產(chǎn)品設(shè)法拉高收入，嚴(yán)守KPI底線；QQ堂產(chǎn)品當(dāng)時(shí)在線狀況發(fā)展良好，如何轉(zhuǎn)換成為收入的問(wèn)題于是變得更加重要，大家開始群策群力的貢獻(xiàn)點(diǎn)子，力求幫系統(tǒng)更多承擔(dān)一些收入；在幾次風(fēng)暴會(huì)議后，多個(gè)營(yíng)銷性質(zhì)項(xiàng)目開始啟動(dòng)。其中，有一個(gè)博彩類的項(xiàng)目非常被大家看好，這個(gè)項(xiàng)目叫做QQ堂“歡樂(lè)幸運(yùn)星”抽獎(jiǎng)活動(dòng)?！禥Q堂》產(chǎn)品2005年9月29日晚8點(diǎn)，在經(jīng)過(guò)研發(fā)測(cè)試等同事加班加點(diǎn)的緊張開發(fā)之后，“歡樂(lè)幸運(yùn)星”活動(dòng)如期開發(fā)完畢，并按照版本計(jì)劃，更新到了外網(wǎng)環(huán)境；8點(diǎn)半鐘，運(yùn)營(yíng)團(tuán)隊(duì)接客服報(bào)告，聲稱有兩名玩家已經(jīng)中到一千萬(wàn)游戲幣的大獎(jiǎng)。運(yùn)營(yíng)團(tuán)隊(duì)按照緊急預(yù)案召集所有相關(guān)人員趕回公司處理；9點(diǎn)多，客服方面再次匯報(bào)，已經(jīng)確認(rèn)BUG存在，有大量玩家重復(fù)中獎(jiǎng)。運(yùn)營(yíng)負(fù)責(zé)人要求立即關(guān)閉道具售賣系統(tǒng)；10點(diǎn)前，運(yùn)維同事關(guān)閉了道具售賣服務(wù)器，產(chǎn)品，研發(fā)，運(yùn)維，測(cè)試等各線人員趕到，馬上召開了事故分析處理會(huì)議，并通知平臺(tái)線方面同事協(xié)助；11點(diǎn)，事故原因查明，得到事故初步損失統(tǒng)計(jì)，參與得利玩家第一批名單也已經(jīng)獲得，運(yùn)營(yíng)團(tuán)隊(duì)開始要求各方面協(xié)助攔截非法游戲幣。事故過(guò)程原因在抽獎(jiǎng)活動(dòng)的設(shè)置中，集齊一套道具(7塊多Q幣)，可能中獎(jiǎng)1000萬(wàn)游戲幣(相當(dāng)于1000Q幣)，一般情況概率應(yīng)該是萬(wàn)分之零點(diǎn)六，但是策劃文檔幾經(jīng)修改后中獎(jiǎng)表格已經(jīng)出現(xiàn)了很多錯(cuò)誤。而策劃評(píng)審，運(yùn)營(yíng)評(píng)審，程序?qū)崿F(xiàn)各個(gè)環(huán)節(jié)中居然都沒(méi)有發(fā)現(xiàn)中獎(jiǎng)列表的機(jī)率加起來(lái)已經(jīng)不是100%了；程序?qū)崿F(xiàn)后提交測(cè)試組測(cè)試兩輪，在測(cè)試中因?yàn)闆](méi)有使用大量QB來(lái)進(jìn)行真實(shí)的模擬測(cè)試，所以居然沒(méi)有發(fā)現(xiàn)概率方面存在異常；種種錯(cuò)誤累加起來(lái)使26%概率的特等獎(jiǎng)終于出現(xiàn)在了外網(wǎng)環(huán)境中；從當(dāng)晚8點(diǎn)多發(fā)布活動(dòng)到10點(diǎn)之前關(guān)閉這個(gè)活動(dòng),僅一個(gè)多小時(shí)共產(chǎn)生游戲幣21個(gè)億，有700多名用戶參與了刷取游戲幣；由于錢的數(shù)量巨大，玩家四處轉(zhuǎn)移游戲幣。而凍結(jié)賬戶方面沒(méi)有預(yù)案，雖然緊急處理及時(shí)，但凍結(jié)不徹底，扣款程序又出問(wèn)題等,最終損失還是構(gòu)成了一級(jí)事故；事故發(fā)生后對(duì)員工和相關(guān)領(lǐng)導(dǎo)都受到了處罰。事后總結(jié)需求文檔需要更仔細(xì)check，評(píng)審環(huán)節(jié)的疏漏非常嚴(yán)重；任何概率類設(shè)計(jì)都需要設(shè)置總量控制，設(shè)置多級(jí)閥門控制，不要把能廣泛流通的貨幣或者道具直接及時(shí)的交到玩家手上，不要獎(jiǎng)勵(lì)；緊急預(yù)案不夠完善，只考慮到產(chǎn)品范圍內(nèi)的各種處理方案，沒(méi)有考慮如果在部門或者公司級(jí)平臺(tái)上出現(xiàn)問(wèn)題后的處理措施。在處理過(guò)程中，產(chǎn)品人員才驚奇的發(fā)現(xiàn)我們?cè)瓉?lái)還有游戲幣銀行這樣的東西。在要求各個(gè)方面協(xié)助凍結(jié)相關(guān)賬戶的時(shí)候，各系統(tǒng)才開始編寫相關(guān)的程序進(jìn)行掃描和回扣，這其中又發(fā)生新的BUG，但是多次扣款失敗，使損失額度沒(méi)有能得到很好的控制?！禥Q堂》產(chǎn)品后續(xù)“歡樂(lè)幸運(yùn)星”事件之后，互娛停止了所有涉及抽獎(jiǎng)Q幣，游戲幣的活動(dòng)，再不涉及任何通過(guò)平臺(tái)渠道發(fā)放Q幣的活動(dòng)，以避免風(fēng)險(xiǎn)；QQ堂團(tuán)隊(duì)也停止了這種直接通過(guò)抽獎(jiǎng)獲利的營(yíng)銷活動(dòng)，開始繼續(xù)專注于游戲內(nèi)容的設(shè)計(jì)和付費(fèi)挖掘；2006年2月份，QQ堂一系列游戲活動(dòng)獲得成功，同時(shí)在線達(dá)到22萬(wàn)高點(diǎn)，收入也實(shí)現(xiàn)了連續(xù)翻番，QQ堂道具營(yíng)銷方面經(jīng)驗(yàn)讓很多產(chǎn)品學(xué)習(xí)得益。騰訊游戲發(fā)布軌跡2004年2005年2006年2003年2007年2008年2003-08QQ游戲大廳發(fā)布凱旋公測(cè)2009年2005-06QQ寵物發(fā)布2005-10QQ幻想公測(cè)2004-12QQ堂公測(cè)QQ幻想產(chǎn)品

《QQ幻想》是騰訊的一款戰(zhàn)略級(jí)產(chǎn)品，是互娛自主研發(fā)了三年多的首款MMOG產(chǎn)品。這款產(chǎn)品也是互娛在凱旋項(xiàng)目失利之后，再次嘗試運(yùn)營(yíng)的MMOG產(chǎn)品。該款產(chǎn)品2005年10月25日公測(cè)，最高同時(shí)在線用戶數(shù)一度達(dá)到66萬(wàn)，是互娛重要的收入產(chǎn)品。QQ幻想產(chǎn)品《QQ幻想》產(chǎn)品是一款探索獲取經(jīng)驗(yàn)的產(chǎn)品，雖然我們投入了大量的人力和時(shí)間在這款產(chǎn)品上，但是也畢竟暴露出了我們的很多經(jīng)驗(yàn)不足之處；雖然借助騰訊平臺(tái)的強(qiáng)大力量，《QQ幻想》獲得了公測(cè)的良好效果，但是游戲設(shè)計(jì)，運(yùn)營(yíng)理念方面的一些不足還是讓產(chǎn)品在線不斷下挫。在收費(fèi)后，產(chǎn)品在線已經(jīng)不足公測(cè)時(shí)的一半；在一年多運(yùn)營(yíng)過(guò)程中，這個(gè)項(xiàng)目也不斷出現(xiàn)過(guò)一些不同程度的事故，在線活動(dòng)的投訴率一直居高不下。QQ幻想道具復(fù)制漏洞事故記錄2006年11月12日下午3點(diǎn)，客服方面報(bào)告，在游戲中出現(xiàn)一個(gè)開店售賣的BUG，會(huì)導(dǎo)致開店商人顯示的物品列表和實(shí)際不符。有玩家利用此漏洞進(jìn)行欺詐，導(dǎo)致大量用戶投訴，已經(jīng)構(gòu)成一級(jí)突發(fā)事故，事故已經(jīng)分派到三線；接報(bào)后，產(chǎn)品經(jīng)理和PM（兼服務(wù)端主程）趕到公司處理。經(jīng)過(guò)分析，發(fā)現(xiàn)是因?yàn)榭蛻舳薆UG導(dǎo)致看到的要買的寵物和實(shí)際要買的寵物不一致，從而被玩家利用進(jìn)行欺詐。產(chǎn)品方面分析了具體過(guò)程和投訴單據(jù)后認(rèn)為該問(wèn)題比較嚴(yán)重必須盡快解決，因此打電話通知測(cè)試組運(yùn)維組，準(zhǔn)備進(jìn)行緊急更新；因?yàn)榭蛻舳朔矫嫒藛T一時(shí)聯(lián)系不到，因此PM決定從服務(wù)端解決該問(wèn)題。PM提出兩個(gè)臨時(shí)解決方案，一個(gè)是帶寵物商品交易會(huì)直接失敗，一個(gè)是帶寵物商品交易，寵物商品會(huì)自動(dòng)回到玩家背包。產(chǎn)品方面建議采用后者方案，比如不容易引起玩家困惑。QQ幻想產(chǎn)品下午5點(diǎn)，臨時(shí)修改完畢，程序在內(nèi)網(wǎng)更新，測(cè)試組進(jìn)行了測(cè)試。6點(diǎn)，更新到外網(wǎng)一臺(tái)服務(wù)器，經(jīng)過(guò)一個(gè)小時(shí)觀察感覺(jué)正常，7點(diǎn)半進(jìn)行了全服更新，產(chǎn)品方面在官網(wǎng)和論壇發(fā)布了暫停交易公告；再繼續(xù)觀察了半小時(shí)無(wú)異常，產(chǎn)品方面和客服方面溝通之后，大家回家吃晚飯。其實(shí)這時(shí)一個(gè)嚴(yán)重的BUG已經(jīng)被引入到整個(gè)游戲世界中問(wèn)題開始蔓延一個(gè)游戲道具復(fù)制漏洞實(shí)際上已經(jīng)被部分玩家發(fā)現(xiàn)，玩家在不斷利用這個(gè)BUG復(fù)制道具的同時(shí)，開始通過(guò)各種途徑傳播這個(gè)問(wèn)題：游戲內(nèi)/各種論壇/QQ群越來(lái)越多的用戶開始利用這個(gè)BUG復(fù)制道具，而且用戶開始意識(shí)到大量非法道具一定會(huì)被官方查處，因此開始設(shè)法用各種各樣的方式轉(zhuǎn)移復(fù)制出來(lái)的非法道具。QQ幻想道具復(fù)制漏洞事故記錄晚上8點(diǎn)多，客服報(bào)告，開店售賣可能還是存在問(wèn)題。程序組測(cè)試組趕回公司處理，分析后認(rèn)為下午的修改，有極低概率可能導(dǎo)致道具復(fù)制，并且及時(shí)修改了這個(gè)問(wèn)題；晚上9點(diǎn)半，程序方面回報(bào)問(wèn)題已經(jīng)解決完畢，按問(wèn)題出現(xiàn)概率來(lái)看，帶來(lái)影響應(yīng)該不大。因此產(chǎn)品方面就沒(méi)有將此問(wèn)題升級(jí)到事故處理流程進(jìn)行分析處理；處理問(wèn)題最有價(jià)值的黃金時(shí)段就這樣過(guò)去了QQ幻想道具復(fù)制漏洞事故記錄次日上午，產(chǎn)品方面發(fā)現(xiàn)用戶反饋意見很多，問(wèn)題比較嚴(yán)重，于是要求程序組重新分析原因，要求運(yùn)維組統(tǒng)計(jì)道具復(fù)制問(wèn)題的程度。測(cè)試組重現(xiàn)BUG后發(fā)現(xiàn)還有更簡(jiǎn)單的重現(xiàn)辦法，復(fù)制門檻很低。運(yùn)維統(tǒng)計(jì)的初步結(jié)果也表現(xiàn)涉及復(fù)制玩家多達(dá)千名，于是召集事故處理會(huì)議進(jìn)行討論；事故處理會(huì)議決定先對(duì)嫌疑最大的963個(gè)賬號(hào)進(jìn)行查封處理，以防止復(fù)制道具進(jìn)一步流傳，同時(shí)開始進(jìn)行掃描分析；因?yàn)槭鹿拾l(fā)生已經(jīng)過(guò)去10多個(gè)小時(shí)，復(fù)制物品游戲內(nèi)流向已經(jīng)非常復(fù)雜，但是最近的數(shù)據(jù)備份時(shí)間卻是在凌晨四點(diǎn)，在事故發(fā)生之后，再近一次的備份時(shí)間是前天的凌晨四點(diǎn)。運(yùn)營(yíng)方面陷入兩難境地，無(wú)論是否回檔都面臨重大損失。QQ幻想道具復(fù)制漏洞事故記錄事故處理小組無(wú)法迅速做出回檔決定，于是一方面向BU層面報(bào)告，一方面決定采用保守方案，掃描全服務(wù)器數(shù)據(jù)，以查找并凍結(jié)復(fù)制裝備；到中午時(shí)間，數(shù)千個(gè)擁有復(fù)制裝備的賬號(hào)已經(jīng)被凍結(jié)，但是游戲內(nèi)仍然有大量復(fù)制道具仍然還在流通，整個(gè)游戲的物價(jià)受到劇烈影響，經(jīng)濟(jì)系統(tǒng)陷入混亂之中；為了穩(wěn)定玩家情緒，運(yùn)營(yíng)團(tuán)隊(duì)通過(guò)官網(wǎng)發(fā)布公告，道歉并宣稱不會(huì)回檔處理，官方有能力收回非法裝備，希望大家給與支持；到下午時(shí)間，掃描數(shù)據(jù)的工作已很難取得成效，大量無(wú)意購(gòu)買復(fù)制裝備被封號(hào)的玩家也開始激烈投訴。各渠道的一線客服壓力劇增，大量人力被調(diào)派來(lái)協(xié)助處理，數(shù)以千計(jì)的投訴單據(jù)給產(chǎn)品方面增加了巨大壓力；在這樣巨大的壓力下，運(yùn)營(yíng)組決定先停止服務(wù)器，然后再?zèng)Q定具體處理方案。11月13日幻想玩家在游戲內(nèi)各大城市聚集，示威游行，強(qiáng)烈要求官方回檔。QQ幻想道具復(fù)制漏洞事故記錄一邊是運(yùn)營(yíng)方已經(jīng)做出的不回檔保證、超越48小時(shí)的回檔帶來(lái)的損失、回檔全部57組服務(wù)大區(qū)數(shù)據(jù)的難度和風(fēng)險(xiǎn)、回檔后會(huì)產(chǎn)生的各種用戶的海量投訴；另一邊是玩家越來(lái)越激烈的抗議情緒、游戲內(nèi)混亂的經(jīng)濟(jì)系統(tǒng)、接近崩潰的物價(jià)和無(wú)數(shù)根本就無(wú)法處理的投訴；系統(tǒng)和部門領(lǐng)導(dǎo)都參加了第二輪的事故處理討論會(huì)議，會(huì)議到晚上1點(diǎn)鐘做出決定，最終決定不惜一切損失和風(fēng)險(xiǎn)進(jìn)行回檔；接著運(yùn)維組開始連夜準(zhǔn)備回檔方案，程序組開始制作各種工具，產(chǎn)品組開始準(zhǔn)備相關(guān)公告和補(bǔ)償方案；那天深夜，回檔的公告在經(jīng)過(guò)了無(wú)數(shù)人的反復(fù)的，斟字酌句的修改后，最后終于在向玩家承諾公布處理方案時(shí)限的最后半小時(shí)放到了官方網(wǎng)站上；早晨8點(diǎn)，回檔成功，服務(wù)器分批開始重新開放。QQ幻想產(chǎn)品QQ幻想道具復(fù)制漏洞事故記錄回檔公告告訴玩家：整個(gè)QQ幻想世界全部57組服務(wù)器將在此次停機(jī)維護(hù)結(jié)束之后恢復(fù)到11月12日凌晨4：00左右的狀態(tài)，所有玩家的游戲數(shù)據(jù)也將全部回檔到同一時(shí)間，所有玩家都需要回檔48小時(shí)；我們需要補(bǔ)償玩家大量的經(jīng)驗(yàn)值，道具，金幣，寵物，游戲點(diǎn)卡，玩家寄售卡等等；我們贈(zèng)送給玩家兩天免費(fèi)游戲，兩天雙倍經(jīng)驗(yàn)雙倍掉率等等；對(duì)于用戶的一切概率事件，我們均無(wú)法復(fù)原。之后數(shù)千單的各種投訴還困擾了項(xiàng)目組將近一個(gè)月的時(shí)間，此次事故流失的玩家難以估量，直接經(jīng)濟(jì)損失數(shù)百萬(wàn)計(jì)。在幻想游戲本來(lái)進(jìn)入衰退期之前，此次事故無(wú)疑是起到了加速產(chǎn)品老化的效果。在線損失收入損失南方都市報(bào)11月16日刊登題為“騰訊付費(fèi)游戲停擺玩家討伐如潮”的負(fù)面報(bào)道，其后被很多媒體競(jìng)相轉(zhuǎn)載。輿論危機(jī)工作影響事故善后歷經(jīng)2周，打亂原定的資料片開發(fā)計(jì)劃；程序、策劃、測(cè)試、運(yùn)維、客服，全體團(tuán)隊(duì)成員都超負(fù)荷運(yùn)轉(zhuǎn)；客服一線從其他各個(gè)產(chǎn)品抽調(diào)人力組織力量突擊消滅海量的投訴單據(jù)，一個(gè)多月后所有積單才基本被清理完畢；事后，此次事故被確定為一級(jí)重大運(yùn)營(yíng)事故，相關(guān)責(zé)任人都受到了處罰。QQ幻想產(chǎn)品事故總結(jié)對(duì)于道具復(fù)制類型問(wèn)題不夠敏感，游戲內(nèi)缺乏自動(dòng)監(jiān)測(cè)報(bào)警機(jī)制，導(dǎo)致事故之初沒(méi)有得到足夠重視；事故分析速度較慢，對(duì)于道具復(fù)制問(wèn)題需要進(jìn)行長(zhǎng)達(dá)數(shù)小時(shí)的全庫(kù)掃描才能得到結(jié)論，過(guò)慢的分析能力影響了對(duì)事故的定性和處理決策速度；游戲內(nèi)嚴(yán)重缺乏防止物品復(fù)制的機(jī)制，缺乏各種有效的安全開關(guān)，缺乏各種不同的運(yùn)行模式，使運(yùn)營(yíng)決策上處處為難；游戲數(shù)據(jù)的備份回退機(jī)制不夠靈活，無(wú)法實(shí)現(xiàn)根據(jù)賬單回滾，游戲數(shù)據(jù)備份周期過(guò)長(zhǎng)，回檔過(guò)程缺乏演練，很多必備工具缺乏；游戲測(cè)試機(jī)制不夠完善，緊急發(fā)布流程存在很多隱患。事故總結(jié)需要在游戲產(chǎn)品設(shè)計(jì)之初就考慮到未來(lái)的可運(yùn)營(yíng)性可監(jiān)控性單純通過(guò)用戶反饋來(lái)發(fā)現(xiàn)問(wèn)題并不足夠迅速，還是要系統(tǒng)本身對(duì)于各種異?，F(xiàn)象有自動(dòng)監(jiān)控和報(bào)警的機(jī)制，比如關(guān)鍵道具的產(chǎn)生量，異常交易量等等可管理性在產(chǎn)品開發(fā)設(shè)計(jì)中需要加入設(shè)置可由產(chǎn)品運(yùn)營(yíng)人員進(jìn)行配置操作的開關(guān)量，如允許/禁止某類物品買賣的開關(guān)。在游戲中出現(xiàn)某些問(wèn)題時(shí)，可以直接由運(yùn)營(yíng)人員通過(guò)配置操作來(lái)解決，而不需通過(guò)修改程序來(lái)解決?？苫謴?fù)性在產(chǎn)品設(shè)計(jì)中就需要考慮靈活的備份機(jī)制，針對(duì)單用戶，用戶群的部分?jǐn)?shù)據(jù)回退機(jī)制，單系統(tǒng)的復(fù)原機(jī)制等等QQ幻想產(chǎn)品后續(xù)QQ幻想游戲在經(jīng)歷了這次波折之后，游戲衰退速度明顯加快，到次年3月份在線人氣已經(jīng)跌破10萬(wàn)，游戲產(chǎn)品生命周期臨近。這之后，QQ幻想還經(jīng)歷了一次727寵物捕捉系統(tǒng)事故，幻想產(chǎn)品正式進(jìn)入快速衰退期；項(xiàng)目組從07年初開始探索免費(fèi)網(wǎng)游運(yùn)營(yíng)模式，制定了幻想“突圍”研發(fā)計(jì)劃，利用幻想已有資源在3個(gè)月內(nèi)制作出一款采用免費(fèi)運(yùn)營(yíng)模式的《QQ自由幻想》產(chǎn)品迅速推出；《QQ自由幻想》取得了不錯(cuò)的運(yùn)營(yíng)成績(jī)，將流失的幻想用戶挽留了回來(lái)，到08年，QQ自由幻想重回10萬(wàn)在線，并創(chuàng)造收入新高。4月3日，QQ自由幻想承載了團(tuán)隊(duì)的希望，將正式上市公測(cè)，以期重續(xù)QQ幻想的昔日輝煌。QQ幻想產(chǎn)品MMOG產(chǎn)品有其獨(dú)特的復(fù)雜性，在各種復(fù)雜因素的作用下，有其無(wú)法避免的風(fēng)險(xiǎn)，一點(diǎn)點(diǎn)人為因素就有可能立即造成重大損失，所以只能讓每位運(yùn)營(yíng)人員都要學(xué)會(huì)如履薄冰，隨時(shí)提高警惕；我們?cè)诩夹g(shù)上也不斷的加強(qiáng)防范，現(xiàn)在的游戲安全機(jī)制已經(jīng)比一年前要更加完善，各種安全開關(guān)，自動(dòng)監(jiān)測(cè)機(jī)制，防復(fù)制設(shè)置，更快的客服反饋制度，玩家的預(yù)警組織等等能幫助我們更早更快的發(fā)現(xiàn)問(wèn)題，分析問(wèn)題，更及時(shí)正確的作出處理決定。但是，只要網(wǎng)游運(yùn)營(yíng)一天，事故風(fēng)險(xiǎn)就會(huì)如影隨行，總會(huì)有各種BUG逃過(guò)我們的重重?cái)r截，隨時(shí)等待爆發(fā)?；仡櫸覀兊慕?jīng)驗(yàn)在管理層面上合理的運(yùn)營(yíng)組織架構(gòu)，確保產(chǎn)品責(zé)任/項(xiàng)目責(zé)任/設(shè)計(jì)責(zé)任/資源責(zé)任/日常工作責(zé)任等等都明確到人，工作流程清晰條理，關(guān)鍵環(huán)節(jié)多人審批，多人監(jiān)督；建立完善的事故預(yù)警/升級(jí)/處理機(jī)制，事先準(zhǔn)備各級(jí)事故處理預(yù)案，指定各級(jí)事故召集人，建立事故召集處理會(huì)議制度；加強(qiáng)用戶管理，增加玩家層面預(yù)警能力，建立多種用戶組織，加強(qiáng)輿論控制和引導(dǎo)能力，加強(qiáng)危機(jī)公關(guān)應(yīng)對(duì)能力；重視測(cè)試環(huán)節(jié)，保證充分的測(cè)試時(shí)間和規(guī)范的測(cè)試過(guò)程，測(cè)試用例需要各方面共同制定，高風(fēng)險(xiǎn)項(xiàng)目一定經(jīng)過(guò)充分的外部測(cè)試?；仡櫸覀兊慕?jīng)驗(yàn)在技術(shù)層面上在產(chǎn)品設(shè)計(jì)之初就應(yīng)該考慮產(chǎn)品的“可運(yùn)營(yíng)性”，預(yù)知未來(lái)可能的運(yùn)營(yíng)需求和風(fēng)險(xiǎn)，在架構(gòu)設(shè)計(jì)上留有足夠考慮；完善靈活的備份機(jī)制，各種記錄完善細(xì)致，各種統(tǒng)計(jì)和還原類工具齊備；對(duì)于重大風(fēng)險(xiǎn)事故需要定期演練，各種處理手段機(jī)制制定詳細(xì)的技術(shù)預(yù)案，做到有備無(wú)患。在策劃層面上在任何產(chǎn)品設(shè)計(jì)和活動(dòng)設(shè)計(jì)的評(píng)審環(huán)節(jié)加入運(yùn)營(yíng)風(fēng)險(xiǎn)評(píng)估部分，重視安全性設(shè)計(jì)，共同回避可能發(fā)生的問(wèn)題。自由幻想“絳紫寶箱”事故1月10日早上8點(diǎn)，《QQ自由幻想》停機(jī)更新版本；10點(diǎn)多開機(jī)后，玩家研究院玩家首先報(bào)告，發(fā)現(xiàn)連續(xù)開啟付費(fèi)道具“絳紫寶箱”會(huì)產(chǎn)生復(fù)制道具。用戶管理客服初步驗(yàn)證后迅速通知了產(chǎn)品負(fù)責(zé)人；產(chǎn)品方面評(píng)估后認(rèn)為應(yīng)按重大事故處理，通知運(yùn)維組立即關(guān)閉所有服務(wù)器，同時(shí)召集研發(fā)，測(cè)試，客服等方面參加的事故分析處理會(huì)議，組成事故處理小組；10點(diǎn)30分左右，所有自由幻想服務(wù)器關(guān)閉，運(yùn)維組按照預(yù)案開始使用工具掃描全區(qū)產(chǎn)生的復(fù)制道具，并統(tǒng)計(jì)影響用戶總量，產(chǎn)品組發(fā)布緊急停機(jī)公告，客服組通知一線相應(yīng)口徑話術(shù)，同時(shí)通知所有玩家組織，準(zhǔn)備輿論引導(dǎo)方案；11點(diǎn)，程序方面BUG原因查明，運(yùn)維第一次掃描結(jié)束，復(fù)制道具用戶被定位，根據(jù)實(shí)際情況，事故處理會(huì)議決定采用不回檔，采用刪除復(fù)制道具的方案來(lái)進(jìn)行處理；12點(diǎn)，程序BUG修復(fù)完畢，啟動(dòng)緊急發(fā)布流程，測(cè)試組開始進(jìn)行發(fā)布前測(cè)試1點(diǎn)，運(yùn)維全服掃描完畢，所有復(fù)制道具及相關(guān)賬號(hào)被定位；2點(diǎn)，事故處理會(huì)議確定最終處理方案，開始刪除復(fù)制道具，還原對(duì)等交易；3點(diǎn)，新的腳本測(cè)試完畢并完成更新發(fā)布；4點(diǎn)，所有用戶數(shù)據(jù)處理完畢，產(chǎn)品發(fā)布開服公告；4點(diǎn)半，所有服務(wù)器恢復(fù)運(yùn)營(yíng)，產(chǎn)品組開始協(xié)助處理后續(xù)疑難投訴，外部玩家輿論持續(xù)監(jiān)測(cè)。自由幻想“絳紫寶箱”事故充分信息監(jiān)測(cè)收集，事故分級(jí)，指定召集協(xié)調(diào)人和事故處理會(huì)議的機(jī)制保證了我們能在最短時(shí)間和獲知問(wèn)題，并有效分析，快速應(yīng)對(duì)各種意外事故，隨著經(jīng)驗(yàn)累積，事故的處理速度和方法也能得以不斷改善客服用戶運(yùn)營(yíng)測(cè)試研發(fā)運(yùn)維運(yùn)營(yíng)事故處理會(huì)議停機(jī)/掃描通報(bào)分析/測(cè)試分析/解決召集解決方案事故召集人信息源QQMiniGame平臺(tái)QQMiniGame平臺(tái)（QQ游戲平臺(tái)）是互娛最大的休閑游戲平臺(tái)，最高在線已經(jīng)接近450萬(wàn)，注冊(cè)用戶3億，日活躍用戶數(shù)近2300萬(wàn)，包含60多款休閑游戲；QQ游戲平臺(tái)是以休閑游戲?yàn)橹鳎瑹o(wú)用戶交易系統(tǒng)，道具物品不流通，因此運(yùn)營(yíng)事故的發(fā)生風(fēng)險(xiǎn)與大型MMOG相比大大降低；QQ游戲平臺(tái)的運(yùn)營(yíng)事故主要與提供海量用戶服務(wù)產(chǎn)生的壓力相關(guān)。Dir雪崩事件記錄：1月14日中午13：40分，接到dircoredump告警。登陸發(fā)現(xiàn)大部分dirserver已經(jīng)coredump。簡(jiǎn)單查看了下發(fā)現(xiàn)問(wèn)題很難定位。同時(shí)從運(yùn)營(yíng)同事側(cè)了解到中午12點(diǎn)左右增加了目錄樹的節(jié)點(diǎn)，于是讓運(yùn)營(yíng)同事回退配置文件，然后拉起所有core掉的dir服務(wù)器。

大約在2：30左右所有服務(wù)器被拉起，由于大量用戶不斷登陸，使得網(wǎng)卡流量到達(dá)極限。查看dir日志發(fā)現(xiàn)工作是正常的。但是用戶就是無(wú)法登陸。

3：00查看dir的負(fù)載正常，每分鐘處理7萬(wàn)個(gè)以上登陸請(qǐng)求。再查看前端tcpsvrd接入進(jìn)程的日志，發(fā)現(xiàn)下行數(shù)據(jù)使用的共享內(nèi)存隊(duì)列已滿，而下行數(shù)據(jù)在最高的時(shí)候單臺(tái)機(jī)器每分鐘有2G左右。同時(shí)也