運營事故淺析-林祥

運營事故淺析

林祥2011-5-24什么是運營事故？所有對產品產生負面影響的問題都是運營事故。運營事故的危害？用戶流失，活躍、在線、充值等日常數(shù)據(jù)大幅下降。產品口碑、公司形象被摧毀，形成輿論危機，失去玩家信任，甚至產生對立抵觸情緒。團隊超負荷運轉，原訂后繼規(guī)劃全部被打亂。1、運營事故的產生2、運營事故的發(fā)現(xiàn)3、運營事故的處理4、運營事故的防范事故的產生—達摩克利斯之劍活動開服合服版本升級天災人禍

只要游戲運營一天，事故風險就會一直存在，如同一只懸在我們頭上的達摩克利斯之劍。隨時保持危機意識，謹慎對待運營中每個環(huán)節(jié)的工作，是安全運營的前提。運營運營公告活動執(zhí)行獎勵發(fā)放開服配置……研發(fā)版本升級開服關服功能開發(fā)道具制作……運維網絡故障機房故障黑客攻擊……其他還有么？有：用戶導流、媒體激活碼、DB營銷……千頭萬緒、防不勝防，究竟該怎么辦？事故的發(fā)現(xiàn)—數(shù)據(jù)觀察警惕：游戲內任何的異?，F(xiàn)象都可能是一次運營事故的前兆。數(shù)據(jù)異常活躍、消耗等基礎數(shù)據(jù)異常玩家/英雄等級異常高階道具大量產生交易次數(shù)大幅增加事故的發(fā)現(xiàn)—傳播渠道QQ群聊天室論壇事故的發(fā)現(xiàn)—客服反饋CS客服電話運維監(jiān)控事故的處理—關聯(lián)協(xié)作運營測試研發(fā)運維客服事故分析處理護維機停輿論控制信息通報測試處理方案事故的處理止損事故出現(xiàn)后，每耽誤一分鐘就增加一分鐘的損失，增加事故處理的復雜度。所以發(fā)生事故時，首先需要做的就是杜絕問題的繼續(xù)。事故非常嚴重，且不立即處理會產生更大的破壞時，才能停服以避免問題的擴大，這需要運營有良好的判斷力和決斷力。安撫杜絕問題的同時，必須立即給玩家一個說法，千萬不要讓玩家在無休止的猜測中去惡意揣測官方。這時可以不用告知處理方案和補償方案等等。事故的處理修正充分收集信息，召集相關負責人根據(jù)事故的表現(xiàn)協(xié)調各關聯(lián)部門進行問題分析，找出事故原因，完成修正。評估范圍：影響了多少人？他們是免費還是付費玩家？內容：玩家損失or獲取了什么？危害程度？回檔：是否可回檔至問題出現(xiàn)之前玩家狀態(tài)？能否針對受影響玩家單獨處理？事故的處理處理絕不損害玩家正常的既得利益法不責眾在游戲運營中也適用全服回檔永遠是最后一招補償補償只是馬后炮，不要對此希望過高不要扣扣索索，給就給的大方，但只給消耗，不給時長和永久通過多渠道了解玩家對補償?shù)钠谕?，對確定補償方案很有幫助事故的處理輿論控制玩家都是盲從的，所以我們處理的第一目標就是那些“刺頭”，單獨溝通，避免形成群體性事件。論壇及時跟進回復，對言辭激烈、煽動性強的帖子，警告、鎖貼、沉底一條龍，不要給玩家討論和煽動的土壤，控制事故影響的范圍。但注意的是，需要留給玩家一個發(fā)泄的渠道，防止事故向外擴展。通過一些對官方有好感的玩家站出去幫我們說話，引導言論向有利于官方轉移。電話是最有效的溝通方式，尤其是對大戶的安撫，單對單的交流更容易形成一種坦誠、輕松的氣氛?？头男值芙忝脗兪翘幚磉@類問題的專家，多溝通。事故的防范—數(shù)據(jù)監(jiān)控完整的日志記錄長期的數(shù)據(jù)跟蹤記錄定期的數(shù)據(jù)對比數(shù)據(jù)波動敏感性事故的防范—活動流程規(guī)范嚴格執(zhí)行活動上線Readiness配置自動化要比手動好，配置表更可靠測試全面的測試用例,內外網雙重測試所有測試相關的結果必須通過郵件等方式進行確認，口頭溝通不能作為最終確認依據(jù)。公告描述清晰、舉例到位發(fā)布前組內要審核事故的防范—開服流程Sn_《服務器名》開服checklist.xls開服各流程相關負責人和審核人簽字Sn_《服務器名》相關公告專題地址.xls開服公告、新服活動專題、版本說明、平臺廣告位地址、新手指導員招募、公會入駐等鏈接地址Sn_《服務器名》付費項目測試.xls所有付費功能、付費道具的購買、調整內容的使用測試Sn_《服務器名》開服活動readiness.doc新服活動備案Sn_《服務器名》服務器配置審核.xlsGDSS配置、GMT和CS、導流后臺相關確認（截圖）Sn_《服務器名》開服活動測試備案文檔.xls

開服活動內容測試事故的防范—緊急發(fā)布流程制作確定開發(fā)內容，提交程序制作測試提供開發(fā)文檔，編寫測試用例，內網完成測試上傳至外網測試服務器，進行復測上線外網功能發(fā)布，跟進后繼反饋事故的防范—流程事故的防范—改進數(shù)據(jù)報警對當前游戲內玩家發(fā)展水平進行監(jiān)控，對超出設定之外的數(shù)據(jù)進行報警。事故召集建立各級事故處理預案和事故召集協(xié)調制度后臺開關單系統(tǒng)后臺控制功能，自由開關游戲內某個單項系統(tǒng)。備份回檔靈活的備份機制交易、摧毀等還原機制運營事故案例DNB合服事故—事故記錄事故時間：2009年8月28日首次事故：裝備屬性丟失：

10點開服后，開發(fā)的合服相關代碼，在附魔裝備的處理上有問題，導致合服后用戶裝備的附魔屬性丟失。在11點的時候，經過一定時間的搜集數(shù)據(jù)和嘗試處理，最終發(fā)現(xiàn)無法修正這個錯誤，所以對服務器進行了回檔操作，并于11點半重新開啟服務器。

再次事故：裝備數(shù)據(jù)錯誤導致的角色復制：

由于運營活動添加的新裝備類型未更新到合服服務器上，導致玩家角色無法正確讀取出裝備信息。當用戶擁有活動發(fā)放的那幾個裝備時，導入角色操作在導入道具數(shù)據(jù)時會異常退出，而角色表中的角色數(shù)據(jù)沒有被刪除，從而出現(xiàn)了玩家角色復制的情況，只能再次回檔，于18點再次開啟服務器。事故影響：

合服服務器H6和H7延后6小時才正式開放，對玩家的耐心和信心都有很大打擊。

涉及數(shù)據(jù)錯誤的玩家角色合計100多個，且全部為付費玩家，這些玩家在之后的一周內流失了30%。合服后的收入比合服前收入還要低，完全失去了合服的效果。DNB合服事故—事故總結避免慣性思維

由于之前合服一直非常順利，沒有出現(xiàn)過任何數(shù)據(jù)方面的問題，因此本次合服的驗收工作做的也不到位，只進行了很常規(guī)的驗收工作，對近期更新的內容并沒有很好的警惕性。

“猶太人的生意經上，明確地寫著一條：永遠都是第一次交易”關聯(lián)問題的排查

在第一次因為裝備出問題后，并沒有對裝備相關的所有程序進行排查，最終裝備上還是出現(xiàn)了第二次問題。

寒酸的補償

一錯再錯已經讓玩家非常不滿，而之后我們公布的補償方案過于寒酸，更是招致玩家強烈反彈。DNB重陽節(jié)活動—事故記錄事故時間—2009年10月28日DNB處于不斷的衰退期，收入銳減，面臨KPI的壓力，運營向研發(fā)申請制作了英雄轉生卡和屬性重置卡，形成新的付費點，來拉升游戲后期的收益。

英雄轉生卡設計過程中忽視了轉生后英雄屬性會變垃圾的問題，且英雄轉生前后沒有日志記錄，這成為后繼事故另一個爆發(fā)點。出于盈利最大化的考慮，運營決定在重陽節(jié)通過寶箱進行新付費點的首次投放（而此時上一個寶箱活動才剛剛結束1天），并在最后臨上線前拍腦袋決定通過登陸送給免費玩家也送幾個寶箱，很顯然，這個測試并不充分，只關注了活動獎勵發(fā)放是否正確，卻沒有看到登陸送之間的銜接問題。運營活動開始后，在新付費點的強烈刺激下，收益呈現(xiàn)爆發(fā)式增長，沉浸在喜悅中的運營組萬萬沒有想到，問題即將出現(xiàn)。10月29日凌晨1點，杯具發(fā)生了。登陸送任務出現(xiàn)嚴重漏洞，玩家可以無限領取任務獎勵，原因正是臨時新增的綁定寶箱導致，于是贈送的寶箱泛濫成災。

凌晨3點多，運營得到玩家反饋，立即通知技術，但很遺憾，手機關機了。

于是，事故處理的最佳時間段就這么過去了，隨著時間的流逝，事故升級了。DNB重陽節(jié)活動—事故記錄10月29日9點

運營開始協(xié)調各關聯(lián)部門進行緊急應對。因為事故已經發(fā)生近10個小時，玩家獲益已經被大量消耗和轉移，根本無法進行跟蹤，而事故之前的最后一次備份則是在28日凌晨4點，距離現(xiàn)在已經有30個小時。

此時無論回不回檔，都很難處理，對此非常糾結。10月29日9點30分

經過和項目組和關聯(lián)部門的討論，考慮到轉生卡等高端道具的大量產生對整個游戲破壞性的影響，游戲體驗會被迅速透支，付費用戶的消費會極大的貶值，最終決定進行回檔處理，并立即進行停服。10月29日16點回檔工作處理完畢，數(shù)據(jù)一切正常，服務器再次對外開啟。

然而，這僅僅是事故處理的第一步，更棘手的問題隨后出現(xiàn)：回檔期間，用戶的概率獲益如何處理？活動購買寶箱后開到極品道具、使用轉生卡后獲取極品英雄屬性、副本掉落極品裝備等等。

由于受影響的均為游戲內的大戶，運營無法承擔這些用戶流失的風險，于是只能吃下這枚苦果——對回檔期間寶箱開啟的極品道具給予補償DNB重陽節(jié)活動—事故影響高負荷的工作量

項目組成員承受了巨大的壓力，超負荷的處理了一周才基本完成玩家補償審核、發(fā)放工作。付費需求被嚴重削弱

付費玩家通過補償獲取了大量的極品道具，付費需求大幅削弱。

而轉生卡的導致的英雄屬性變垃圾更是讓事情火上澆油，由于沒有轉生前后的日志記錄，根本無法對轉生英雄進行重置，運營不得不再次做出讓步——贈送屬性重置卡。經過這一系列的折騰，新增的2個付費點名存實亡，還沒來得及盈利就已經被廢掉了。游戲口碑蕩然無存盡管運營對玩家做出了重大的讓步，給予了足夠多的補償，并對所有的付費用戶進行單獨電話回訪，但玩家還是不買賬，不滿情緒、不信任感導致了玩家在游戲內的停止消費，再加上付費需求的不足，11月DNB的收入相比10月下降了64.19%。DNB重陽節(jié)活動—事故影響再多的補償也安慰不了玩家那顆受傷的心。DNB重陽節(jié)活動—事故影響11月DNB的收入高臺跳水，之后再也沒有恢復。DNB重陽節(jié)活動—事故總結處理不及時

事故處理最有價值的黃金時段往往就在問題出現(xiàn)后的3小時以內。

這次事故雖然發(fā)現(xiàn)及時，但因為缺乏事故處理預案，最后只能手足無措的看著事故擴散，寶貴的時間被白白的浪費了。

說一千道一萬，流程最重要

沒有按流程嚴格執(zhí)行活動上線流程，是出現(xiàn)問題最主要的原因，運營對此責無旁貸。急功近利的運營思路，讓活動的制作和測試都無法得到保證那時所有的活動都是技術手動去配置，本身就存在很大的事故隱患，再