浪潮NF5568M4支撐七牛高并發(fā)鑒黃服務(wù)

1、 浪潮NF5568M4支撐七牛高并發(fā)鑒黃服務(wù) 浪潮NF5568M4支撐七牛高并發(fā)鑒黃服務(wù)客戶信息七牛云網(wǎng)站：組織規(guī)模：行業(yè)：摘要網(wǎng)絡(luò)直播的火熱也伴隨著隱憂，非法視頻層出不窮讓人力鑒黃無法滿足直播平臺的需求，基于人工智能的機器鑒黃逐漸成為最佳解決方案。浪潮為七牛提提供NF5568M4 GPU服務(wù)器，以超高并行計算能力，保證直播平臺視頻實時、精準(zhǔn)鑒定。項目背景2015年，網(wǎng)絡(luò)直播突然間變得炙手可熱，不僅催生出各類網(wǎng)紅，更是形成了完整的直播經(jīng)濟。截至2016年6月，網(wǎng)絡(luò)直播用戶規(guī)模就已經(jīng)達到3.25億，而當(dāng)時的網(wǎng)民的總體數(shù)量為7.1億，也就是說45.8%的網(wǎng)民都在使用直播服務(wù)。據(jù)預(yù)測，直播行業(yè)市場規(guī)

2、模將從2016年的150億元增至2020年的600億元，年復(fù)合增長率為41%，其中移動直播CAGR將高達84%！火爆的直播業(yè)務(wù)催生出“機器鑒黃師”但是伴隨著直播的超高速發(fā)展，直播業(yè)務(wù)也出現(xiàn)了一些隱憂。2016年6月，9家網(wǎng)絡(luò)直播平臺的40名主播遭到封禁，而封禁的原因是：涉黃。而這只是冰山一角，更多的主播涉黃案例層出不窮。因此國家網(wǎng)信辦發(fā)布互聯(lián)網(wǎng)直播服務(wù)管理規(guī)定，其中明確了四個關(guān)鍵詞：雙資質(zhì)、總編輯、先審后發(fā)、即時阻斷，也就是說平臺需要牌照，主播需要實名，并設(shè)置總編輯來進行總體負責(zé)。規(guī)定中更重要是先審后發(fā)和即時阻斷兩項措施，這要求所有的直播平臺對主播的視頻內(nèi)容進行提前審核，并且在直播過程中出現(xiàn)違

3、禁行為時立即進行阻斷。這兩劑強心針對直播環(huán)境的優(yōu)化起著立竿見影的效果，但是，這卻讓直播服務(wù)商們有些頭疼，如何審核平臺數(shù)以萬計、數(shù)十萬計的主播視頻？如何鑒定性感、色情還是正常的畫面？如何在發(fā)現(xiàn)色情畫面時候進行快速的阻斷？傳統(tǒng)的解決方案是通過人力（鑒黃師）完成，所需要的人數(shù)會與主播成一個比例。通常都是幾百人坐在屏幕前面持續(xù)對閃過的畫面進行篩選，如果發(fā)現(xiàn)不符合規(guī)定就進行人工處理。一般來說每名鑒黃師平均每天審核處理的圖片數(shù)只能在3萬張左右，遠遠不能滿足數(shù)百萬的直播間的實時鑒定。既然機器的圖片識別應(yīng)用已經(jīng)日益成熟，那么是不是也能夠?qū)⑦@一技術(shù)應(yīng)用到鑒黃，讓機器都變身成為24小時不間斷工作的“鑒黃師”？方案

4、概述詳細解決方案浪潮NF5568M4成為七牛的全職“鑒黃師”其實這種機器鑒黃早已應(yīng)用，比如國內(nèi)以技術(shù)聞名的云計算公司七牛在之前就推出了視頻鑒黃的服務(wù)，為各直播平臺提供服務(wù)。作為整體服務(wù)提供商，七牛面臨的就不只是單一一個直播平臺的用戶，而是多個平臺的直播間總和，鑒別總量和并發(fā)數(shù)量都有著成倍提升。那么七牛是如何高效地處理海量的鑒黃任務(wù)？答案是浪潮為七牛派駐的“鑒黃師”。浪潮向七牛派駐的“鑒黃師”是名為NF5568M4的GPU服務(wù)器。在鑒黃實戰(zhàn)之前，首先要教會服務(wù)器什么樣的圖片是色情圖片，這個任務(wù)需要成億級的圖片去“訓(xùn)練”它，過去用CPU看一張圖大概需要0.8秒，那10萬張圖片看一遍需要一天的時間，

5、1億張圖得看1000天。況且機器不是看一遍就可以學(xué)會的，需要不斷的訓(xùn)練，假設(shè)看100遍，那么過億的圖片量，算起來得看上10萬天才能學(xué)會，也就是需要273年。更經(jīng)典的一個例子，google用1000臺服務(wù)器、16000顆CPU、1000萬張圖片素材、用時3天，讓服務(wù)器認識了貓，這是何等龐大的工程，如果每家直播服務(wù)商都需要投入如此龐大的IT設(shè)施，那么估計視頻直播不可能如此火爆。而現(xiàn)在的算法和硬件的提升使得機器計算的速度有了幾何數(shù)量級的提升，利用GPU服務(wù)器去做非常復(fù)雜模型的處理和訓(xùn)練，往往只需要幾天，甚至幾個小時的時間就能完成。因此浪潮NF5568M4 GPU服務(wù)器才能夠快速、順利地“上崗”。浪潮

6、NF5568M4采用Intel最新Haswell處理器與GPU加速計算技術(shù)的協(xié)同，CPU主要承擔(dān)其更擅長的邏輯選擇、判斷跳轉(zhuǎn)和IO通信方面的職責(zé)，而GPU則專職計算密集型、高度并行的計算工作，使得計算資源合理的分配，計算力被充分釋放，計算性能達到從幾倍到幾十倍的增長。NF5568M4在4U空間內(nèi)配備雙路E5-2600v4 CPU和4塊GPU卡，單機最高單精度浮點計算能力可達每秒40萬億次，承載海量的并發(fā)鑒黃任務(wù)。在鑒黃任務(wù)模型訓(xùn)練完成后（也就是說服務(wù)器已經(jīng)知道什么樣的圖片是色情圖片），還需要對直播任務(wù)的實時監(jiān)控畫面進行高速的鑒別，也就是現(xiàn)場的推理任務(wù)。通常情況下，線上推理相比線下模型訓(xùn)練所需計算量較小，因此一般會采用更具性價比的協(xié)處理計算設(shè)備來承載，比如采用高性能的FPGA卡或者中低端的GPU服務(wù)器。此次，浪潮為七牛線上推理任務(wù)中，推薦采用了浪潮搭配Nvidia M40 GPU卡的NF5568M4，單精度浮點計算也將超過7TFlops，能夠?qū)崟r地進行推理識別涉黃圖片和視頻?？蛻羰找鎸崪y顯示，對130萬張圖片進行9層模型訓(xùn)練時，4顆E5-2699V3處理器的2臺服務(wù)器需3天（72小時）方完成訓(xùn)練，使用浪潮NF5568M4只需不到9.5個小時就可以完成全部工作，效率至少提升7.5倍。目前，浪潮人工智能相關(guān)解決方案在國內(nèi)主流AI領(lǐng)域的占有率超過