2023年手把手帶你設(shè)計產(chǎn)品后臺（3）-審核篇

手把手帶你設(shè)計產(chǎn)品后臺（3）——審核篇class="aligncentersize-fullwp-image-5731559"src="/wp-files/2023/01/OnP23lHVH9XrCbPmU7aJ.png"alt=""width="900"height="420"/>

審核是中后臺系統(tǒng)特別重要的職能之一，尤其是對于內(nèi)容領(lǐng)域和金融領(lǐng)域。

后臺審核的核心目標(biāo)是風(fēng)險掌握，發(fā)覺可能對或已經(jīng)對公司業(yè)務(wù)產(chǎn)生不良影響的合作、內(nèi)容、輿情等不利影響，將其扼殺在萌芽之中或者避開惡劣影響進一步擴大。

筆者曾經(jīng)做教育后臺時，主導(dǎo)過作業(yè)批改和審核從0到1到系統(tǒng)設(shè)計，有過一些審核的閱歷。最近由于新冠疫情，也對免疫系統(tǒng)和病毒產(chǎn)生了愛好，并進行了一些學(xué)習(xí)和討論。

在此過程中發(fā)覺，免疫系統(tǒng)和病原體的抗?fàn)幒蛥f(xié)同進化過程，其實同審核系統(tǒng)和風(fēng)險的關(guān)系是很類似的，其底層規(guī)律更是一樣一樣的。當(dāng)然，也可以推而廣之到殺毒軟件和病毒的關(guān)系。

筆者雖然在審核系統(tǒng)的設(shè)計方面只有粗淺的閱歷，但是實在技癢，在此拋磚引玉，將免疫系統(tǒng)對審核系統(tǒng)設(shè)計的啟示寫出來。

一、免疫系統(tǒng)的啟示

我們贊美人工設(shè)計時，經(jīng)常會說“巧奪天工”。而隨著人類科技實力的不斷進步，我們也會產(chǎn)生一些錯覺：自然?的是質(zhì)樸的、粗陋的，人工的是完善的、精致的。

然而我們?nèi)ザ嗔私庖恍┳匀恢械默F(xiàn)象，那么就會逐步體驗到事實恰好與直覺相反。生物尤其是人類的免息系統(tǒng)在漫長的進化中，已經(jīng)形成了系統(tǒng)性、多層次、高效的機制，非常精妙。

其特點總結(jié)如下，也是在設(shè)計審核系統(tǒng)中特別值得借鑒的原則。

普適性和特異性：免疫系統(tǒng)分為先天免疫系統(tǒng)和適應(yīng)性免疫系統(tǒng)。先天免疫系統(tǒng)快速響應(yīng)病原體的入侵，能夠應(yīng)對大部分的感染。對于小部分的嚴(yán)峻感染，再啟用更加強大的適應(yīng)性免疫系統(tǒng)。兼顧效率和成本：在上述兩個免疫系統(tǒng)結(jié)合之下，實現(xiàn)了效率與成本的平衡。由于適應(yīng)性免疫系統(tǒng)雖然效果強大，但是調(diào)用消耗的成本特別高。而先天免疫系統(tǒng)足以應(yīng)對絕大部分狀況。有效的級聯(lián)反應(yīng)：無論是兩個免疫系統(tǒng)內(nèi)部還是兩個系統(tǒng)之間的協(xié)作，都有特別精密的相互觸發(fā)機制，比如廣泛地收集信息、抗原傳遞、多次認(rèn)證等。由于免疫系統(tǒng)生效不止會毀滅病原體，也會對正常的細胞造成損害，就是所謂的假陽性。因此審核策略的制定既需要謹(jǐn)慎，又需要在發(fā)生嚴(yán)峻狀況時能堅決觸發(fā)更有效的應(yīng)對機制。整體性的應(yīng)對：兩個免疫并不是孤立的，而是可以相互協(xié)同、相互增加或掌握的。這樣可以高效而敏捷地應(yīng)對病原體感染，依據(jù)實際狀況加強或適時停止免疫反應(yīng)，避開鋪張資源或造成更多假陽性。二次感染快速響應(yīng)：感染一次之后，免疫系統(tǒng)會形成各種記憶細胞，有持續(xù)生效的，也有臨時休眠的。當(dāng)相近的病原體再次感染的時候，就能快速地、低成本地調(diào)用適應(yīng)性免疫，高效毀滅危急的病原體。雖然筆者嘗試盡量總結(jié)的面面俱到，但是免疫系統(tǒng)幾十億年伴隨生命和病原體演化而形成的精妙體系，絕非三言兩語就能描述清晰。

感愛好的讀者不妨閱讀《免疫系統(tǒng)與病毒的戰(zhàn)斗》，信任會對產(chǎn)品的審核系統(tǒng)設(shè)計有更多啟發(fā)。

那么如何設(shè)計一個完善的審核系統(tǒng)呢？

二、業(yè)務(wù)分析

筆者一貫強調(diào)，做產(chǎn)品設(shè)計肯定要先深化了解、分析業(yè)務(wù)，然后抽象出其背后的信息流，再進行系統(tǒng)界面設(shè)計。

業(yè)務(wù)的分析方面有許多成熟的方法論，建議整體框架使用用戶體驗五要素（參考《產(chǎn)品“無”之道（一）——戰(zhàn)略篇》）。

對于審核系統(tǒng)來說，最起碼搞清晰幾個問題：

整體商業(yè)的模式是什么？面對用戶的產(chǎn)品是什么？有什么功能？用戶群體是誰？有什么特征？用戶在什么場景下使用產(chǎn)品？造成業(yè)務(wù)風(fēng)險的因素有哪些？需要審核的內(nèi)容是什么？要達成什么樣的審核目標(biāo)？比如說，我們要做一個內(nèi)容社區(qū)的審核系統(tǒng)。

商業(yè)模式可能是會員付費、廣告收入、流量銷售、帶貨抽成等。產(chǎn)品是移動APP為主，包括內(nèi)容生產(chǎn)者和內(nèi)容閱讀者相關(guān)的功能。用戶群體可以參考業(yè)務(wù)部門的用戶畫像和用戶數(shù)據(jù)。用戶主要在休閑消遣或是遇到問題等場景使用產(chǎn)品。風(fēng)險可能包括政治、法律等底線風(fēng)險，黃恐暴等不良習(xí)性，用戶隱私、用戶引導(dǎo)等輿論風(fēng)險，低質(zhì)量內(nèi)容等其他風(fēng)險。需要審核的內(nèi)容可能包括文字、圖片、聲音、視頻等各種類型的PGC或UGC內(nèi)容。審核目標(biāo)可能是規(guī)避風(fēng)險，保證社區(qū)的良性生態(tài)，從而支持業(yè)務(wù)可持續(xù)進展和變現(xiàn)等。三、信息流分析

深化了解業(yè)務(wù)之后，就可以著手開頭對信息流的抽象、分析和可視化。應(yīng)用方法可以參考筆者之前的文章，《火眼金睛：一眼看破產(chǎn)品規(guī)律》。

我們以內(nèi)容審核相關(guān)的業(yè)務(wù)為例。

經(jīng)過簡潔的分析，我們就能夠比較全局地了解在整個商業(yè)模式下，內(nèi)容和風(fēng)險是怎樣流轉(zhuǎn)的，進而影響內(nèi)容分發(fā)和用戶。

內(nèi)容信息流：核心內(nèi)容在整個系統(tǒng)中的流轉(zhuǎn)，包括內(nèi)容生產(chǎn)，內(nèi)容提交后的機器人和人工審核，審核結(jié)果的復(fù)核，以及內(nèi)容審核通過后的分發(fā)。內(nèi)容分發(fā)之后，便可以被內(nèi)容受眾消費。業(yè)務(wù)監(jiān)控信息流：內(nèi)容上線之前，雖然已經(jīng)經(jīng)過審核，但是不行能全部的內(nèi)容都能被正確審核。而且有的內(nèi)容上線雖然通過了審核，但是也可能造成某些難以預(yù)知的問題。那么就需要對上線后的內(nèi)容持續(xù)監(jiān)控（同樣可以采納機器和人工的方法）。用戶反饋信息流：對上線后內(nèi)容的跟蹤，還有一個很好的方法就是借助用戶的力氣。對用戶針對內(nèi)容的評價，或者直接開拓舉報窗口，都能夠關(guān)心識別有風(fēng)險的內(nèi)容。風(fēng)險處理信息流：已上線的內(nèi)容消失風(fēng)險之后，需要妥當(dāng)處理風(fēng)險。在確認(rèn)之前可以做限流處理；對于嚴(yán)峻的風(fēng)險，可能要下架內(nèi)容并觸發(fā)發(fā)布者；對于質(zhì)量低等內(nèi)容，可以降低分發(fā)的流量。數(shù)據(jù)反饋：一個審核系統(tǒng)想要不斷提升效率、優(yōu)化審核效果，就需要不斷收集內(nèi)容、反饋等審核之后的效果，并且將審核有效或失效的數(shù)據(jù)再輸入審核系統(tǒng)，關(guān)心優(yōu)化機器審核的算法和人工審核的規(guī)章。四、系統(tǒng)架構(gòu)和業(yè)務(wù)流程圖

梳理清晰信息流之后，整個審核系統(tǒng)劃的系統(tǒng)架構(gòu)就清楚多了。

用戶端：包括為和消費受眾供應(yīng)相關(guān)功能，由相關(guān)的業(yè)務(wù)團隊打算，是審核平臺重要的需求來源和服務(wù)對象，需要與之保持親密合作。機器審核平臺：利用機器審核對提交的內(nèi)容進行自動審核。一般審核力量通過調(diào)用AI平臺對應(yīng)的接口力量實現(xiàn)，也需要把審核的結(jié)果反饋給AI平臺，關(guān)心其迭代審核算法。人工審核平臺：對于機器審核無法完成審核的內(nèi)容，可以通過人工審核。人工審核需要制定明確的審核規(guī)章，以讓審核人員在審核時有明確的審核依據(jù)。人工審核的審核結(jié)果同樣可以反饋給AI平臺用于迭代審核算法，也可以用于完善審核規(guī)章。分發(fā)平臺：內(nèi)容審核通過之后，過審的內(nèi)容通過分發(fā)平臺進行流量分發(fā)。當(dāng)然分發(fā)的策略可以依據(jù)用戶信息、AI算法進行優(yōu)化。而且也要隨時依據(jù)風(fēng)控反饋，準(zhǔn)時處理有風(fēng)險的內(nèi)容。AI平臺：為機器審核供應(yīng)AI力量，也可以幫助人工審核、以提升效率。一般可以外采或者自己研發(fā)。下一步就是依據(jù)每個平臺的詳細業(yè)務(wù)需求，結(jié)合人（用戶、后臺工作人員）繪制流程圖。還是建立使用泳道圖，將系統(tǒng)、人的重要流程梳理清晰。

泳道圖的繪制屬于產(chǎn)品經(jīng)理比較基礎(chǔ)的技能，在《火眼金睛：一眼看破產(chǎn)品規(guī)律》也有案例，在此不再詳細演示。

五、機器審核平臺

機器審核是個比較偏向技術(shù)的平臺，產(chǎn)品經(jīng)理的工作就是要為內(nèi)容平安供應(yīng)一個高效、精確?????的機器審核和風(fēng)控支持。

做好機器審核平臺，需要在幾個方面做出權(quán)衡。

風(fēng)險和體驗：審核策略越嚴(yán)格，上線內(nèi)容的風(fēng)險越小，但是越可能誤傷正常的內(nèi)容，且為人工審核帶來更多的工作量，影響用戶體驗。反之體驗有所提升，但是自身的風(fēng)險會提高。效率和成本：算法越精準(zhǔn)，識別效果越好，然而也意味著更大量的訓(xùn)練數(shù)據(jù)、更簡單的算法模型、更高的運算量；部署的硬件性能越好、數(shù)量越多，審核的速度越快，但是成本也越高。那么，筆者上文介紹的免疫系統(tǒng)的特點就有用武之地了。

比如受先天免疫系統(tǒng)和適應(yīng)性免疫系統(tǒng)的啟發(fā)，我們也可以將機器審核劃分成普適性審核和適應(yīng)性審核。事實上，大多審核系統(tǒng)也是這么做的，但是可以仿照免疫系統(tǒng)，做得更極致。

在提交內(nèi)容時，可以對普遍性的問題進行快速識別。比如敏感詞、錯別字等，讓可以立刻修正，以避開等待一段時間之后才發(fā)覺要修正。這樣就可以肯定程度提升用戶體驗。

對于全部的內(nèi)容，應(yīng)當(dāng)先讓一個簡潔、高效的模型完成普遍性問題的識別，可以引用人工配置的關(guān)鍵詞、策略等關(guān)心增加識別效果。比如可以將完全合規(guī)的內(nèi)容直接發(fā)布；對于機器識別置信度低、難以推斷的問題類型直接流轉(zhuǎn)人工審核系統(tǒng)；對于適合機器識別的問題進行歸類，再分發(fā)給不同的適應(yīng)性算法。甚至以上幾種目的也可以交給不同的算法識別分別實現(xiàn)。

適應(yīng)性算法則可以針對某一類問題進行深度的定制。比如依據(jù)國家劃分，可以充分考慮不同國家的法律法規(guī)和文化；特地針對政治敏感、色情、恐怖等不同類型問題的識別；特地對內(nèi)容質(zhì)量、重復(fù)性、版權(quán)問題識別的模型等。目前人工智能算法的特點還是通用性難做，但是針對特定的問題則可以達到更佳的效果。

再比如建立有效的級聯(lián)反應(yīng)機制，讓不同類型的問題都得以妥當(dāng)?shù)靥幹谩?/p>

合理配置審核策略，查找不同整合之間的相像性、關(guān)聯(lián)性，可以對相近的策略進行合并，有沖突的策略進行隔離，有關(guān)聯(lián)的策略設(shè)定前后觸發(fā)關(guān)系等。

針對不同類型的問題，還可以設(shè)定不同的閾值。比如對政治敏感、青少年色情、版權(quán)等底線性的問題，應(yīng)當(dāng)實行寧愿誤傷，也不放過的策略，然后再交由人工審核進一步推斷。對于重復(fù)、低質(zhì)量的內(nèi)容，則可以適當(dāng)放寬標(biāo)準(zhǔn)，先讓內(nèi)容發(fā)布，再依據(jù)后續(xù)用戶的行為、評價、舉報等進一步處理。

有條件時，針對同一類問題可以使用多個模型同時進行分析。這樣的好處，一個是可以進行交叉驗證，提升審核的精確?????度。也可以比較不同的算法模型效果，不斷淘汰舊的模型，應(yīng)用新的模型。

還有可以挖掘不同算法模型之間的協(xié)作關(guān)系。

由于現(xiàn)實世界，內(nèi)容許多的問題都是混雜在一起的，比如有的內(nèi)容可能既色情又暴力。

那么普適性審核模型也應(yīng)當(dāng)能夠提取一些關(guān)鍵特征，關(guān)心適應(yīng)性審核模型更精準(zhǔn)、高效地完成審核；適應(yīng)性審核模型也可以抽取出更多普適性的特征，反哺普適性審核模型，關(guān)心其優(yōu)化。

而不同的適應(yīng)性審核模型，也可以抽取出自己無法完全識別，但是可能與另一種問題相關(guān)的特征，并且供應(yīng)給相關(guān)的模型，關(guān)心其更精確?????地完成識別。

最終就是優(yōu)化機器審核的記憶性。

機器審核平臺應(yīng)當(dāng)供應(yīng)審核結(jié)果的數(shù)據(jù)平臺，包括每個算法模型的調(diào)用次數(shù)、識別效率、識別精確?????性（來自模型的交叉驗證、人工審核、用戶反饋等）等數(shù)據(jù)，用于衡量模型效果。

也應(yīng)當(dāng)允許查看內(nèi)容的識別結(jié)果，并盡可能標(biāo)注出問題的區(qū)域。同時也可以人為對結(jié)果進行訂正，以提升反饋數(shù)據(jù)的質(zhì)量。

對于已經(jīng)發(fā)生的問題，可以總結(jié)其規(guī)律性，比如是否跟國家地區(qū)、時間（季節(jié)、節(jié)日等）、偶然大事、賬號用戶行為等是否有關(guān)。對于持續(xù)性、易發(fā)性的問題，可以作為固定的檢測對象固定下來（配置關(guān)鍵詞、審核策略、甚至新增模型等）；對于規(guī)律性、偶發(fā)性的問題，可以設(shè)定有效的觸發(fā)策略，平?？梢圆蛔鳛閷徍藢ο蟆?/p>

借鑒疫苗的思維，可以建立模擬的沙盒，在新審核策略、新審核模型發(fā)布前，在沙盒中測試效果。還可以人工或機器生成大量的違規(guī)內(nèi)容，然后輸入沙盒用以優(yōu)化模型等。

由于筆者在審核方面的閱歷有限，上述的想法拋出來供各位讀者參考，也歡迎大家留言溝通。

六、人工審核平臺

人工審核平臺要支持審核人員審核和管理的要求，相對來說有更多的界面設(shè)計和流程流轉(zhuǎn)。但機器人審核平臺的許多思路也可以借鑒。

1.將審核人員分層和有效的級聯(lián)機制

可以指定一批基礎(chǔ)的審核人員，初步推斷機器給出的推斷建議是否合理，比如是否需要人工審核、問題分類是否恰當(dāng)。

特定問題的審核人員同樣可以分層，優(yōu)先由初級審核人員處理，對于難以推斷的問題，可以升級、交給更資深的審核人員處理。由于審核人員的培育也是需要成本的，而有疑難雜癥的內(nèi)容也是少數(shù)，這種策略可以兼顧效率和成本。

2.審核人員之間的協(xié)作

對于重要的問題，可以同時交給若干審核人員交叉驗證。這樣的好處是一方面可以避開嚴(yán)峻的問題被誤判而分發(fā)給用戶，造成惡劣的影響；另一方面也可以對重要更謹(jǐn)慎的審核，避開由于誤判損害其樂觀性和利益。

雖然經(jīng)過機器和人工分類，但是還有部分問題難免安排到錯誤的類別，那么處理特定問題的審核人員可以依據(jù)個人推斷，直接移交給其他組別或者打回給分類審核人員。

3.強化人工審核系統(tǒng)的記憶

可以從兩方面入手。

一個是同樣要供應(yīng)審核結(jié)果的數(shù)據(jù)平臺，關(guān)心管理人員不斷發(fā)覺人工審核的不足之處，通過優(yōu)化審核規(guī)章、加強審核人員培訓(xùn)等動作，提升審核效果。

另一個是要建立對審核人員的獎懲措施。嘉獎審核快、結(jié)果準(zhǔn)的審核人員，懲處審核慢、結(jié)果差的審核人員。鼓舞有想法的審核人員反饋問題和建議，則可以更好地優(yōu)化人工審核系統(tǒng)乃至機器審核系統(tǒng)。

用AI進行幫助。

雖然前序的機器審核可能無法精確?????推斷問題，但是可以給出處理看法、標(biāo)注出問題最大的位置，關(guān)心審核人員快速定位。

還可以提示相關(guān)的審核規(guī)章，便利審核人員在有疑問時能快速查找依據(jù)。也可以在審核規(guī)章發(fā)生變動時準(zhǔn)時予以提示。

甚至對于有顯著問題的審核結(jié)果進行提示，進一步降