《易盾CTO朱浩齊出席CSDI技術峰會,暢談內容安全風控系統的智能化》 網易易盾網易易盾官方帳號自媒體時代,短視頻、直播成為重要的互聯網內容形態。對於視頻而言,分控難點主要有三方面,分別是內容數據量大、實時風控要求高、有害樣本獲取難,這給視頻內容智能風控帶來了巨大的技術挑戰。一、技術突破推動內容安全升級深耕安全領域22年,網易在沉澱了非常多的經驗,無論是對於安全規則的理解,還是信息安全相關的技術研發。網易易盾致力於用“硬核”技術來對網絡空間進行監控,判斷,甚至自主判斷,輔助我們進行實時、准確、有效地治理。總的來說,網易的內容風控技術發展路線可以分為三個階段: 階段一:用關鍵詞和黑白名單編制的過濾器用CPU計算,以C語言為主,內容安全檢測系統采取事後發現的思路,提取簡單特征進行單維度的攔截,屬於被動防禦。受限於硬件計算能力和軟件架構,此階段的技術在海量數據下無法進行實時大規模的運算,缺少穩定的軟件、框架和工具,難以部署工業級應用。階段二:進行特征匹配與相似聚合的規則系統用CPU計算,以Java語言為主,內容安全檢測系統能夠事中判斷,離線更新,提取多元特征進行加權比較計算。此階段的系統軟件上實現了分布式架構,但受硬件資源的限制,只能對海量數據進行簡單的實時運算。其進步點在於有穩定和易於維護的軟件架構,適合開發多種功能適配的工具和系統,比如聚類、動態規則策略等。階段三:融合人工智能技術和大數據分析的綜合決策在硬件方面,網易易盾構建“CPU+GPU+雲計算”的彈性異構模式。這種架構帶來了高效的計算能力,海量數據可以進行複雜的實時運算,解決了在高並發環境下的性能問題。在軟件方面,網易易盾內容安全檢測系統融合了“Java+AI+容器”多種元素。AI技術發展迅速,新算法和框架層出不窮,而容器技術很好的解決了GPU集群的管理問題,兼容了環境和驅動的差異。 階段的技術已經能夠實現實時計算,提取多元特征進行深度學習,屬於主動防禦。總體而言,第三階段的系統在各個方面都接近頂峰:系統穩定性達到99.99%,模型准確率達到99.9%。針對不同類型文件,平均響應時間下降明顯。其中,文本僅需100ms,圖片僅需500ms,音頻實時率0.2,直播延遲毫秒級。得益於技術的進步,互聯網內容安全審核迎來黃金時代,日均處理十億+數據量成為常態。二、真實問題推動方案靈活運用在現實場景中,較低的垃圾率卻能帶來放大誤判率的感受。假設1萬張圖像中有1張是違禁圖片,我們的系統准確率為99.9%,即1千張圖像會判錯一張。即便問題是千裏出一,但也會給客戶帶來不好的使用感受。此外,在強對抗場景下,黑灰產技術進步帶來的識別難度上升,例如文字翻轉、圖片切割、文字扭曲、特征掩蓋、特殊比例圖片、字符干擾等疑難雜症。基於不斷迭代的客戶需求,客戶在實踐中直面挑戰,實現技術在真實應用場景中的優化,構建縱深防禦體系。 首先,以有害內容的分類為例,標簽系統實現了更加精細的分類,並支持動態更新。其次,對所有用戶數據進行采樣和分析,在有安全需求的地方進行檢測和攔截。攔截策略可以定制,任何地方可以調用檢查。隨著結構和模型的升級換代,各項結果更加令人滿意:在保證召回率的同時,節約90%的計算量;在保證精確度和召回率的前提下,模型迭代周期從數周縮短到2~3天;有害內容的攔截召回率比僅采用內容特征的檢測系統提高8~10個百分點。不少To B服務企業即便有技術加持,但部署效果卻總差強人意。這是為什麼呢?在實際操作中,仍舊需要注意使用方式,避免事倍功半。面對內容安全保障中的實際痛點,網易易盾采取了不同的應對策略:○ 面對反饋環節缺失,導致優化速度緩慢,系統接入自動化反饋渠道。○ 面對數據缺失或者采樣數據不對,降低模型准確性,技術對用戶行為地圖進行分析,在關鍵節點進行采樣和檢查。○ 面對垃圾蟲不區分的友好交互,幫助垃圾蟲突破防禦,系統提前完善用戶協議和說明,包括社區制度、活動規則、即時判斷、延遲作用、策略隱藏等。以“硬核”技術突破為核心競爭力,以“靈活”商業賦能機制為杠杆,在真實的世界中,網易易盾實現了人工智能在內容安全行業中的切實應用和落地。三、客戶需求推動商業創新軟件即服務(Software as a Service)是21世紀興起的一種創新軟件應用模式,處於雲計算產業的應用層。隨著雲計算市場大步向前,SaaS應用也煥發新機。通過易盾的互聯網內容安全SaaS解決方案,客戶不再需要一次性采購昂貴的軟件,只需要花費較少的初始投入便可以接入軟件服務,一站式解決有害內容泛濫問題。此外,客戶可以總是使用到最新版本的更新和更好的服務,而不用擔心後期的維護和更新。網易易盾的互聯網內容安全解決方案主要分四大類,包括融媒體解決方案、主動檢測解決方案、文檔解決方案、音視頻解決方案。融媒體解決方案適用於圖文、音視頻、文檔等合並混合統一檢測場景。當前,SaaS服務已經從重資產轉向輕資產,只需獨立接口就能實現無憂接入,圖片音視頻場景全覆蓋。 主動檢測解決方案,顧名思義,能夠主動檢測網站內容,全面涵蓋網頁內文本、圖片、附件文檔,並定期輸出內容風險檢測報告,規避內容發布風險,及時扼制因惡意篡改而造成內容違規風險。 文檔解決方案適用於所有圖文混合過檢場景,獨立接口調用,快速解析文檔/圖文內容,省去自行篩分過檢煩惱。 音視頻解決方案致力於智能解析音視頻全媒體,支持視頻標題、視頻封面、視頻內容、音頻內容、彈幕、評論、熱度監測等一站式專業過濾。 網易AI技術部門在國際競賽中與國內外高校和企業同台競技屢獲佳績,包括中央網信辦、工信部、公安部、科技部指導的中國多媒體信息識別技術競賽中獲A級證書(最高級);中國計算機學會舉辦的ASRU 2019中,獲端到端語音識別第一名;清華大學主辦的東方語言識別大賽OLR 2018中,在三個比賽任務中獲得開集語言識別和混淆語言識別兩項第一名;創新工場等單位主辦的2018年全球AI挑戰賽中,獲短視頻實時分類競賽冠軍。在數字經濟時代,幾乎所有行業都不能對“內容安全”置之不理。隨著互聯網內容的治理辦法相繼出台,包括金融、電商、零售、在線教育、在線文娛在內的眾多“互聯網+”行業所生產的數字內容都在監管範圍之內。由此,對於易盾而言,不少行業都是重點服務對象,貼近行業深入把握有害內容的特點,在不同行業建立起示範效應是重中之重。此外,新冠疫情的爆發激發了客戶對成本和管理效率的重視,撬動了他們對數字化的期待,為之迎來了重要發展機遇。當下,上至政府,下至企業,都計劃全方位部署數字戰略,以保證信息和服務隨時隨地能夠通過任何平台或設備被獲取。總的來說,無論是互聯網內容的監管升級,還是政府、企業的數字戰略升級,都讓內容安全SaaS服務迎來春天。未來,網易易盾將“行業化、產品化、國際化”發展方針,持續打磨產品,豐富功能,向客戶提供優質服務。在守護客戶內容安全“生命線”的同時,助力企業提質、降本、增效,共塑“清朗”的互聯網環境。本文內容根據網易易盾CTO朱浩齊在「2020中國軟件研發管理行業技術峰會」上的演講整理而成。 《易盾CTO朱浩齊出席CSDI技術峰會,暢談內容安全風控系統的智能化》完,請繼續朗讀精采文章。 喜歡 小編的世界 e4to.com,請記得按讚、收藏及分享!
音調
速度
音量
語言
易盾CTO朱浩齊出席CSDI技術峰會,暢談內容安全風控系統的智能化
精確朗讀模式適合大多數瀏覽器,也相容於桌上型與行動裝置。
不過,使用Chorme瀏覽器仍存在一些問題,不建議使用Chorme瀏覽器進行精確朗讀。