清湛人工智能研究院楊磊：AI賦能工業制造業

文章來源於公眾號：盛景新經濟 ，作者盛小景；本站經授權轉載。

大模型之戰步入後半場，行業逐漸達成共識，大模型的競爭，關鍵不在技術，而在產業場景落地。傳統產業何應對新一輪AI浪潮？AI如何幫助行業降本增效？企業如何利用大模型重塑業務？

8月15日，在中國人工智能學會、清華人工智能研究院、中關村企業家顧問委員會、中關村100企業家俱樂部的大力支持下，由清湛人工智能研究院發起並主辦，由盛景網聯承辦的《大模型時代，AI賦能產業升級與引領》系列論壇於北京中關村全球科創路演中心成功舉辦。

論壇上，清湛人工智能研究院執行院長楊磊博士發表了以“AI賦能工業制造業”為主題的主題演講。

以下為精華內容整理，enjoy~

01

歷史邁進工業5.0

制造業是中國未來發展的必經之路，這毋庸置疑。目前工業 4.0正在如火如荼地進行，已深入應用到各行各業，學者界和商業界對工業4.0的未來發展形勢總體上持樂觀態度。但是也有部分研究者及從業人員逐漸發現工業4.0在發展過程中過於側重生產制造流程的優化和設備的自動化水平的提升，而忽視了制造過程中最重要的參與者“人”這一主體。

直到今天才發現我們前面一直提“無人工廠”的好多路可能是走不通的。

在過去的5-10年裏，我們一直在考慮一個問題，如何發揮新機器的作用，從而替代人。然而，人的創造力是沒法替代的，如何和機器緊密結合在一起，這才應該是行業專家所做的工作。

歐洲提出工業5.0的概念，改變了以前“整個工廠是無人化”、“未來工廠只由，一個看門的人和一個看人的狗構成”認知。

在新的工業5.0人機體系中，更強調協作，包括機器的協作、系統和人的協作。

未來，制造業的發展是以人為本，以持續生產為本。過去強調智能化、強調把人的環節剔除的說法是不正確的。

02

工業背景下談大模型

過去三年中，大模型的應用已經給很多行業領域創造了震撼的效果。斯坦福大學把目前下載數超過5萬的大模型做了一個圖譜，超過15870個。基本上每天都有新的大模型出現，為社會帶來了巨大的變化。大模型時代的起始最早可以追溯到2019年Google推出的T5大模型，直到GPT-4在22年底推出，23年初開放測試後爆火。至此，真正進入大模型的高速發展時期，也走了很多彎路。

值得注意的是，工業人工智能和商業人工智能有巨大的不同，吳恩達曾說，“在消費者軟件互聯網中，我們可以訓練一些機器學習模型來服務於十億用戶。在制造業中，你可能有10000家制造商建造10000個定制的人工智能模型。”即使是大模型時代，這種由於應用領域的差異化帶來的技術路線的不同也是長期存在的。

當前的人工智能系統本質上包括兩個主要組成部分：代碼和數據。如果我們從2006的深度學習元年計算，我們花了不到二十年的時間，從模型驅動走向了數據驅動，又逐漸走向了更大規模數據的大模型時代。傳統的以模型為中心的人工智能專注於在給定一組固定數據的情況下，改進代碼以獲得更好的結果。對於系統開發的過程，更關注於代碼本身。而以數據驅動的人工智能應用是通過將代碼視為不可更改的實體來提高數據質量，以實現更好的結果。在以模型為中心的人工智能中，我們在優化人工智能模型上花費的時間相對較多，而在以數據為中心的AI中，我們花在提高數據質量上的時間相對較長。

高質量數據的重要性已愈發明顯。大型模型近年的進展在很大程度上依賴於高質量和豐富的訓練數據集。相比於GPT-2，GPT-3在模型架構上的改變微乎其微，更大的精力是投入到了收集更大、更高質量的數據集來進行訓練。例如，GPT-4與GPT-3的模型架構類似，但使用了RLHF（來自人工反饋過程的強化學習）來生成用於微調的高質量標注數據。

認識到這一現象，人工智能領域的權威學者吳承恩發起了“以數據為中心的AI”運動，這是一種新的理念，它主張在模型架構相對固定的前提下，通過提升數據的質量和數量來提升整個模型的訓練效果。這其中包括添加數據標記、清洗和轉換數據、數據縮減、增加數據多樣性、持續監測和維護數據等。

因此，未來在大模型開發中，數據成本所占的比例可能會逐步提高。這代表了一種理念的轉變，傳統的AI工程師需要了解的Python，就可以做個應用。後來需要學習pytorch框架來交付應用。但是現在，這已經不夠了。

大模型落地需要新範式，新工具集。

03

大模型在工業場景的應用

生成式人工智能，特別是大型語言模型如ChatGPT，是目前在制造業內嶄露頭角的範式轉變。生成式人工智能可以利用現有數據來編造新的、獨特的數據集，而大模型則進一步發展了這一概念，提供了無與倫比的能力來剖析和協調錯綜複雜的信息，並和人類以自然語言對話互動。

過去，所有的工廠業主都希望我們能夠做一台機器，能把人替換下來。這個機器要比人聰明，比人便宜，而且沒有疲勞、沒有勞資糾紛。整個制造業一直朝著這個方向努力，造一台更聰明的機器，圍繞著這台機器我們要提供更聰明的感知，更聰明的計算能力，更聰明的執行能力、可以思索的能力。

清湛在過去兩年中，我們也是圍繞這條路線在走。我們提供了基於機器視覺+智能機器人的產線自動化的平台工具。

基於具身智能技術，我們打造了低成本、更高效率的智能移動機器人。圍繞著海量的工業數據分析，我們面向市場交付了MLOps/LLMOps平台。我們也嘗試把一些多模態技術落地在實際工業場景。包括用一些新的技術視覺視頻分析來做環境感知。我們一直在嘗試尋找一些新的方法、新的技術給制造業的行業的變革貢獻一些力量。但是，我們也是非常困惑於如何提供成本更低的、更為智能的系統服務於制造業產業。

事實上，隨著生成式人工智能的到來，尤其GPT-4的實際應用落地，讓我們看到了這場變革的新希望。

1.基於大模型的工業知識庫

以往在工廠裏，通常是老師傅教新工人，把經驗技藝都傳授出來。但是現在，找老師傅很難找到，因為產線上大部分是18歲以下和55歲以上的人，從業時間很短，他們沒有什麼經驗。同時，產線上的工藝過程、設備操作也變得越來越複雜。整個產業都希望形成一個萬能的專家系統或者知識圖譜來教大家。

事實上，這一點很多人都嘗試過但是很難做到。因為想圍繞動態的、需求不斷變化的工業生產環境，想形成完備的知識系統是很難的。隱含的知識是無法預先挖掘出來的。現在通過類似OpenAI和Llama這類基礎模型系統，我們很快就能夠形成一個具有海量常識性知識和垂直領域專業知識的知識庫系統，而且可以通過自然語言去對話。

2.基於大模型的產品研發

傳統上，產品設計師專注於產品概念和規格，而操作人員則負責生產任務。然而，大模型可以使設計過程信息更加透明，可以將一線操作人員的見解納入決策過程中。這些一線操作人員擁有實際生產過程的理解能力，能夠提出有價值的見解。大模型則能幫助將他們的想法轉化為可操作的設計建議。

通過分析操作人員的見解，大模型能夠生成考慮到實際因素和限制的設計，從而形成現實有效的解決方案。這種合作方式能培養操作人員的主人翁意識和參與感。由於制造設備和機器人系統中蘊含著豐富的信息，因此大模型可以在產品設計和優化方面發揮重要作用，可以將這些知識與市場趨勢、科學文獻、不斷變化的ESG考慮因素和客戶偏好相結合。

舉個例子，來自洛桑聯邦理工學院（EPFL）和美國羅切斯特大學的研究團隊開發了一種能夠完成有機合成、藥物發現和材料設計等多種化學任務的語言模型代理 ChemCrow。該代理整合了 17 種由專家設計的工具，增強了其在化學領域的性能，並湧現出新的能力。到目前為止，ChemCrow 已經自主設計了一種驅蟲劑、三種有機催化劑以及合成其他相關分子。

在傳統的工業生產中，在一個材料發現過程中，很難快速通過系統來形成結果。以往，即使應用系統也需要很多跨專業的人，要求他們對各個知識都非常了解。但是現在通過這樣的一個系統，材料發現、化學發現的過程可以從數年縮短至幾個月、甚至是幾天。我們不需要有一個特別資深的化學老師或者是化學諾貝爾獎獲得者，就可以獲得很深邃的理解。

3.基於大模型的視覺應用

視覺數據大模型在工業中也開始逐步應用於缺陷檢測、目標識別。依據以往用成千上萬的圖片數據訓練出來的結果，基於預訓練模型調整，兩三天就能獲得比較高效的結果。眾所周知，視覺系統對於理解和推理視覺場景的組成特性至關重要。這個領域的挑戰在於對象之間的複雜關系、位置、歧義、以及現實環境中的變化等。作為人類，我們可以很輕松地借助各種模態，包括但不僅限於視覺、語言、聲音等來理解和感知這個世界。隨著 Transformer 等關鍵技術的提出，以往看似獨立的各個方向也逐漸緊密地聯結到一起，組成了“多模態”的概念。

自 2021 年以來，人們對結合視覺和語言模式的模型（也稱為聯合視覺語言模型）越來越感興趣，例如OpenAI 的 CLIP。聯合視覺語言模型在圖像字幕、文本引導圖像生成和操作以及視覺問答等極具挑戰性的任務中表現出了特別令人印象深刻的能力。該領域不斷發展，其在提高零樣本泛化能力方面的有效性也在不斷發展，從而產生了各種實際用例。

基於大模型的視覺應用，包括以Meta代表的各種對於圖片、視頻、音頻的“分割一切”的技術，的確給現在生產線的視覺缺陷檢測、工業機器人的視覺伺服帶來個巨大的便利，也獲得了比傳統視覺方法更好的檢測結果。

4.基於大模型的產品外觀設計

產品外觀設計也是當前大模型的在工業裏面的應用。通過生成式設計技術可以快速獲得新的產品設計。

生成設計是一個反複的設計過程，它涉及到一個將產生一定數量的符合某些約束條件的輸出的程序，以及一個將通過選擇特定的輸出或改變輸入值、範圍和分布來微調可行區域的設計者。設計者不需要是人，可以是測試環境中的測試程序或人工智能，例如生成式對抗網絡。隨著時間的推移，設計者的設計目標變得更加明確，他們會在每次迭代中學習完善程序（通常涉及算法）。

清湛現在在努力和服裝生產商、包裝設計的合作夥伴在嘗試做一些努力。

5.基於大模型的生產

我們用到的大模型能力，更多是問答、客服、做知識庫。如果僅僅把大模型的能力局限在這個領域，就把事情看簡單了。我們都在探索，大模型除了聊天對話之外能夠呈現地更為“智能”的能力。

事實上，包括OpenAI、Meta、穀歌都在努力探索大模型的“智能自主代理”能力。未來“智能自主代理”可以像人一樣，不僅僅是有記憶（短期記憶和長期記憶），而且可以形成規劃，對面臨的任務進行“任務拆分”，同時系統可以像人一樣進行“反思”和“自我評價”，像人一樣自主的選擇使用不同的“工具”去完成不同的“任務”。

如果大模型能夠有這樣的“智能”，是不是我們可以基於“大模型技術”去控制生產線，自主的完成生產過程。我們在這樣思考的時候，事實上已經開始有團隊嘗試用“大模型”的智能機制完成整體的生產環節，替代掉產線的控制系統。

MIT和華盛頓大學的團隊在論文《大型語言模型如何幫助人類進行設計和制造？》，描述了借助於GPT自主的完成制造過程——通過GPT-4造一個櫃子。

整個生產流程由用戶通過與GPT-4基於文本的方式交互，GPT-4自動的提供設計規範，GPT-4同時可以將設計轉換為制造指令，並生成設計空間和設計變體、計算設計的性能，以及搜索基於性能的設計。GPT-4可以幫助生產過程自動進行采購尋源、供應商比價。這個做傳統的制造過程是個非常繁複的過程。通過基礎模型，可以在未來全自動的完成包括采購、加工、庫存、銷售的整個生產流程。

事實上，這個僅僅是這方面的一個例子。微軟亞洲研究院的研究人員嘗試借助於基礎模型帶來的大量先驗知識，可以作為各種工業控制任務的豐富先驗知識來源。通過一個實際的空調溫度控制調節的任務作為驗證，研究結果表面GPT-4的性能與增強學習方法相當，可以代替經典的自動化控制方法。但樣本較少，技術債務較低，這表明了將基礎模型直接應用於工業控制任務的潛力。可以設想，未來對很多工業控制場景，可以直接由邊緣端的預置的基礎模型來發出指令，完成控制動作。

6.基於大模型的機器人控制

基於大模型的機器控制的成果很多了，最為著名的是李飛飛參與的《具有多模態提示的VIMA通用機器人操作》。我們看到，現在基於大模型的機器人控制，不僅僅完成對於環境的理解，還包括任務的自動分解、自動示教學習等等各種傳統方法無法完成的任務。

04

大模型在工業場景的應用

事實上，我們現在對大模型的能力還沒有充分認識清楚。何況，大模型技術本身也在快速發展。海量的數據進行百億級別的參數訓練，這個是人類歷史上前所未有的。

我相信在半年或一年之內，AIGC或者大模型會對制造業，乃至於工業產業產生巨大的影響。而且，在未來數年內會有很多新的預訓練模型出新，圍繞著工業產業提供更好的應用場景。