AI修複老照片，讓歷史“活”過來

鈦媒體APP

鯤鵬計劃獲獎作者,鈦媒體APP官方帳號,優質科技領域創作者

圖片來源@視覺中國

文丨光錐智能，作者丨陳思，編輯丨羅寧

在龍華烈士墓前，

擺滿了鮮花，

延年和李大釗相遇了。

他們的對話令人動容：

“先生，他們愛我”

“延年，因為你愛他們”

這是一位網友在觀看電視劇《覺醒年代》之後寫的一段紀念先烈的文章節選。相信看過此劇的人都會對劇中陳獨秀的兩個兒子陳喬年、陳延年就義前的微笑印象深刻。

這一幕的出現讓無數觀眾落淚。

為了紀念烈士，有人找到了陳延年烈士真實的照片，利用人工智能技術為照片上色，並讓他露出“真實的”微笑：

有網友在看到這張照片後說：當百年前就義的烈士看到今日之中國，想必也會這樣欣慰地微笑吧。

使用AI修複烈士照片的這位網友名叫“大谷Spitzer”，你或許曾看過他的一些其他修複作品：

他曾經修複過李大釗於1924年9月22日在莫斯科大劇院演講時的影像，這也是李大釗同志目前唯一留存的視頻錄像，相當珍貴。

從視頻截圖可以看出，經過AI修複的影像不僅清晰度高，對人物細節的渲染也十分到位，比如上圖中李大釗同志的頭發與胡須的細節，在AI修複後顯得非常細致。

可能你會有疑問，大谷是如何做到的？或者說，AI技術是如何讓原本黑白的影像變得鮮活起來？

AI如何給老照片上色？

照相技術誕生之初，照片都是黑白的，到了1940年代彩色照片才流行起來。所以在早些年如果你想將黑白照片變成彩色，需要手工進行，費時費力。因為當時用的是水彩、油畫、蠟筆產色，所以起來並不是那麼真實。

如今，人工智能技術大行其道，甚至可以毫不費力地完成這項工作。

17歲英國少年Finnian Anderson和18歲芬蘭少年Oli Callaghan攜手合作，開發了Colorise Bot，用戶只需要在Twitter上傳照片和視頻並@Colorise Bot，就能在幾秒內上色。

（原圖與修複後地效果 | 來源：原作者博客）

作者之一的Finnian Anderson在博客上的一篇文章揭示了這項技術背後的秘密。

受內存及性能限制，他們沒有選擇TensorFlow進行底層框架搭建，而是使用Caffee搭建了原始網絡，然後用開源數據集ImageNet中的圖像對模型進行訓練。

根據他們發布在GitHub上的內容可以知道，他們引用的是加州伯克利大學的 Richard Zhang 等人開發出來的著色方法。其原理簡單來說，就是給出一張黑白圖片，然後預測圖片上物體可能的顏色，不一定能完全還原物體本身的顏色，但合理即可。

比如蘋果，紅色、青色都是人們普遍認知裏合理的顏色，在訓練過程中，如果模型給蘋果上色的結果是這兩種或者與之接近的，那麼都可視為成功。

（訓練結果 | 來源：原作者GitHub）

當然，模型對物體顏色的預測也是被大量的圖片數據“喂”出來的，就比如上圖中的汽車，原本的顏色可能是藍色或者黑色，但是因為模型在識別了大量汽車的圖片後學會了汽車可以有紅色、黑色、白色、銀色等等，因此給上圖裏的汽車染成紅色也是合理的。

不過，大谷使用的開源AI上色項目有別於上面這一種。

根據大谷的微博，它使用的上色工具有兩種：DeOldify和Deep Exemplar-Based Colorization。雖然都可以用來上色，但是這兩種工具的原理有所不同。

前者使用的是一種名為NoGAN的新型GAN訓練方法。大致的原理可以理解為，同時訓練兩個神經網絡，一個叫鑒別器，另一個叫生成器。鑒別器會使用大量真實的彩色圖片訓練，而生成器則會根據輸入的黑白圖像隨意上色，鑒別器根據學會了的彩色圖片來判斷上色的真實性。

比如，鑒別器學會了樹葉可以是綠色的、黃色的、紅色的，幹枯後可以是黑色的；這個時候生成器給一張樹葉圖片染成了藍色，那鑒別器就會判斷這個結果是假的，生成器要重新給圖片上色，直到出現合理的色彩。

而後者的原理就相對簡單了，給定參考彩色圖像，卷積神經網絡會直接將灰度圖像映射到輸出彩色圖像。

（圖片來源：Deep Exemplar-Based Colorization論文）

如上圖所示，目標圖像是最左邊的黑白圖像，如果給神經網絡一個穿紅衣服的女士的圖像為參考，那麼輸出的結果裏，人物的衣服顏色也是紅色，膚色甚至也會更接近參考圖像人物的膚色。

由於大谷的圖像、視頻修複裏采用了不止一種開源項目，因此本文對於其原理就不做過多分析了，上述結論想必已經能夠部分解答讀者們的疑問。

此外，大谷還采用了一些開源的輔助工具，比如曠視科技和北大共同推出的，用來給視頻補幀的RIFE，它可以讓老視頻變得更加流暢；以及用於去除視頻噪點和模糊的BasicSR等等。

AI還原的色彩准確嗎？歷史學家這樣說

如前文所述，AI修複的圖像色彩只是“合理”，未必與真實的情況相符。不過，這也並不耽誤AI還原色彩對歷史學家的幫助。

愛爾蘭國立大學教授John Breslin和Sarah-Anne Buckley將數字技術與歷史研究結合在一起，他們將很多歷史照片由黑白變成彩色。教授們使用的AI工具是前文提到的DeOldify，在訓練時，DeOldify會分析大量普通彩色照片，看看各種顏色與不同的形狀、紋理是如何匹配的。

當軟件面對黑白照片時，它會努力搞清對象的顏色是什麼，比如草、樹、海洋的顏色，根據紋理判定它們是綠色或者藍色。

當然AI也有局限性，愛爾蘭的一草一木有自己的特質，美國軟件有時無法正確識別。

Breslin解釋說，世界許多地區的房屋可能鋪有陶瓦，呈現橙色或褐色，愛爾蘭一般用石板瓦，呈現灰色或者黑色。此時，同為歷史學者的Sarah-Anne Buckley就會參與進來，手動修正顏色和陰影。

Constance Markievicz是愛爾蘭歷史上比較有名的政治家，他的眼睛到底是什麼顏色呢？AI無法判斷。怎麼辦？1890年代至1950年代，曾有很多移民前往美國，Constance Markievicz是其中之一，歷史學家查看紐約埃利斯島留下的乘客紀錄，斷定眼睛的顏色是藍色。

即使學者們如此嚴肅，還是有很多同行不認可，他們認為像DeOldify這樣的軟件只是帶來誤導，不能增強照片效果。Breslin並不認同，他認為自從有攝影以來人們一直就在做同樣的探索，而且即使用AI上色也並不是想取代原照片。

Jordan Lloyd是一名視覺歷史學家，他為出版商、私人客戶提供服務，給老照片上色，不過不是用計算機上色。雖然AI也能完成同樣的工作，但無法達到Jordan Lloyd的要求。他說：“諾曼底紀念活動時，我曾發布一張照片，將登陸D-Day登陸的照片變成彩色。History Channel也曾展示照片，自動著色，雖然是同一張照片，但看起來很糟糕。” DeOldify、DeepAI和Algorithmia能在幾秒內將黑白照片變成彩色，Jordan Lloyd卻要花幾十個小時才能處理一張照片。

對於Jordan Lloyd來說AI不足為懼，因為它老是出錯，顏色不准確。更糟糕的是連計算機專家也不明白AI為何會出錯。DeOldify聯合創始人Jason Antic指出：“這是一個‘黑盒’，AI從數據中抽取任何可能的規則。”

DeOldify算是很先進的，它用一百萬張黑白照片訓練過，這些黑白照是從彩照轉化而來的。盡管如此，DeOldify還是錯誤連連，部分是因為灰度圖缺乏彩色照片獨有的關鍵數據。

前文提到的論文作者，來自加州伯克利大學研究人員Richard Zhang說：“著色實際上是很有難度的，因為我們要從1D轉到3D。”色相，飽和度和亮度決定了我們對彩色的感知，但灰度圖裏只有亮度。許多不同的顏色可能有相同的亮度，即使它們在現實中非常不同，在黑白照片中也會呈現出相同的灰度。

為了解決這一問題，計算機專家嘗試用對象識別軟件增強算法。Richard Zhang說：“對於照片的某些部分，我們可以確定顏色是什麼。例如，我們知道天空一般是藍色的，蔬菜是綠色的，山一般是褐色的。如果不確定，比如襯衫的顏色，上色系統就只能猜測。”

正因如此，Jason Antic並不認為AI會成為研究歷史的重要工具。他認為，圖片的色彩與時間、地點、環境都有關，這些AI不太可能知道。

谷歌機器學習專家Emil Wallner倒是樂觀一些，他認為最終AI能做到准確識別。他在郵件中回複稱：“最難的部分在於開發一個機器學習模型，它能識別圖片中的圖案，它要尋找相關聯的歷史信息並推理，看看是否可以利用信息來判斷照片中某物的顏色。”Emil Wallner相信開發這樣的算法是可能的，只是要提供一些環境信息給AI。

所以說，用AI給黑白照片上色很有趣，但離完美還很遙遠。

AI又是如何讓老照片動起來的？

搞明白了上色的原理，那如何讓靜態照片動起來呢？

說到這裏就不得不提到一家名為MyHeritage的公司。

當用戶進入MyHeritage網站並上傳照片後，MyHeritage Photo Enhancer會增強照片，然後讓它動起來，動畫中的人物甚至可以微笑、眨眼、移動。

（光錐智能作者用自己的照片測試的結果）

據了解，該網站采用的是一種名叫Deep Nostalgia的技術，它能讓靜態照片中的人移動起來，就像視頻一樣。

有意思的是，這家公司本身是做基因檢測技術的，但為什麼會忽然做起來動態老照片的活計？

或許MyHeritage創始人、CEO Gilad Japhet能解答，他說：“使用Deep Nostalgia技術，看到珍貴的家族照片活起來，你會發出驚歎。看到祖先的臉在視頻動畫中活起來，你會忍不住遙想當年他們在現實中是怎樣的，這樣你與家族歷史就能以新的方式聯系起來。”

不過遺憾的是，Deep Nostalgia並不是一項開源技術，目前在MyHeritage網站也只能免費試用5張圖片，我們在這裏無法深度解答它作用的原理。

但是根據一些網友的分析，Deep Nostalgia極有可能脫胎於曾經在網絡上風靡一時，且最終臭名昭著的深度換臉開源模型：DeepFake。

DeepFake火爆的源頭是有人利用這項技術，將《神奇女俠》女主角蓋爾加朵的臉，換成了某色情片女主角的臉，並上傳到了互聯網。

當時大多數網友對這項技術的態度是：堅決抵制！因為它對於人們的隱私造成了非常大的威脅，甚至後來一度發生過有人利用DeepFake和AI語音合成偽造政壇高管發言的案件。

說回DeepFake的技術原理，整個流程分為三部：數據提取、訓練、合成。

還是以前面蓋爾加朵的案例講解。可以簡單理解為，模型先從別的視頻、圖像裏把蓋爾加朵的臉“摳”出來，據說這個模型會給人臉標記36個關鍵點坐標，根據這些坐標能計算人臉的角度，最終摳出來的人臉是擺正後的人臉。

然後再根據算法，對人臉進行各種角度的變換和扭曲，以適配最終合成的角色的臉，最後融合到目標圖像或視頻裏。當然，這其中還有更複雜的技術細節，這裏就不再多贅述了。

如果Deep Nostalgia確實脫胎於DeepFake，那麼其背後的技術原理應該不會有太大差別，只希望MyHeritage等擁有同樣技術的公司能夠將它用在正道，不要重蹈DeepFake的覆轍。

AI修複老照片，帶來的不只是感動

今年父親節，一位網友給自己的父親送上了一份特殊的禮物。

他通過百度飛槳PaddleGAN生成對抗網絡複原了爺爺的動態老照片，並實現了微笑、眨眼等各種表情，仿佛在與兒子交流，訴說這些年的思念，彌補了父親沒能見到爺爺最後一面的遺憾。

在國外的社交平台上，也有網友用類似的技術修複已過世的親人的照片，同樣帶來了滿滿的感動。

正如Gilad Japhet所說，當我們看到膚色鮮豔、表情生動的革命先烈，或者已故的家族長輩以這樣的方式出現在我們面前時，我們對他們的懷戀會更深一層，與他們的聯系也仿佛更加緊密了一些。

科技如何向善？或許這是一種正確的打開方式。

參考資料

https://www.digitaltrends.com/features/colorize-bot-twitter/

https://www.usatoday.com/story/tech/2021/02/25/deep-nostalgia-technology-animates-faces-still-photos/6814516002/

https://www.cnn.com/style/article/old-ireland-color-photos-breslin/index.html

https://scienceline.org/2021/01/ai-cant-color-old-photos/