More  

收藏本站

電腦請使用 Ctrl + D 加入最愛
手機請使用 收藏
關閉

小編的世界 優質文選 歷史

AI修複老照片,讓歷史“活”過來


字體大小:
2021年7月15日 -
:     
 

鈦媒體APP

鯤鵬計劃獲獎作者,鈦媒體APP官方帳號,優質科技領域創作者

圖片來源@視覺中國

文丨光錐智能,作者丨陳思,編輯丨羅寧

在龍華烈士墓前,

擺滿了鮮花,

延年和李大釗相遇了。

他們的對話令人動容:

“先生,他們愛我”

“延年,因為你愛他們”

這是一位網友在觀看電視劇《覺醒年代》之後寫的一段紀念先烈的文章節選。相信看過此劇的人都會對劇中陳獨秀的兩個兒子陳喬年、陳延年就義前的微笑印象深刻。

這一幕的出現讓無數觀眾落淚。

為了紀念烈士,有人找到了陳延年烈士真實的照片,利用人工智能技術為照片上色,並讓他露出“真實的”微笑:

有網友在看到這張照片後說:當百年前就義的烈士看到今日之中國,想必也會這樣欣慰地微笑吧。

使用AI修複烈士照片的這位網友名叫“大谷Spitzer”,你或許曾看過他的一些其他修複作品:

他曾經修複過李大釗於1924年9月22日在莫斯科大劇院演講時的影像,這也是李大釗同志目前唯一留存的視頻錄像,相當珍貴。

從視頻截圖可以看出,經過AI修複的影像不僅清晰度高,對人物細節的渲染也十分到位,比如上圖中李大釗同志的頭發與胡須的細節,在AI修複後顯得非常細致。

可能你會有疑問,大谷是如何做到的?或者說,AI技術是如何讓原本黑白的影像變得鮮活起來?

AI如何給老照片上色?

照相技術誕生之初,照片都是黑白的,到了1940年代彩色照片才流行起來。所以在早些年如果你想將黑白照片變成彩色,需要手工進行,費時費力。因為當時用的是水彩、油畫、蠟筆產色,所以起來並不是那麼真實。

如今,人工智能技術大行其道,甚至可以毫不費力地完成這項工作。

17歲英國少年Finnian Anderson和18歲芬蘭少年Oli Callaghan攜手合作,開發了Colorise Bot,用戶只需要在Twitter上傳照片和視頻並@Colorise Bot,就能在幾秒內上色。

(原圖與修複後地效果 | 來源:原作者博客)

作者之一的Finnian Anderson在博客上的一篇文章揭示了這項技術背後的秘密。

受內存及性能限制,他們沒有選擇TensorFlow進行底層框架搭建,而是使用Caffee搭建了原始網絡,然後用開源數據集ImageNet中的圖像對模型進行訓練。

根據他們發布在GitHub上的內容可以知道,他們引用的是加州伯克利大學的 Richard Zhang 等人開發出來的著色方法。其原理簡單來說,就是給出一張黑白圖片,然後預測圖片上物體可能的顏色,不一定能完全還原物體本身的顏色,但合理即可。

比如蘋果,紅色、青色都是人們普遍認知裏合理的顏色,在訓練過程中,如果模型給蘋果上色的結果是這兩種或者與之接近的,那麼都可視為成功。

(訓練結果 | 來源:原作者GitHub)

當然,模型對物體顏色的預測也是被大量的圖片數據“喂”出來的,就比如上圖中的汽車,原本的顏色可能是藍色或者黑色,但是因為模型在識別了大量汽車的圖片後學會了汽車可以有紅色、黑色、白色、銀色等等,因此給上圖裏的汽車染成紅色也是合理的。

不過,大谷使用的開源AI上色項目有別於上面這一種。

根據大谷的微博,它使用的上色工具有兩種:DeOldify和Deep Exemplar-Based Colorization。雖然都可以用來上色,但是這兩種工具的原理有所不同。

前者使用的是一種名為NoGAN的新型GAN訓練方法。大致的原理可以理解為,同時訓練兩個神經網絡,一個叫鑒別器,另一個叫生成器。鑒別器會使用大量真實的彩色圖片訓練,而生成器則會根據輸入的黑白圖像隨意上色,鑒別器根據學會了的彩色圖片來判斷上色的真實性。

比如,鑒別器學會了樹葉可以是綠色的、黃色的、紅色的,幹枯後可以是黑色的;這個時候生成器給一張樹葉圖片染成了藍色,那鑒別器就會判斷這個結果是假的,生成器要重新給圖片上色,直到出現合理的色彩。

而後者的原理就相對簡單了,給定參考彩色圖像,卷積神經網絡會直接將灰度圖像映射到輸出彩色圖像。

(圖片來源:Deep Exemplar-Based Colorization論文)

如上圖所示,目標圖像是最左邊的黑白圖像,如果給神經網絡一個穿紅衣服的女士的圖像為參考,那麼輸出的結果裏,人物的衣服顏色也是紅色,膚色甚至也會更接近參考圖像人物的膚色。

由於大谷的圖像、視頻修複裏采用了不止一種開源項目,因此本文對於其原理就不做過多分析了,上述結論想必已經能夠部分解答讀者們的疑問。

此外,大谷還采用了一些開源的輔助工具,比如曠視科技和北大共同推出的,用來給視頻補幀的RIFE,它可以讓老視頻變得更加流暢;以及用於去除視頻噪點和模糊的BasicSR等等。

AI還原的色彩准確嗎?歷史學家這樣說

如前文所述,AI修複的圖像色彩只是“合理”,未必與真實的情況相符。不過,這也並不耽誤AI還原色彩對歷史學家的幫助。

愛爾蘭國立大學教授John Breslin和Sarah-Anne Buckley將數字技術與歷史研究結合在一起,他們將很多歷史照片由黑白變成彩色。教授們使用的AI工具是前文提到的DeOldify,在訓練時,DeOldify會分析大量普通彩色照片,看看各種顏色與不同的形狀、紋理是如何匹配的。

當軟件面對黑白照片時,它會努力搞清對象的顏色是什麼,比如草、樹、海洋的顏色,根據紋理判定它們是綠色或者藍色。

當然AI也有局限性,愛爾蘭的一草一木有自己的特質,美國軟件有時無法正確識別。

Breslin解釋說,世界許多地區的房屋可能鋪有陶瓦,呈現橙色或褐色,愛爾蘭一般用石板瓦,呈現灰色或者黑色。此時,同為歷史學者的Sarah-Anne Buckley就會參與進來,手動修正顏色和陰影。

Constance Markievicz是愛爾蘭歷史上比較有名的政治家,他的眼睛到底是什麼顏色呢?AI無法判斷。怎麼辦?1890年代至1950年代,曾有很多移民前往美國,Constance Markievicz是其中之一,歷史學家查看紐約埃利斯島留下的乘客紀錄,斷定眼睛的顏色是藍色。

即使學者們如此嚴肅,還是有很多同行不認可,他們認為像DeOldify這樣的軟件只是帶來誤導,不能增強照片效果。Breslin並不認同,他認為自從有攝影以來人們一直就在做同樣的探索,而且即使用AI上色也並不是想取代原照片。

Jordan Lloyd是一名視覺歷史學家,他為出版商、私人客戶提供服務,給老照片上色,不過不是用計算機上色。雖然AI也能完成同樣的工作,但無法達到Jordan Lloyd的要求。他說:“諾曼底紀念活動時,我曾發布一張照片,將登陸D-Day登陸的照片變成彩色。History Channel也曾展示照片,自動著色,雖然是同一張照片,但看起來很糟糕。” DeOldify、DeepAI和Algorithmia能在幾秒內將黑白照片變成彩色,Jordan Lloyd卻要花幾十個小時才能處理一張照片。

對於Jordan Lloyd來說AI不足為懼,因為它老是出錯,顏色不准確。更糟糕的是連計算機專家也不明白AI為何會出錯。DeOldify聯合創始人Jason Antic指出:“這是一個‘黑盒’,AI從數據中抽取任何可能的規則。”

DeOldify算是很先進的,它用一百萬張黑白照片訓練過,這些黑白照是從彩照轉化而來的。盡管如此,DeOldify還是錯誤連連,部分是因為灰度圖缺乏彩色照片獨有的關鍵數據。

前文提到的論文作者,來自加州伯克利大學研究人員Richard Zhang說:“著色實際上是很有難度的,因為我們要從1D轉到3D。”色相,飽和度和亮度決定了我們對彩色的感知,但灰度圖裏只有亮度。許多不同的顏色可能有相同的亮度,即使它們在現實中非常不同,在黑白照片中也會呈現出相同的灰度。

為了解決這一問題,計算機專家嘗試用對象識別軟件增強算法。Richard Zhang說:“對於照片的某些部分,我們可以確定顏色是什麼。例如,我們知道天空一般是藍色的,蔬菜是綠色的,山一般是褐色的。如果不確定,比如襯衫的顏色,上色系統就只能猜測。”

正因如此,Jason Antic並不認為AI會成為研究歷史的重要工具。他認為,圖片的色彩與時間、地點、環境都有關,這些AI不太可能知道。

谷歌機器學習專家Emil Wallner倒是樂觀一些,他認為最終AI能做到准確識別。他在郵件中回複稱:“最難的部分在於開發一個機器學習模型,它能識別圖片中的圖案,它要尋找相關聯的歷史信息並推理,看看是否可以利用信息來判斷照片中某物的顏色。”Emil Wallner相信開發這樣的算法是可能的,只是要提供一些環境信息給AI。

所以說,用AI給黑白照片上色很有趣,但離完美還很遙遠。

AI又是如何讓老照片動起來的?

搞明白了上色的原理,那如何讓靜態照片動起來呢?

說到這裏就不得不提到一家名為MyHeritage的公司。

當用戶進入MyHeritage網站並上傳照片後,MyHeritage Photo Enhancer會增強照片,然後讓它動起來,動畫中的人物甚至可以微笑、眨眼、移動。

(光錐智能作者用自己的照片測試的結果)

據了解,該網站采用的是一種名叫Deep Nostalgia的技術,它能讓靜態照片中的人移動起來,就像視頻一樣。

有意思的是,這家公司本身是做基因檢測技術的,但為什麼會忽然做起來動態老照片的活計?

或許MyHeritage創始人、CEO Gilad Japhet能解答,他說:“使用Deep Nostalgia技術,看到珍貴的家族照片活起來,你會發出驚歎。看到祖先的臉在視頻動畫中活起來,你會忍不住遙想當年他們在現實中是怎樣的,這樣你與家族歷史就能以新的方式聯系起來。”

不過遺憾的是,Deep Nostalgia並不是一項開源技術,目前在MyHeritage網站也只能免費試用5張圖片,我們在這裏無法深度解答它作用的原理。

但是根據一些網友的分析,Deep Nostalgia極有可能脫胎於曾經在網絡上風靡一時,且最終臭名昭著的深度換臉開源模型:DeepFake。

DeepFake火爆的源頭是有人利用這項技術,將《神奇女俠》女主角蓋爾加朵的臉,換成了某色情片女主角的臉,並上傳到了互聯網。

當時大多數網友對這項技術的態度是:堅決抵制!因為它對於人們的隱私造成了非常大的威脅,甚至後來一度發生過有人利用DeepFake和AI語音合成偽造政壇高管發言的案件。

說回DeepFake的技術原理,整個流程分為三部:數據提取、訓練、合成。

還是以前面蓋爾加朵的案例講解。可以簡單理解為,模型先從別的視頻、圖像裏把蓋爾加朵的臉“摳”出來,據說這個模型會給人臉標記36個關鍵點坐標,根據這些坐標能計算人臉的角度,最終摳出來的人臉是擺正後的人臉。

然後再根據算法,對人臉進行各種角度的變換和扭曲,以適配最終合成的角色的臉,最後融合到目標圖像或視頻裏。當然,這其中還有更複雜的技術細節,這裏就不再多贅述了。

如果Deep Nostalgia確實脫胎於DeepFake,那麼其背後的技術原理應該不會有太大差別,只希望MyHeritage等擁有同樣技術的公司能夠將它用在正道,不要重蹈DeepFake的覆轍。

AI修複老照片,帶來的不只是感動

今年父親節,一位網友給自己的父親送上了一份特殊的禮物。

他通過百度飛槳PaddleGAN生成對抗網絡複原了爺爺的動態老照片,並實現了微笑、眨眼等各種表情,仿佛在與兒子交流,訴說這些年的思念,彌補了父親沒能見到爺爺最後一面的遺憾。

在國外的社交平台上,也有網友用類似的技術修複已過世的親人的照片,同樣帶來了滿滿的感動。

正如Gilad Japhet所說,當我們看到膚色鮮豔、表情生動的革命先烈,或者已故的家族長輩以這樣的方式出現在我們面前時,我們對他們的懷戀會更深一層,與他們的聯系也仿佛更加緊密了一些。

科技如何向善?或許這是一種正確的打開方式。

參考資料

https://www.digitaltrends.com/features/colorize-bot-twitter/

https://www.usatoday.com/story/tech/2021/02/25/deep-nostalgia-technology-animates-faces-still-photos/6814516002/

https://www.cnn.com/style/article/old-ireland-color-photos-breslin/index.html

https://scienceline.org/2021/01/ai-cant-color-old-photos/