小編的世界優質文選生物

RNN 用於生物醫學全息成像，速度加快50倍

字體大小：
2021年6月26日 -
：

ScienceAI數字全息成像是生物醫學成像中常用的顯微鏡技術。 用於揭示樣本的豐富光學信息。 常見的圖像傳感器只對入射光的強度做出響應。 因此，重建涉及光學相位檢索的傳感器以數字方式記錄的全息圖的完整 3D 信息，一直是數字全息術中一項耗時且計算量大的挑戰性任務。 近日，加州大學洛杉磯分校的研究團隊開發出一種新的全息相位檢索技術，可以快速重建樣品的微觀圖像，與現有方法相比，可加速50倍。 研究結果首次證明了使用循環神經網絡（RNN）進行全息成像和相位恢複，所提出的框架將廣泛適用於各種相幹成像模式。 該研究於5月26 日以「使用循環神經網絡進行相位恢複和自動對焦的全息圖像重建」為題發表在《ACS光子學》（）雜志上。 全息術（holography）又稱全息照相術，指在照相膠片或上通過記錄光波的振幅和位相分布並再現物體三維圖像的技術。 全息術作為一種強大的生物樣品成像工具，只需最少的樣品制備，無需染色、固定或標記。 過去幾十年，數字全息術取得了令人矚目的進步，尤其是在圖像重建和定量相位成像 (QPI) 方法方面。 最近，基於深度學習的相位檢索算法被證明可以使用訓練有素的神經網絡重建全息圖。 此外，還通過端到端神經網絡推理過程直接在原始全息圖上實現了基於深度學習的相位檢索。 與傳統的迭代相位恢複方法相比，基於深度學習的算法通過神經網絡在單次（即沒有迭代）傳遞中創建無斑點和雙圖像偽影的對象重建。 現在，研究人員提出了一種新的基於深度學習的全息圖像重建和相位檢索算法，該算法基於循環神經網絡 (RNN)，使用生成對抗神經網絡（GAN）進行訓練。 該技術利用深度學習訓練的循環神經網絡，並結合了多個全息圖的空間特征，以數字方式創建樣本的全息顯微鏡圖像，例如人體組織載玻片。 提高了圖像質量、加快了重建速度，同時還增強了重建樣本的。 兩種方法RH-M：循環全息 (recurrent holographic，RH) 成像框架使用多元 (multiple，M) 輸入全息圖，這些全息圖使用零相位反向傳播到公共軸平面上，在其輸出推斷中同時執行自動聚焦和相位檢索。 RH-MD：通過使用擴張 (dilated，D) 卷積核增強 RH-M，相同的自動聚焦和相位檢索性能，而無需任何自由空間反向傳播 (FSP) 步驟；也就是說，獲取的對象的原始全息圖直接用作訓練 RNN 輸入，用於在其輸出處進行對焦圖像重建，稱為 RH-MD。 更適用於相對稀疏的樣本，巴氏 (Pap) 塗片樣本的全息成像證明了它的成功。 與現有的相位檢索和全息圖像重建算法相比，RH-M 和 RH-MD 框架的優勢體現在：卓越的重建質量和速度，以及通過自動對焦功能擴展景深（DOF）。 研究表明，對於肺組織切片成像，相比現有的基於深度學習的全息重建方法，RH-M 在幅度均方根誤差 (RMSE) 方面質量提高了 40%。 與使用相同輸入全息圖的迭代相位檢索算法相比，RH-M 的推理速度快了 15 倍。 使用 RH-M 的全息成像為了證明 RH-M 在相位恢複和自動聚焦方面的功效，研究人員使用人肺組織切片訓練和測試了 RNN，並使用無透鏡的在線全息顯微鏡對其進行成像。 采用三張訓練載玻片和一張測試載玻片。 （所有這些組織樣本均取自不同的患者）在訓練階段，RH-M隨機取M=2個輸入全息圖，隨機樣本到傳感器的距離範圍為350-550 μm；然後將這些隨機選擇的全息圖中的每一個傳播到 z2 = 450 μm。 所得複雜場的實部和虛部用作 RH-M 模型的訓練輸入。 在盲測階段，為了證明訓練的 RNN 模型的可行性，在 423.7 μm 和 469.7 μm 的樣本到傳感器距離處捕獲了測試載玻片的 M = 2 個全息圖（來自不同的患者，未在訓練期間使用）。 為了進一步分析 RH-M 推理性能，研究人員在訓練後的RNN中輸入M = 2個不同散焦距離組合的全息圖（Δz2,1 和 Δz2,2），研究結果表明，首先，當 Δz2,1 = Δz2,2對應於兩個輸入全息圖相同的情況時，所提出的框架是成功的。 其次，兩個輸入全息圖之間的軸向距離更有利於對RH-M進行更好推斷。 超參數 M 是影響 RH-M 性能的關鍵因素之一。 通常，具有較大 M 的網絡學習輸入全息圖的高階相關性以更好地重建樣本的複雜場，但也容易在小訓練數據集上過度擬合並收斂到局部最小值。 總而言之，RH-M 受益於更高多樣性和更大 M 的訓練集。 使用 RH-MD 的全息成像RH-MD擴大了神經網絡的感受野，RH-MD能夠在不增加可訓練參數數量的情況下處理更大範圍的衍射圖案，同時也開辟了直接從原始輸入全息圖進行相位恢複和自動聚焦的可能性。 為了證明這種能力，研究人員在相同的無透鏡全息顯微鏡平台成像的巴氏塗片樣本上訓練和測試了 RH-MD 框架。 結果表明：與 RH-M 不同的是，RH-MD 使用原始輸入全息圖，而無需在當在相同的高度(Δz2,1 = Δz2,2)獲得輸入全息圖時，RH-MD比RH-M更具魯棒性。 
第頁完，請繼續朗讀下一頁。喜歡 小編的世界，請記得按讚、收藏及分享

ScienceAI

數字全息成像是生物醫學成像中常用的顯微鏡技術。用於揭示樣本的豐富光學信息。常見的圖像傳感器只對入射光的強度做出響應。因此，重建涉及光學相位檢索的傳感器以數字方式記錄的全息圖的完整 3D 信息，一直是數字全息術中一項耗時且計算量大的挑戰性任務。

近日，加州大學洛杉磯分校的研究團隊開發出

一種新的全息相位檢索技術，可以快速重建樣品的微觀圖像，與現有方法相比，可加速50倍。研究結果首次證明了使用循環神經網絡（RNN）進行全息成像和相位恢複，所提出的框架將廣泛適用於各種相幹成像模式。

該研究於5月26 日以「使用循環神經網絡進行相位恢複和自動對焦的全息圖像重建」

為題發表在《ACS光子學》（

）雜志上。

全息術（holography）又稱全息照相術，指在照相膠片或上通過記錄光波的振幅和位相分布並再現物體三維圖像的技術。全息術作為一種強大的生物樣品成像工具，只需最少的樣品制備，無需染色、固定或標記。

過去幾十年，數字全息術取得了令人矚目的進步，尤其是在圖像重建和定量相位成像 (QPI) 方法方面。

最近，基於深度學習的相位檢索算法被證明可以使用訓練有素的神經網絡重建全息圖。此外，還通過端到端神經網絡推理過程直接在原始全息圖上實現了基於深度學習的相位檢索。與傳統的迭代相位恢複方法相比，基於深度學習的算法通過神經網絡在單次（即沒有迭代）傳遞中創建無斑點和雙圖像偽影的對象重建。

現在，研究人員提出了

一種新的基於深度學習的全息圖像重建和相位檢索算法，該算法基於循環神經網絡 (RNN)，使用生成對抗神經網絡（GAN）進行訓練。

該技術利用深度學習訓練的循環神經網絡，並結合了多個全息圖的空間特征，以數字方式創建樣本的全息顯微鏡圖像，例如人體組織載玻片。提高了圖像質量、加快了重建速度，同時還增強了重建樣本的。

兩種方法

RH-M：循環全息 (recurrent holographic，RH) 成像框架使用多元 (multiple，M) 輸入全息圖，這些全息圖使用零相位反向傳播到公共軸平面上，在其輸出推斷中同時執行自動聚焦和相位檢索。

RH-MD：通過使用擴張 (dilated，D) 卷積核增強 RH-M，相同的自動聚焦和相位檢索性能，而無需任何自由空間反向傳播 (FSP) 步驟；也就是說，獲取的對象的原始全息圖直接用作訓練 RNN 輸入，用於在其輸出處進行對焦圖像重建，稱為 RH-MD。更適用於相對稀疏的樣本，巴氏 (Pap) 塗片樣本的全息成像證明了它的成功。

與現有的相位檢索和全息圖像重建算法相比，

RH-M 和 RH-MD 框架的優勢體現在：卓越的重建質量和速度，以及通過自動對焦功能擴展景深（DOF）。

研究表明，對於肺組織切片成像，

相比現有的基於深度學習的全息重建方法，RH-M 在幅度均方根誤差 (RMSE) 方面質量提高了 40%。與使用相同輸入全息圖的迭代相位檢索算法相比，RH-M 的推理速度快了 15 倍。

使用 RH-M 的全息成像

為了證明 RH-M 在相位恢複和自動聚焦方面的功效，研究人員使用人肺組織切片訓練和測試了 RNN，並使用無透鏡的在線全息顯微鏡對其進行成像。采用三張訓練載玻片和一張測試載玻片。（所有這些組織樣本均取自不同的患者）在訓練階段，RH-M隨機取M=2個輸入全息圖，隨機樣本到傳感器的距離範圍為350-550 μm；然後將這些隨機選擇的全息圖中的每一個傳播到 z2 = 450 μm。所得複雜場的實部和虛部用作 RH-M 模型的訓練輸入。

在盲測階段，為了證明訓練的 RNN 模型的可行性，在 423.7 μm 和 469.7 μm 的樣本到傳感器距離處捕獲了測試載玻片的 M = 2 個全息圖（來自不同的患者，未在訓練期間使用）。

為了進一步分析 RH-M 推理性能，研究人員在訓練後的RNN中輸入M = 2個不同散焦距離組合的全息圖（Δz2,1 和 Δz2,2），研究結果表明，

首先，當 Δz2,1 = Δz2,2對應於兩個輸入全息圖相同的情況時，所提出的框架是成功的。其次，兩個輸入全息圖之間的軸向距離更有利於對RH-M進行更好推斷。

超參數 M 是影響 RH-M 性能的關鍵因素之一。通常，具有較大 M 的網絡學習輸入全息圖的高階相關性以更好地重建樣本的複雜場，但也容易在小訓練數據集上過度擬合並收斂到局部最小值。總而言之，

RH-M 受益於更高多樣性和更大 M 的訓練集。

使用 RH-MD 的全息成像

RH-MD擴大了神經網絡的感受野，RH-MD能夠在不增加可訓練參數數量的情況下處理更大範圍的衍射圖案，同時也開辟了直接從原始輸入全息圖進行相位恢複和自動聚焦的可能性。

為了證明這種能力，研究人員在相同的無透鏡全息顯微鏡平台成像的巴氏塗片樣本上訓練和測試了 RH-MD 框架。結果表明：與 RH-M 不同的是，

RH-MD 使用原始輸入全息圖，而無需在

當在相同的高度(

Δz2,1 = Δz2,2

)獲得輸入全息圖時，

RH-MD比RH-M更具魯棒性。