解構數字文化遺產

GIS擺渡人

分割和注釋多標量3D傳統數據

無論是作為2D圖紙還是3D點雲，數字文化遺產都已成為當今遺產文獻中的規範。但是，原始數字數據仍然需要手動標記，以便將有形信息添加到其他本來嚴格的幾何數據中。本文介紹了一種算法方法，可將3D傳統數據系統地解構和語義注釋為不同的元素。所開發的方法有助於減輕標記任務，並為基於人工智能的細分的未來發展提供培訓數據。

面對自然和人為威脅的潛在破壞，適當的遺產記錄的重要性不斷提高。在最近的幾十年中，地理信息技術的發展使3D掃描對於保護參與者來說更加容易和可行。攝影測量和激光掃描領域已取得了長足的進步，這是傳統文獻領域中3D數據生成的兩種最主要形式。為了支持遺產管理，還開發了3D GIS和遺產建築信息模型（HBIM）等系統。

解決兩個主要瓶頸

創建統一的多利益相關者遺產管理系統的過程中的主要瓶頸是點雲上元素的手動數字化和標記。為了正確理解場景，從而通過3D GIS或HBIM框架進行有意義的分析，這是必需的。雖然在執行這些任務中使用人工智能也可以看到巨大的進步，但這也遇到了訓練數據可用性形式的瓶頸。此外，在遺產領域，世界各地建築風格的多樣性為這一問題增加了一層。開發的方法試圖同時解決這兩個瓶頸。首先，使用算法或基於規則的方法可以快速准確地生成標記數據集，以用於某些較簡單的案例研究。其次，結果可以在以後的任何機器學習（或實際上是基於深度學習的）方法中作為一種引導方法重新用於訓練數據。

圖1：DBAT中的攝影測量處理（左）和生成的度量（右）。

質量控制

在點雲本身上執行操作之前，必須進行適當的質量控制。3D傳統文檔的這一方面至關重要，但實際上卻經常被遺忘。盡管視覺效果可能會吸引用戶，但幾何精度仍然是任何遺產存檔工作不可或缺的一部分。實際上，測量師和測繪工程師有義務維護地理空間產品的幾何質量，尤其是當他們必須保證使用所述產品進行長期遺產歸檔時，更是如此。

例如，在攝影測量學中，運動（SfM）和密集匹配算法帶來的結構提升產生了令人印象深刻的結果。但是，SfM軟件的黑匣子性質意味著質量控制很難執行。為了解決這個問題，作者及其團隊開發了一種協議，該協議使用阻尼束調整工具箱（DBAT）從SfM攝影測量項目中提取質量指標（示例參見圖1）。使用這種開源方法進行攝影測量質量評估，可以盡早發現項目中的問題，並在錯誤進一步蔓延之前將其糾正。除其他事項外，DBAT還提供了經典的攝影測量指標，而現代基於黑箱的基於SfM的3D重建軟件通常不提供這些攝影測量指標，例如外部方向協方差矩陣，相交角等。

多標量除法

在保證了項目的質量之後，可以對所得的點雲進行進一步處理。作者開發方法的第一步是將3D傳統數據系統地分為多個步驟。例如，第一步步驟涉及某個站點周圍的大區域，這些區域可能會被無人駕駛飛機（UAV或“無人機”）掃描。然後，第二步可能涉及單個建築物，可以通過地面激光掃描（TLS）或攝影測量法對其進行重建。然後，第三步可能涉及建築物的更詳細的部分，即諸如柱子，牆壁，地板等建築元素。這種從粗到細的分割方法有助於算法功能創建語義信息的系統層次結構，以及大大減少了處理時間。日-century Kasepuhan富麗堂皇的複雜在井裏汶，印度尼西亞。

圖2：文化遺產數據集的多標量分層結構。

多標量方法還嘗試適應當今可用的各種3D傳感器。實際上，每種方法都可能適用於某個規模級別，但不適用於其他級別，因此，此數據的分層結構也可以用於數據管理。

細分和注釋

按照先前已建立的多標量範式，解構過程首先從較大的點雲（即周圍建築群的點雲）分割建築物開始。這是在預先存在的2D GIS文件的幫助下執行的。此類GIS文件通常已可用於遺產地，但是如果缺少此類數據，則也可以基於衛星或UAV圖像進行快速矢量化。GIS的使用還具有另一個優點：語義類和信息作為屬性嵌入GIS層和實體中。因此，已開發的“曲奇切割器”算法使用GIS矢量多邊形作為指導進行了幾何分割。鏈接到每個多邊形實體的語義屬性此後可以自動注釋為分割結果。圖3顯示了這種操作的結果，從而，GIS矢量充當2.5D模具以分割原始點雲。使用GIS屬性自動標記意味著可以從基本數據庫的意義上查詢生成的構建點雲。

因此，這種分割的結果-從文物建築到文物建築-包括具有語義信息的獨立建築，這些語義信息來自原始GIS文件，而幾何數據則來自原始點雲。在這方面，它提供了實例分段的示例，與更一般的語義分段相反。就分割質量而言，作者的算法使用這種方法在測試數據集上的F1指數得分為89.32％。

圖3：“ Cookie Cutter”樣式的點雲分割和語義注釋。

進一步的解構涉及將建築物拆卸（上一步的結果）為建築元素。在此過程中使用了各種幾何規則，不僅可以執行簡單的分割，還可以將類歸因於每個實例。作者和他的團隊開發了幾種功能，可以對遺產數據中常見的兩種建築元素（例如，柱子/柱子和屋頂框架）進行檢測和分類。該檢測算法基於RANSAC，霍夫變換和最近鄰分割等幾種算法。在五個具有不同建築風格的不同數據集上對支柱檢測算法進行了測試，並成功完成了F1分數平均為88.97％的任務。

圖4：在五個測試數據集上對支柱進行分割和分類的結果4

結束語

本文描述的方法的最終目的是在文化遺產文獻的背景下幫助點雲分割和分類的過程。在這方面，開發的算法以令人驚訝的良好准確性顯示出令人鼓舞的結果。實際上，在許多簡單情況下使用這種啟發式方法就足夠了，而無需訴諸機器學習。此外，作者提出了一個完整的工作流程，其中包括在流程開始時的幾何質量評估。但是，在處理更多樣化的數據集時，算法的功效可能會遇到更多的限制，在文化遺產領域就是這種情況。