MIT研究人員以深度學習技術,開發了全新3D全像投影(3D Holography)運算方法,只需要使用不到1 MB的記憶體,就能在智慧型手機和筆記型電腦,以數毫秒時間製作出全像投影圖像。這個新方法能用來改進3D全像投影,在虛擬實境、顯微成像和3D列印的應用。

研究人員提到,之所以目前虛擬實境頭戴裝置尚未取代電視或是電腦,成為主要的影片觀看裝置,重要的原因之一,就是虛擬實境容易讓用戶感到不適,透過觀看2D顯示器,以產生錯覺的方式,讓用戶以為自己正在觀看3D內容,會使得眼睛疲勞或是頭暈,而3D全像投影可能是更好的解決方法。

全像投影圖像可以良好地呈現現實世界,根據觀看者的位置變化觀看視角,並且可讓眼睛調整焦深,對焦在前景或是背景上。在傳統上,生成全像投影圖像需要超級電腦進行物理模擬運算,不僅耗時,而且產生的效果也無法非常真實,而現在MIT研究人員採用深度學習技術,能以毫秒級的時間完成運算,因此全像投影應用,也就能擴展到筆記型電腦和智慧型手機等裝置。

使用相機拍攝的照片,會對每個光波的亮度進行編碼,因此可以忠實地呈現場景顏色,但是最終只會產生2D的圖像,而全像投影圖像不僅編碼每個光波的亮度,同時還會編碼光波相位(Phase),這樣的組合可以更真實地描述場景的視差和深度。

早期的全像投影是以光學的方式紀錄,必須要使用雷射光掃描,並且分離雷射光束,使一半的光束照亮物體,一半的光束用作光波相位參照,以產生全像投影特殊的深度感,但用這種方法產生的圖像是靜態的,無法捕捉動作,而且也難以複製和共享。

而由電腦生成的全像投影圖像,透過模擬光學配置,來改善傳統方法的缺點,但是因為場景中每個點都有不同的深度,因此無法對所有的點都應用相同的操作,這樣的限制增加了運算複雜度,超級計算機叢集可能要花費數秒甚至數分鐘,才能算出單張全像投影圖,而且現有演算法,無法以逼真的精度計算遮蔽效果(Occlusion),因此也就限制了結果的真實度。

MIT研究人員透過讓模型自學物理計算,來提高電腦產生全像投影圖的速度。研究人員設計了卷積神經網路,並且自定義了圖像資料集,其中包含4,000組電腦生成的照片和全像投影圖像配對,照片中每個畫素都包含顏色和深度資訊,並且和對應的全像投影圖像配對,同時使用了一組新的物理運算來處理遮蔽問題。

透過從每個圖像配對中學習,張量網路調整自身計算參數,逐漸強化創建全像投影圖像的能力,經最佳化的網路,其運算速度比物理模擬快了2個數量級,在數毫秒的時間,就可以從電腦生成或是LiDAR感測器所獲得具有深度資訊的圖像,創建出全像投影圖像,由於壓縮的張量網路只要617 KB的記憶體,在目前智慧型手機動輒內建數十甚至數百GB的記憶體,其使用的資源可說是非常低。

研究人員提到,即時3D全像投影圖像可以強化虛擬實境和3D列印等應用,不只可以提供觀看者虛擬實境體驗,但是又能消除當前頭戴裝置所帶來的疲勞感,在3D列印方面,則能加速3D列印的精確度和速度。


熱門新聞

Advertisement