LDM3D是業界領先的可創建深度圖的生成式AI模型，有望革新內容創作、元宇宙和數字體驗

英特爾研究院宣布與Blockade Labs合作發布LDM3D（Latent Diffusion Model for 3D）模型，這一全新的擴散模型使用生成式AI創建3D視覺內容。LDM3D是業界領先的利用擴散過程（diffusion process）生成深度圖（depth map）的模型，進而生成逼真的、沉浸式的360度全景圖。LDM3D有望革新內容創作、元宇宙應用和數字體驗，改變包括娛樂、游戲、建筑和設計在內的許多行業。

(資料圖片)

英特爾研究院人工智能和機器學習研究專家Vasudev Lal表示：“生成式AI技術旨在提高和增強人類創造力，并節省時間。然而，目前的大部分生成式AI模型僅限于生成2D圖像，僅有少數幾種可根據文本提示生成3D圖像。在使用幾乎相同數量參數的情況下，不同于現存的潛在擴散模型，LDM3D可以根據用戶給定的文本提示同時生成圖像和深度圖。與深度估計中的標準后處理方法相比，LDM3D能夠為圖像中的每個像素提供更精準的相對深度，并為開發者省去了大量用于場景開發的時間。”

封閉的生態系統限制了規模。英特爾致力于推動AI的真正普及，通過開放的生態系統讓更多人從這項技術中受益。計算機視覺領域近年來取得了重大進展，特別是在生成式AI方面。然而，當今許多先進的生成式AI模型只能生成2D圖像。與通常只能根據文本提示生成2D RGB圖像的現有擴散模型不同，LDM3D可以根據用戶給定的文本提示同時生成圖像和深度圖。與深度估計（depth estimation）中的標準后處理（post-processing）方法相比，LDM3D在使用與潛在擴散模型Stable Diffusion幾乎相同數量參數的情況下，能夠為圖像中的每個像素提供更精準的相對深度（relative depth）。

這項研究有望改變我們與數字內容的互動方式，基于文本提示為用戶提供全新的體驗。LDM3D生成的圖像和深度圖能夠將諸如寧靜的熱帶海灘、摩天大樓、科幻宇宙等文本描述轉化為細致的360度全景圖。LDM3D捕捉深度信息的能力，可以即時增強整體真實感和沉浸感，使各行各業的創新應用成為可能，包括娛樂、游戲、室內設計、房產銷售 ，以及虛擬博物館與沉浸式VR體驗等。

6月20日，在IEEE/CVF計算機視覺和模式識別會議（CVPR）的3DMV工作坊上，LDM3D模型獲得了“Best Poster Award”

LDM3D是在LAION-400M數據集包含一萬個樣本的子集上訓練而成的。LAION-400M是一個大型圖文數據集，包含超過4億個圖文對。對訓練語料庫進行標注時，研究團隊使用了之前由英特爾研究院開發的稠密深度估計模型DPT-Large，為圖像中的每個像素提供了高度準確的相對深度。LAION-400M數據集是基于研究用途創建而成的，以便廣大研究人員和其它興趣社群能在更大規模上測試模型訓練。

LDM3D模型在一臺英特爾AI超級計算機上完成了訓練，該超級計算機由英特爾?至強?處理器和英特爾?Habana Gaudi? AI加速器驅動。最終的模型和流程整合了RGB圖像和深度圖，生成360度全景圖，實現了沉浸式體驗。

為了展示LDM3D的潛力，英特爾和Blockade的研究人員開發了應用程序DepthFusion，通過標準的2D RGB圖像和深度圖創建沉浸式、交互式的360度全景體驗。DepthFusion利用了TouchDesigner，一種基于節點的可視化編程語言，用于實時互動多媒體內容，可將文本提示轉化為交互式和沉浸式數字體驗。LDM3D是能生成RGB圖像及其深度圖的單一模型，因此能夠節省內存占用和降低延遲。

LDM3D和DepthFusion的發布，為多視角生成式AI和計算機視覺的進一步發展鋪平了道路。英特爾將繼續探索如何使用生成式AI增強人類能力，并致力于打造一個強大的開源AI研發生態系統，讓更多人能夠使用AI技術。延續英特爾對開放AI生態系統的大力支持，LDM3D正在通過HuggingFace進行開源，讓AI研究人員和從業者能對這一系統作出進一步改進，并針對特定應用進行微調。

在2023年6月18日至22日舉行的IEEE/CVF計算機視覺和模式識別會議上，英特爾將發表這項研究成果。欲了解更多信息，請參考論文《LDM3D: Latent Diffusion Model for 3D》。

標簽：