年來隨著關于三維數據的研究與深度學習的緊密結合，三維內容（如物體與場景）的生成也成為這股三維深度學習浪潮中的熱點與亮點。針對這方面的核心部分??三維幾何解碼器的工作，我們邀請了微軟亞洲研究院主管研究員劉洋為大家做了全面的梳理和分析。

基于數據驅動的三維生成

基于數據驅動的三維解碼器，簡而言之就是從大量數據中學習一個映射，該映射將編碼空間里的向量轉換為三維數據，如三維形狀和場景。這里的編碼空間可以是大量的圖像、文字、聲音或三維信息通過某種編碼構成一個隱表達空間；這里的轉換指的是用三維解碼器將隱表達空間的點翻譯成三維內容。目前常用的三維解碼器多用神經網絡來完成，如卷積神經網絡。下圖展示三維編解碼的一個概念架構。

對于不熟悉編解碼架構的讀者，可用如下一個例子來理解。對于一個球形曲面， 編碼器提取球體的中心位置與半徑大小構成一個隱表達空間中的四維向量；給定一個四維向量，解碼器用前三維向量當成球體的中心，第四維數值當成球半徑以構造球體。對于大量紛雜的三維數據，往往很難直接構造編解碼器，這就需要從大量數據上來學習并構建功能強大的編解碼器。

如何構造編碼空間、解碼向量、設定合適的三維表達，都是三維編解碼里需要研究的問題，而解碼出來的數據質量是衡量三維解碼器優劣的一個重要指標。

除此之外，一個好的三維解碼器還應該有以下三個性質：

1. 形神兼備??形似指的是三維生成的形狀符合期望、幾何細節逼真、紋理符合現實。神似指的是三維生成內容的功能及結構符合設計、可控并便于調節。 傳統的幾何建模工作在這兩點上可以做的很好，但耗時費力；相較而言，目前基于數據驅動的工作雖然在效率上有極大提升，但在形似這個方面上還差強人意，神似方面的工作也是剛剛起步。

2. 形狀空間??好的編解碼器可以很好地用學習出來的低秩空間來刻畫形狀空間，通過在空間中合理采樣以增加形體的多樣性并建立形體類間及跨類之間的各種聯系。

3. 效率??對于一個算法而言，它的時間復雜度和空間復雜度大小決定了其效率優劣。對于以神經網絡為結構的三維解碼器，還有它對訓練集的需求、訓練難易、可擴展性等方面的各種考量。

三維幾何表達

在三維幾何的處理與分析中，三維數據的表達起著非常重要的作用。不同的表達在不同的任務以及與神經網絡技術的結合上各有優劣。在三維內容的生成與合成任務上，由于輸出的內容就是三維數據，因此選擇不同的表達也直接關系到網絡的構建、損失函數的設計及輸出內容的質量。在此我們以三維的幾何表達來分析目前已有的基于神經網絡的三維解碼器。關于三維數據的其它屬性如紋理、表觀、物體彈性相關等屬性的生成，本文不做討論。

表達方式與表達層次

在圖形學及其相關領域，三維幾何表達可以大體分為連續表達和離散表達。其中連續表達包括參數曲面、隱式曲面等；離散表達有諸如點云、多邊形網格、多面體網格、體素等。這類分類方式相對比較底層，對物體缺乏語義層次的理解，我們統稱為低層次表達。如果將三維內容看做結構體或體元的集合，可以對物體有更好的認識，這種歸類方法可以稱之為為中低層次的表達。在此基礎上，如果三維內容的功能也有體現，如一把椅子的組成結構明確，組件功能清晰（如手臂支撐、腰部支撐等），那么這個表達可以稱之為具有中高層次。同樣對于三維場景而言，如果有著布局、物件之間關系等表示，其表達也是屬于中高層次。 低層次表達和中低層次的表達方式在基于數據驅動的三維生成中研究較多，我們接下來對基于它們的三維編碼器逐一介紹。

低層次表達

規則體素

將二維規則網格直接推廣到三維，即體素表達，可以方便地將圖像域的各種方法推廣到三維空間??比如在分辨率N^3 的規則網格上每個單元（即體素）上定義一個布爾值0表示該體素位于三維形體之外，1表示其在三維形體內部。常見的基于體素的三維解碼器通過學習三維卷積網絡來預測空間中N^3個布爾值，以構建三維內容。這方面幾個代表性的工作包括：(1)利用循環神經網絡來重建三維物體的3D-R2N2 [Choy2016]; (2)基于體素表達上的3D-GAN和3D-VAE-GAN [WU2016]。然而由于規則體素的內存與計算開銷呈立方級增長，基于體素的神經網絡對于高分辨率的支持受限于GPU內存大小與訓練時間，使得體素表達的三維生成常局限于32^3、64^3這類低分辨率上，不易生成較高質量的結果。

稀疏體素

注意到三維內容大都與物體表面相關，空間中絕大部分區域實則為空的事實，不少研究者開始用稀疏體素的方式來表達三維內容，從而極大地減少內存與計算開銷，使得高分辨率體素輸出（如256^3、512^3)成為可能。這類方法中以八叉樹結構為代表的三維解碼器，空間及時間復雜度降為O(N^2)。這方面的主要工作有OctGen [Tatarchenko2017]、OctNetFusion [Riegler2017]、HSP [Hane2017]。它們的解碼器動態生成給定深度的八叉樹，在八叉樹的節點上預測該體素是否屬于哪種狀態：1. 在物體外部；2. 在物體內部；3. 含物體表面。對于第三種狀態八叉樹繼續剖分。

點云

將三維物體離散成無結構的點云也是一種直接的方式。由于沒有體素方法里剖分空間的束縛，點云表示有著更好的靈活性。 最關于點云生成工作主要包括[Su2017]、[Achlioptas2018]。這些工作中解碼器直接預測給定數目的點云三維坐標，在從單幅圖像生成三維物體的任務上取得比3D-R2N2更好的效果。但將點云轉化為體素或其它表達以用于造型等任務還需進一步的處理。

網格表示

多邊形網格是三維圖形學里常見的表達，相較之前介紹的各種表示，它既有較高的表示精度也有足夠的靈活度。最很多工作都將網格直接作為三維解碼器的輸出。這類工作假定網格有個初始形態，解碼器實質上是預測初始網格頂點的變形。其中很多工作假定初始網格和球形或矩形網格同胚，如SurfNet [Sinha2017]、Pixel2Mesh [Wang2018]、Neural 3D Mesh Renderer [Kato2018]、FoldingNet [Yang2018]。然而受到網格拓撲的限制，這些解碼器不能生成多虧格的曲面。最一個名為AtlasNet [Groueix2018]的工作假定有指定數目的矩形網格作為初始，解碼器預測每個網格的頂點的三維位置。這些網格的并集似出一個三維形體，這樣也解決了拓撲限制的問題。基于網格表示的三維生成結果的視覺效果目前來說是最好的，當然網格的扭曲和多片合成完整網格的問題還是亟待解決。

多視圖表示

通過多個方向觀察物體可以極大程度地恢復物體的整體結構和細節，這就是多視圖表示的原理。基于多視圖表示的三維解碼器預測若干給定視點下的物體的深度圖像來構造三維形體。最這方面的工作有[Lun2017]和[Lin2018]。前者用訓練數據已知視點的深度圖來訓練解碼器，后者用預測出的深度圖合成的三維點云在多視點下投影和真實值的差異來指導訓練，從而進一步提高解碼器的預測水準。

中低層次表達

型元表示

一個三維形體可以看做若干個簡單元素的集合。我們把這簡單元素分成兩類：面元、體元，統稱為型元。 廣義上講點云、三角面也是型元表示。 這里我們把簡單元素定義為具有固定類型的幾何元素：如面、球面、長方體、球體等。

將物體抽象為若干個簡單實體??即體元的集合是種簡單且有效的三維表達方式。通過在大量數據上的學習，體元在類似數據上還具有一定的共同性，并呈現對應關系，在形狀理解和編輯上帶來不少好處。長方體作為簡單體元已經在最的兩個工作中使用??[Tulsiani2017]、[Zou2017]。這些工作用無監督或有監督的學習來預測若干數目長方體的大小、朝向、位置。通過學習可以把同類物體的共性、相似結構提取出來。目前的工作還局限于單一體元，拓展到多類型體元和建立體元之間的關系可能是未來研究的一個重點。

用盡量少的簡單面元可以逼三維形體，可簡化三維表示并方便處理。我們最在這方向做了一些探索[Wang2018a]??利用面片表示構造了自適應八叉樹結構以表達三維物體，極大地減少網絡訓練的內存與實踐開銷，并訓練解碼器生成自適應八叉樹結構以產生三維形體：解碼器預測當前八叉樹結點狀態：1. 不含三維形體表面的任一部分；2. 含三維形體表面的某一部分且能用面片很好似；3. 含三維形體表面的某一部分且不能用面片很好似。對于第三種狀態八叉樹繼續剖分。最后所有層的八叉樹里估計的面片集合構成了三維形體。下圖中展示了一個三維兔子模型在面片表示下的自適應八叉樹表達：(a)-(d) 是八叉樹不同層上葉子節點的面片元集合，(e)是所有面片元的集合，它重構了輸入的兔子模型。

下圖中展示了用自適應八叉樹解碼器將單幅圖片變成三維形狀的部分結果。相較其它生成算法，我們的方法在同等分辨率下可以恢復更多的細節。

樹形生成結構

樹形生成結構是將三維內容看做一個樹狀層次性結構，葉節點是內容的一部分，如物體的一個組件/場景中的一個物體等。這種結構比較適合由組件構成的物體或場景，并且組件之間有層級關系。Siggraph2017上一個名為GRASS的工作展示了此種結構在三維生成中的優越能力[Li2017]。其中的三維解碼器遞歸地生成樹形結構并預測節點上的定義的關系和葉節點中的內容。論文作者最也在GRASS基礎上開展了圖像到三維，場景生成等有意義的工作。

過程式建模

過程式建模是通過一系列既定規則來生成三維模型，其中包括L-system、分型、GML、CSG等造型方式。廣義地講，用戶通過組合軟件里給定的命令操作生成期望的模型，都可以稱之為過程式建模。過程式建模的好處是建模成為一個白盒，每一步都可以有相應的語義。目前這方面最的工作包括[Huang2017]和CSGNet [Sharma2018]。前者工作預測指定規則集的參數（包括離散和連續變量），后者生成一棵CSG樹??哪些基本體元參與其中、體元的參數、體元之間的布爾操作（交并補）與操作序列順序。

基于數據驅動來學習過程式建模才剛剛起步，筆者認為它的發展會是未來三維建模的一個新趨勢，其可以更大程度地降低建模門檻，便于添加創意以及編輯，并能夠保證建模質量，將依賴機器學習的建模做到"知其然知其所以然"的層次。

典型應用

三維生成不是憑空而生，大量的工作是依據用戶給定輸入來構建，如常見的基于單幅或多幅圖像進行三維生成、三維補全等方面的工作。下面介紹其它幾種有潛力的典型應用。

基于草圖的三維生成

不少設計者慣用草圖來快速粗略地描繪目標形狀或場景，這在概念設計里比較常見。如果能把草圖直接轉換成三維內容，那么對于設計者和一般用戶而言，三維生成將變得容易。基于草圖的三維生成在圖形學領域已經有很多工作，但大多基于幾何規則來構造。 2007年有一個工作[Lun2017]從數據驅動出發在卡通形象數據集上做了一個嘗試。給定卡通形象的正面和側面的二維草圖，網絡通過學習可以預測出卡通形象的三維形狀。 今年我們也在這方面做了進一步研究[Li2018]，我們借助草圖中的線條和曲面的曲率方向的相關性，利用卷積網絡預測出高質量的曲面形狀，而且對于曲面數據集類型無強的假設。下圖中展示了我們方法從一個或多個視角的草圖生成曲面的結果。相較傳統方法而言，基于數據驅動的草圖建模有著更魯棒、更迅捷的優勢。

基于文字的三維生成

對于普通用戶而言，繪制草圖也顯得太過專業，能否利用文字描述來生成三維內容呢？Text2Shape [Chen2018]將三維生成和自然語言處理結合起來。網絡把文字編碼解碼為符合描述的三維實體。比如輸入"Dark brown wooden dinning chair with red padded seat and round red pad back"，解碼器不僅生成三維幾何也生成相應的顏色去盡量符合文字描述。隨著這方面的進一步研究，相信人們利用語言文字來快速構建虛擬世界、調整家裝布局等個性化的場景會變為可能。

展望

目前基于數據驅動的三維生成工作還有很多不足。首先生成模型的完整度、精細度還與傳統三維建模有著相當的差距。生成結果離實用領域，尤其是加工制造方面，還有很長的路要走。對于三維結構和功能的理解與生成也是剛剛起步，還需要更多的研究。另外現有的工作還主要是從數據中歸納經驗指導生成，如何利用數據進行推理生成還需要更多的關注。

筆者對未來基于數據驅動的三維生成做一些展望。

形（shape）神（functional）兼備。目前基于數據驅動的三維生成在形狀和功能方面還差強人意，離實用的地步還相去甚遠，未來這方面還需更多更深入的研究。最胡等人的工作[Hu2018] 在功能分析與三維生成方向做了一個很好的結合與嘗試。

三維表達。合適的三維表達對于不同的應用非常重要，如骨架之于動畫、圖之于場景分析。 選擇合適的三維表達還將是未來三維生成的重點研究課題。

形狀空間的構建及生成的多樣性。利用各種對抗生成網絡及類似的尋找最優的形狀空間一直是眾多研究人員感興趣的課題。 構建好的形狀空間可以生成更多樣的三維內容、建立形狀之間的聯系、挖掘三維內容的各種關系。

不同媒體空間的聯合嵌入。圖像、文字、聲音等媒介是人們常用的交互溝通手段，每種媒介都已有大量樣本和學習出來的空間。建立這些空間之間的聯系，將為三維生成打開方便之門，使得其早日步入實用階段。這里有大量的機器學習成果可以借鑒。

表觀屬性和物理屬性。三維內容除了幾何，它的觀感、物理屬性（如彈性、密度）等也非常重要， 這些屬性的生成，對渲染、物理仿真和制造等方面都有著重要意義。

數據集的體量與質量。目前三維數據在體量和質量上處于初級階段，無法與圖像領域的ImageNet相比。擁有大量和高質量的數據，對于未來研究尤為重要。如何采集、清洗、分享、協同使用數據也是三維生成工作必不可少和極為重要的環節。

專注特定類別的應用，如人臉動畫、人體動畫、室內布局、服裝設計等與人的生活相關的三維生成工作將進一步走向產業化。

小結

本文簡介了目前基于數據驅動的三維幾何生成的部分工作，希望起到拋磚引玉的作用。更多內容可參考筆者在第二十一屆中國計算機輔助設計與圖形學(CAD&CG 2018)、第十一屆全國幾何設計與計算(GDC 2018) 聯合學術會議上所作的前沿進展報告《基于數據驅動的三維幾何生成》，點擊“閱讀原文”即可下載該報告的PDF版內容。