目前業內已經有比較成熟的三維位姿重建解決方案，即接觸式運動捕捉系統，如著名的光學運動捕捉系統Vicon(圖1)。首先在人體的關鍵部位(比如人體的關節)貼上特殊的光學標記，多個特殊的動作捕捉攝像頭可以從不同的角度實時檢測標記點。然後根據三角測量原理精確計算標記點的空間坐標，再利用逆運動學(IK)算法計算人體骨骼的關節角度。接觸式動作捕捉由於場景和設備的限制以及價格昂貴，很難被普通消費者使用。因此，研究人員將目光投向了低成本、非接觸式的無標記運動重建技術。本文主要介紹近年來利用單目RGB相機或RGB相機進行姿態重建的工作。
基於單目RGB-D攝像機的姿態重建
基於RGB-D的三維姿態重建方法可以分為兩類，關節角度等。以上工作都是經過強有力的監督訓練出來的。因為訓練數據是在受控環境中收集的，所以訓練的模型通常難以推廣到自然場景。
為了提高模型的泛化能力，壹些作品嘗試使用弱監督對自然場景中的圖像進行監督，如使用域鑒別器或模型擬合[76]將其提升到三維空間。
Martinez等人[62]設計了壹種簡單但有效的全連通網絡結構，以二維關節位置為輸入，輸出三維關節位置，如圖2所示。
隨後，趙等[75]提出利用語義圖疊加模塊捕捉人體關節點之間的拓撲相關性(如人體對稱性)，進壹步提高了三維姿態重建的精度。然而，從二維姿態映射到三維姿態本身是壹個模糊的問題，因為多個三維姿態可以投影相同的二維姿態[77]。最近的壹些工作試圖增加更多的先驗知識，以減少歧義[78-80]。
以上工作均屬於判別模型，預測的3D關節位置可能不符合人體解剖約束(如不滿足對稱性、骨長比不合理)或運動學約束(關節角度超限)。Mehta等人[63]將人體骨骼模板擬合到預測的二維和三維關節位置，並提出了第壹個基於RGB攝像頭的實時三維姿態重建系統VNect，獲得了更精確的姿態重建結果。如圖3所示。
參考
繼續前面的參考
[47] PLAGEMANN C、GANAPATHI V、KOLLER D等。來自depthimages的身體部位的實時識別與定位[C]//2010 IEEE機器人與自動化國際會議。IEEE，2010:3108-3113。
[48]肖特頓、菲茨吉本、庫克等人。單深度圖像的局部實時人體姿態識別[C]//CVPR2011。2011: 1297-1304.
[49] TAYLOR J，SHOTTON J，SHARP T，等.維特魯威流形:為單次人體姿態估計推斷密集對應關系[C]// 2012 IEEE計算機視覺和模式識別會議。IEEE，2012:103-110。
[50] GANAPATHI V，PLAGEMANN C，KOLLER D等。使用單個飛行時間相機的實時運動捕捉[C]//2010 IEEE計算機學會計算機視覺和模式識別會議。IEEE，2010: 755-762。
加納帕提五世，普拉格曼三世，科勒四世等。根據距離數據進行實時人體姿態跟蹤[C]//歐洲計算機視覺會議。施普林格，2012: 738-751。
[52]尤內斯庫C，帕帕瓦D，奧拉魯夫，等. Human3. 6m:自然環境中三維人體感知的大規模數據集和預測方法[J].IEEE模式分析與機器智能匯刊，2013，36(7):1325-1339。
[53]劉建民，劉建民，等.基於視頻和運動捕捉的人體運動評估方法[J].中國運動醫學雜誌，2002 .國際計算機視覺雜誌，2010，87(1-2):4。
[54]李，查那b .基於深度卷積神經網絡的單目圖像三維人體姿態估計[C]//亞洲計算機視覺會議。施普林格，2014: 332-347。
[55] POPA，贊菲爾，斯敏奇塞斯庫.用於集成二維和三維人體感知的深度多任務體系結構[C]//IEEE計算機視覺和模式識別會議錄.2017: 6289-6298.
[56]帕夫拉科斯G，周X，德爾潘尼斯K G，等。單圖像3D人體姿態的粗到細體積預測[C]//IEEE計算機視覺和模式識別會議。2017:7025-7034.
[57]方鴻生，徐勇，王偉，等.學習姿勢語法編碼人體結構的三維姿勢估計[C]//AAAI人工智能會議論文集:第32卷.2018.
[58]孫X，肖B，魏F，等.整合人類姿態回歸[C]//歐洲計算機視覺會議錄(ECCV).2018: 529-545.
[59] LEE K，LEE I，LEE S .傳播lstm:基於聯合相關性的3d姿態估計[C]//歐洲計算機視覺會議論文集(ECCV)。2018: 119-135.
[60] HABIBIE I，XU W，MEHTA D，等.使用顯式二維特征和中間三維表示估計野生人體姿態[C]//IEEE/CVF計算機視覺和模式識別會議論文集.2019: 10905-10914.
[61]法布裏M，子蘭F，卡爾德拉S，等.多人三維姿勢估計的壓縮體積熱圖[C]//IEEE/CVF計算機視覺和模式識別會議錄。2020: 7204-7213.
[62]馬丁內斯、侯賽因、羅梅羅等。壹種簡單而有效的三維人體姿勢估計基線[C]//IEEE國際計算機視覺會議論文集。2017: 2640-2649.
[63]梅塔·D、斯裏達爾·S、索特尼琴科·O等。用單個RGB攝像機進行實時三維人體姿態估計[J].ACMTransactions on Graphics (TOG)，2017，36 (4):44。
[64]羅，褚，楊.壹種用於三維人體姿態估計的全卷積神經網絡[J].arXiv preprintaxiv:1811.04989，2018。
[65] JOO H，SIMON T，SHEIKH Y. Totalcapture:用於跟蹤人臉、手和身體的3D變形模型[C]//IEEE計算機視覺和模式識別會議。2018: 8320-8329.
[66] HABERMANN M，徐W，ZOLLHOEFER M，等。Deepcap:使用弱監督的單目人體行為捕獲[J].arXiv:計算機視覺和模式識別，2020年。
孫曉，尚軍，梁，等.合成人體姿態回歸[C]//IEEE計算機視覺國際會議論文集.2017: 2602-2611.
[68]孫X，李C，林s .用於跟蹤人體姿態的顯式時空關聯學習[C]//IEEE/國際計算機會議論文集. 2019:.
[69] YANGW，歐陽，WANGX，等.基於對抗學習的野外人體姿態估計[C]//IEEE計算機視覺與模式識別會議.2018: 52555264.
[70]周X，黃Q，孫X，等.面向野外三維人體姿態估計的弱監督方法[C]//IEEE計算機視覺國際會議，2017: 398-407.
[71]魏瑟，羅摩克裏希納五世，卡納德T，等。卷積姿態機器[C]//IEEE計算機視覺和模式識別會議錄。2016: 4724-4732.
[72]楊凱，鄧傑.用於人體姿態估計的層疊沙漏網絡[C]//歐洲計算機視覺會議。2016: 483-499.
陳Y，王Z，彭Y，等.用於多人姿態估計的級聯金字塔網絡[C]//IEEE計算機視覺與模式識別會議(CVPR).2018.
肖B，吳H，魏y .人體姿態估計和跟蹤的簡單基線[C]//歐洲計算機視覺會議(ECCV).2018.
趙，彭，田，等.用於三維人體姿態回歸的語義圖卷積網絡[C]//IEEE/CVF計算機視覺與模式識別會議錄.2019:3425-3435.
[76]拉馬南德·陳茨赫。3D人體姿態估計= 2D姿態估計+匹配[C]//IEEE計算機視覺和模式識別會議錄。2017: 7035-7043.
[77] HOSSAINMR I，LITTLE J J .利用時間信息進行三維人體姿態估計[C]//歐洲計算機視覺會議論文集(ECCV)。2018: 68-84.
[78] TEKIN B，M？RQUEZ-NEILA P，SALZMANN M，等.學習融合2d和3d圖像線索進行單目人體姿勢估計[C]//IEEE計算機視覺國際會議論文集.2017: 3941-3950.
[79]王，黃，王，等.不是所有的部分都是平等的:通過模擬身體部分的雙向依賴性進行三維姿態估計[C]//IEEE/CVF國際計算機視覺會議論文集.2019: 7771-7780.
[80] PAVLAKOS G，周X，DANIILIDIS K .用於三維人體姿態估計的順序深度監督[C]//IEEE計算機視覺和模式識別會議，2018: 7307-7316.