CVPR（Conference on Computer Vision and Pattern Recognition）即國際計算機視覺和模式識別會議，是IEEE主辦的全世界最大的，也是最權威的計算機視覺領域會議，在國際上享有盛譽并具有廣泛的學術影響力。 網易互娛AI Lab針對實際業務中的視頻動作捕捉需求，提出了一套創新、高效的產品級手部動作捕捉方案并整理成論文《Spatial-Temporal Parallel Transformer for Arm-Hand Dynamic Estimation》，被CVPR 2022接收。
圖（左和中）為雙視角拍攝的圖，圖（右）為游戲實際角色效果
動作捕捉技術在影視和游戲行業已得到廣泛的應用，其中最常用的技術方案是光學動作捕捉。光學動捕需要演員穿著緊身動捕服，并且在身上粘貼光學標記點，在配置好光學動捕設備的場地進行表演和動作錄制。光學動捕設備通常價格不菲，同時還需要固定的室內場地，使用成本和門檻較高，很多小型動畫工作室只能望而卻步。如果可以從手機拍攝的視頻中高精度地捕捉人物動作，那將是動畫師的福音。
網易互娛AI Lab針對這個需求開發了iCap —— 一款產品級的視覺動作捕捉工具，只需用手機從兩個視角拍攝同一組人物動作，便可快速高質量地捕捉到人物的動作，得到骨骼動畫數據。
相比于傳統光學動作捕捉流程，iCap有以下優勢：
1.快速產出：能夠快速產出動作數據，更適用于敏捷開發，方便前期試錯；
2.隨時隨地：只需光照條件足夠讓拍攝清晰，便可隨時隨地拍攝視頻，產出結果；
3.節約人力，節約成本；
值得一提的是，iCap不僅支持身體關節數據捕捉，也支持手部數據捕捉，CVPR被錄用的論文，就是iCap中的手部動作捕捉方案。
現有的手部動作捕捉方法大部分是將手部信息和身體信息分開考慮的，即這些方案的輸入是單純的手部視覺信息。這樣做的問題是，捕捉到的手部動作可能會和手臂動作存在不匹配，不協調的情況，在整合進全身動作捕捉數據時容易產生不合理的姿態。另外，現有的手部動作捕捉方法大多都只考慮了當前幀的信息，未能考慮幀間連續性，輸出的動作容易出現抖動，也難以應對復雜的手部動作捕捉場景（模糊、遮擋等）。這些問題都導致現有方案比較難以推向實際應用。
為解決現有方案的痛點，網易互娛AI Lab提出了解決方案，該方案的主要貢獻點如下：
1.考慮到手臂動作和手部動作之間的相關性，設計模型同時預測手臂和手部動作；通過利用此相關性，輸出的手臂和手部姿態會更加合理；
2.通過兩個transformer模型分別在時間和空間維度上提取相關性信息，使得手臂和手部的相關性能夠更好地被利用，與此同時也能輸出幀間連續的結果；另外，論文還定制了合適的目標函數以獲得準確而穩定的輸出序列；
下圖展示了iCap中手部動作捕捉算法的整體框架及整體的效果，目前該算法已接入視覺動作捕捉產品iCap中，并持續幫助多個游戲工作室進行動作資源輔助生產。
整體框架
部分實驗效果
【免責聲明】本文僅代表合作供稿方觀點，不代表和訊網立場。投資者據此操作，風險請自擔。
最新評論