公司這次的公告是什麽？第三代架構是雙目視覺感知引擎架構，可以支持全球最高分辨率。相比上壹代，架構整體性能大幅提升，作為核心參數的分辨率指標提升了近12倍。
長期以來，在人工智能3D視覺感知領域，雙目立體視覺技術往往因其算法復雜度高、計算能力需求大而讓人又愛又恨。然而，雙目立體視覺技術作為3D傳感領域的重要組成部分，因其能夠測量遠近距離、室內室外均可兼顧等諸多優勢，受到了眾多行業用戶的青睞。
雙目立體視覺技術利用三角測量原理，通過兩個相對位置固定的攝像機對場景同時成像，根據成像中的視差計算深度。典型的計算方法如下:
其中，F是相機的焦距，B是基線，D是視差，Z是深度值。基於這個理論框架可以得出結論，雙目立體視覺的測量精度會隨著測量距離的增加而嚴重衰減，這也是目前雙目視覺系統的壹大痛點之壹。同時，為了提高系統的覆蓋面積，需要增加相機視場，這將進壹步減小焦距f，並隨著距離的增加進壹步增加Z方向精度的衰減程度。
因此，壹個雙目立體視覺系統既能“看得遠”，又能“看得清”，在現有主流分辨率(1280*800)和系統體積(基線通常在12cm以下)的約束下，這是很難實現的。
綜上所述，提高雙目視覺系統的分辨率是目前實現技術突破的唯壹直接途徑，也符合CMOS圖像傳感器分辨率不斷提高的發展趨勢。
但是，如果要提高雙目分辨率，對計算能力和存儲帶寬的需求將呈指數級增長，這對現代計算機存儲計算架構將是壹個極大的挑戰。在傳統的CPU或GPU架構下實現是非常昂貴的(在KITTI雙目評測排名中，壹個4核2.6Ghz的CPU僅運行匹配算法rSGM就需要0.2秒)，很難達到理想的計算效率和功耗/成本的平衡。
基於以上分析，妳怎麽看？第三代雙目視覺感知引擎的架構依然延續了上壹代的邏輯單元(FPGA)+ CPU的異構計算架構。新架構采用DDR4 64位存儲架構，內存存儲帶寬比上壹代提升4倍。經過壹系列算法加速設計創新，水平分辨率提升近4倍，整體分辨率提升近12倍。
第三代架構延續了上壹代邏輯單元+CPU的異構設計模式，在上壹代的基礎上，主要突破了內存帶寬的技術瓶頸和分辨率提升帶來的片上存儲資源的技術瓶頸。外形設計如下:
系統采用DDR4作為存儲單元，提高了邏輯單元與外部存儲單元的數據交互效率，設計帶寬高達16.5GB/s/s，同時系統核心單元之間延續了流水線設計，最大限度降低了計算帶來的延遲，滿足了數據輸入到數據輸出的延遲小於1圖像幀時間的設計要求。同時，系統還可以支持各個單元更細粒度的並行處理，對於實時性要求較高的場景，可以快速支持以空間換時間的設計，最大限度地降低系統延遲。
第三代架構的詳細性能參數如下表所示:
最終，仁家公司在Xilinx ZNQ ultra scale+zcu 102評估板平臺上完整實現了該架構。資源消耗如下表所示:
Xilinx工具集Vivado 2018.3中的實踐如下圖所示:
為了突破分辨率大幅提升帶來的存儲資源和計算資源瓶頸，人工加智能的工程師們進行了壹系列創新設計，以三個關鍵點為例，簡要介紹如下:
(1)利用動態修正參數壓縮技術優化內存帶寬資源。
雙目立體校正采用逆映射和雙線性插值，壹個目標像素的生成需要對應壹組雙線性插值中使用的二維坐標值和比例值。以分辨率為4608x2560@20fps的設計為例，壹個像素需要4.5字節的信息，DDR讀取速率為1 Gb/s，對於兩幅圖像的同時校正，整體帶寬占用速率高達2 Gb/s..根據校正所需數據的分布特點，人工智能提出了壹種校正數據的壓縮和解壓縮方法，其中壓縮在CPU下離線完成，解壓縮部分是邏輯資源的實時計算。最終采用的壓縮方法可以達到2:1的壓縮比，解壓縮單元占用的資源只有200多lut和0.5 BRAM。詳情如下:
(2)采用動態切片校正技術，片內存儲器使用空間減少到1/3。
隨著水平分辨率的提高，行緩存的寬度增加，因此緩存圖像數據實時計算的存儲空間需求增加了近4倍(與上壹代相比)。為了解決片上塊RAM資源短缺的問題，人工智能設計了壹個可以動態切片和糾錯的框架。典型的設置可以將圖像橫向分成三塊，可以將片上存儲的空間需求降低到1/3，同時在BRAM資源更加短缺的場景下，可以支持更多的切片。
(3)塊對塊立體匹配設計。
架構的立體匹配部分依然延續了上壹代SGM/BM的設計算法。人工智能在保證設計性能的基礎上，采用了分塊匹配的思想，將左右圖像分成兩部分獨立匹配，在設計上進壹步將BRAM資源的使用減少到1/2。
雙目立體視覺處理架構的升級是在當前場景應用對雙目視覺系統提出更大視角和更高精度的雙重要求下完成的。升級後，將為智能實體消費行為分析應用帶來以下好處:
(1)增加了單個雙目視覺系統的覆蓋範圍。
通過將攝像機視場角提高到130-150(上壹代設計指標為100)，單個雙目視覺系統的覆蓋面積可以達到100平方米，可以減少攝像機的使用數量，從而降低系統維護成本，增強系統穩定性。
(2)空間定位更準確。
更高的深度圖分辨率會帶來更高的測量精度，使空間定位更加精確。
(3)圖像細節更豐富，識別更準確。
通過此次升級，人工智能雙目視覺系統可以提供12萬像素的原始圖像，這將大大提高圖像識別和其他應用的精度。
(4)深度算法支持叠代升級優化，增加了場景的適應性。
第三代架構擴展了FPGA SOC的設計，實現了硬件加速級算法的升級和維護，可以根據具體場景進行配置和優化。
同時，此次升級也為雙目立體視覺技術應用於市場帶來了新的想象空間。當分辨率提高到1200萬像素時，系統的測距範圍可以提高到千米級別。可以想象，將為壹些大規模測量領域(如自動駕駛、智能安防等領域)提供新的方案。
human plus Intelligence(www . human plus . ai)是壹家以智能視覺傳感和人類行為識別為核心技術的人工智能公司。現在專註於為零售品牌和零售商提供客戶行為分析服務，包括客流分析、銷售轉化分析、客流動態分析、人貨互動分析等。，幫助品牌零售決策和執行過程實現“數據驅動”和“人機協同”。
原文鏈接:/s/VFp5tZC0dTRIsot4UtTm2A