在泛機器人、無人機、元宇宙和多種新興應(yīng)用的推動下，3D視覺正在成為全球追逐的熱點技術(shù)。
從技術(shù)方案上看，目前常見的3D視覺方案主要包括雙目、結(jié)構(gòu)光和TOF 三個技術(shù)方向。這三種技術(shù)方向各有所長，國內(nèi)外也有不少廠商圍繞著這三個方向打造其解決方案。在銀牛微電子（下稱“銀牛”）首席產(chǎn)品官白逸看來，以雙目立體視覺為核心的多傳感器融合方案，是未來3D視覺應(yīng)用的重要發(fā)展趨勢。
全球唯一量產(chǎn)，單芯片集成
和基于TOF、結(jié)構(gòu)光原理的深度相機不同，雙目立體視覺技術(shù)完全依靠同時拍攝的兩張圖片所產(chǎn)生的視差信息（彩色RGB或者灰度圖）來計算目標物體的深度信息。為此在實際的方案打造中，除了對雙目立體視覺算法的芯片化要求更高以外，為了整個設(shè)計的靈活性，開發(fā)者也對芯片乃至整個方案的尺寸和成本有著更嚴苛的要求。
正如白逸所說，業(yè)界通用做3D雙目立體視覺方案時，都是在傳統(tǒng)的CPU、FPGA等上跑相關(guān)算法，這樣不但導(dǎo)致硬件算力需求過高，同時在系統(tǒng)功耗方面也帶來了挑戰(zhàn)。為此，3D視覺行業(yè)在借鑒了音視頻編解碼從“通用芯片+軟件”的解決方案到定制芯片方案的發(fā)展歷程，算法芯片化的高集成度方案成為了3D雙目立體視覺的重要發(fā)展方向。
從技術(shù)方案上看，目前常見的3D視覺方案主要包括雙目、結(jié)構(gòu)光和TOF 三個技術(shù)方向。這三種技術(shù)方向各有所長，國內(nèi)外也有不少廠商圍繞著這三個方向打造其解決方案。在銀牛微電子（下稱“銀牛”）首席產(chǎn)品官白逸看來，以雙目立體視覺為核心的多傳感器融合方案，是未來3D視覺應(yīng)用的重要發(fā)展趨勢。
全球唯一量產(chǎn)，單芯片集成
和基于TOF、結(jié)構(gòu)光原理的深度相機不同，雙目立體視覺技術(shù)完全依靠同時拍攝的兩張圖片所產(chǎn)生的視差信息（彩色RGB或者灰度圖）來計算目標物體的深度信息。為此在實際的方案打造中，除了對雙目立體視覺算法的芯片化要求更高以外，為了整個設(shè)計的靈活性，開發(fā)者也對芯片乃至整個方案的尺寸和成本有著更嚴苛的要求。
正如白逸所說，業(yè)界通用做3D雙目立體視覺方案時，都是在傳統(tǒng)的CPU、FPGA等上跑相關(guān)算法，這樣不但導(dǎo)致硬件算力需求過高，同時在系統(tǒng)功耗方面也帶來了挑戰(zhàn)。為此，3D視覺行業(yè)在借鑒了音視頻編解碼從“通用芯片+軟件”的解決方案到定制芯片方案的發(fā)展歷程，算法芯片化的高集成度方案成為了3D雙目立體視覺的重要發(fā)展方向。
銀牛順應(yīng)行業(yè)發(fā)展趨勢，深耕3D算法芯片化的高集成度單芯片解決方案，并致力于成為3D視覺時代全球領(lǐng)先的半導(dǎo)體企業(yè)。“我們的自研系列芯片是全球唯一量產(chǎn)單芯片集成3D視覺感知、AI（人工智能）、SLAM（實時定位與建圖）的系統(tǒng)級芯片”，白逸在日前舉辦的光博會上告訴筆者。他同時強調(diào)，銀牛是國內(nèi)唯一一家把3D雙目立體視覺算法實現(xiàn)芯片化的企業(yè)，在國際上也是唯二的。“我們實際上是在邊緣端整合了一個空間計算和點云的異構(gòu)平臺，打造了一系列感算一體化的3D視覺芯片”。
目前，銀牛已經(jīng)推出了基于12nm先進工藝打造的NU4000及NU4100這兩顆3D視覺芯片。
白逸介紹說，NU4000芯片的特點在于將雙目立體視覺技術(shù)的算法芯片化，同時也集成了全球領(lǐng)先的3D感知處理硬件單元、AI與SLAM硬件引擎，能有效分擔系統(tǒng)算力、降低系統(tǒng)功耗和成本。
白逸介紹說，NU4000芯片的特點在于將雙目立體視覺技術(shù)的算法芯片化，同時也集成了全球領(lǐng)先的3D感知處理硬件單元、AI與SLAM硬件引擎，能有效分擔系統(tǒng)算力、降低系統(tǒng)功耗和成本。
據(jù)了解，通過芯片內(nèi)建的完全可編程AI CNN引擎，銀牛自研系列芯片最高能提供3.5TOPS算力，不僅提供完整的人工智能/深度學(xué)習(xí)解決方案和算法庫，同時提供客制化人工智能算法API接口滿足客戶靈活需求相比業(yè)界通用方法將軟件算法直接運行在系統(tǒng)處理器；通過實現(xiàn)SLAM的芯片化，銀牛自研系列芯片將SLAM流程分工到不同芯片模塊中運行，節(jié)省了系統(tǒng)主控芯片算力。
2022年成功量產(chǎn)的NU4100芯片，與NU4000相比，其深度感知及SLAM引擎保持不變，但額外集成了2路4K的ISP，并對片上AI引擎進行了迭代升級，使得其AI算力相比NU4000幾乎翻倍，能以更低成本、更低功耗的方式幫助客戶實現(xiàn)系統(tǒng)升級。正是得益于這兩項關(guān)鍵性技術(shù)點的提升，讓NU4100在越來越多的彩色圖像與3D視覺結(jié)合的場景中 (如無人機、3D掃描、智能制造、MR頭顯應(yīng)用等)，處理起來更加得心應(yīng)手。
作為一系列內(nèi)建包括3D深度處理引擎、SLAM引擎和通用視覺加速引擎等眾多自研處理器引擎的芯片，銀牛的自研芯片可以直接充當系統(tǒng)協(xié)處理器，為系統(tǒng)提供強勁的邊緣感知計算能力。
擁有了這些領(lǐng)先的芯片和技術(shù)，銀牛能夠針對不同市場的需求，提供更全面的服務(wù)。
從芯片到方案，全面覆蓋
在與白逸的交流中，他強調(diào)，銀牛不但可以為行業(yè)客戶提供3D視覺芯片，為加快他們的開發(fā)速度，公司針對不同應(yīng)用的需求，提供端到端芯片、算法、模組和系統(tǒng)的全棧解決方案，以加速3D立體視覺技術(shù)在泛機器人等市場應(yīng)用的落地。“我們現(xiàn)在主要瞄準的方向包括了泛機器人、元宇宙、物流無人機等領(lǐng)域。”白逸補充說。
白逸舉例指出，公司的一顆芯片可以支持6路攝像頭，那就意味著只用兩顆芯片就能支持類似蘋果Vision Pro的12路攝像頭方案。在他看來，搭載銀牛芯片的解決方案，不但擁有功耗低、空間小等優(yōu)勢，使用銀牛芯片的系統(tǒng)方案成本也擁有現(xiàn)有方案難以比擬的價格優(yōu)勢。
在光博會現(xiàn)場，銀牛除了帶來了目前市場上唯一一款支持SLAM算法和自主導(dǎo)航避障等多功能于一體的3D雙目立體視覺模組C158外，公司還帶來R132、R130和R112等產(chǎn)品的展示。
2022年成功量產(chǎn)的NU4100芯片，與NU4000相比，其深度感知及SLAM引擎保持不變，但額外集成了2路4K的ISP，并對片上AI引擎進行了迭代升級，使得其AI算力相比NU4000幾乎翻倍，能以更低成本、更低功耗的方式幫助客戶實現(xiàn)系統(tǒng)升級。正是得益于這兩項關(guān)鍵性技術(shù)點的提升，讓NU4100在越來越多的彩色圖像與3D視覺結(jié)合的場景中 (如無人機、3D掃描、智能制造、MR頭顯應(yīng)用等)，處理起來更加得心應(yīng)手。
作為一系列內(nèi)建包括3D深度處理引擎、SLAM引擎和通用視覺加速引擎等眾多自研處理器引擎的芯片，銀牛的自研芯片可以直接充當系統(tǒng)協(xié)處理器，為系統(tǒng)提供強勁的邊緣感知計算能力。
擁有了這些領(lǐng)先的芯片和技術(shù)，銀牛能夠針對不同市場的需求，提供更全面的服務(wù)。
從芯片到方案，全面覆蓋
在與白逸的交流中，他強調(diào)，銀牛不但可以為行業(yè)客戶提供3D視覺芯片，為加快他們的開發(fā)速度，公司針對不同應(yīng)用的需求，提供端到端芯片、算法、模組和系統(tǒng)的全棧解決方案，以加速3D立體視覺技術(shù)在泛機器人等市場應(yīng)用的落地。“我們現(xiàn)在主要瞄準的方向包括了泛機器人、元宇宙、物流無人機等領(lǐng)域。”白逸補充說。
白逸舉例指出，公司的一顆芯片可以支持6路攝像頭，那就意味著只用兩顆芯片就能支持類似蘋果Vision Pro的12路攝像頭方案。在他看來，搭載銀牛芯片的解決方案，不但擁有功耗低、空間小等優(yōu)勢，使用銀牛芯片的系統(tǒng)方案成本也擁有現(xiàn)有方案難以比擬的價格優(yōu)勢。
在光博會現(xiàn)場，銀牛除了帶來了目前市場上唯一一款支持SLAM算法和自主導(dǎo)航避障等多功能于一體的3D雙目立體視覺模組C158外，公司還帶來R132、R130和R112等產(chǎn)品的展示。
據(jù)介紹，C158是一款寬基線的3D雙目立體視覺模組，有U口版和工業(yè)網(wǎng)口版兩個版本可選。該款模組搭載了高達2T運算能力的NU4000 SOC芯片，集成了3D、Al、SLAM算法，有強大的深度和RGB感知能力，可為不同的應(yīng)用場景提供高精度、高質(zhì)量的深度數(shù)據(jù)，另外，它還搭配了雙魚眼和六軸IMU，能達到800Hz采樣，實現(xiàn)實時的高精度建圖和重定位。
銀牛方面也強調(diào)，因雙目立體視覺技術(shù)的特性，使得C158不但在室內(nèi)有非常好的深度數(shù)據(jù)效果，在室外也表現(xiàn)出色，甚至在強光超過15萬Lux的光照條件下深度數(shù)據(jù)依然精準。
銀牛方面也強調(diào)，因雙目立體視覺技術(shù)的特性，使得C158不但在室內(nèi)有非常好的深度數(shù)據(jù)效果，在室外也表現(xiàn)出色，甚至在強光超過15萬Lux的光照條件下深度數(shù)據(jù)依然精準。
R132則是大廣角的3D雙目立體視覺系列模組，同樣有U口版、工業(yè)網(wǎng)口版和專注3D掃描的R132-scan版本可選。該款模組體積小但功能強大，內(nèi)部同時搭載彩色RGB和六軸IMU，可為不同的應(yīng)用場景提供高精度、高質(zhì)量的深度數(shù)據(jù)和彩色數(shù)據(jù)。由于它大廣角的視野和寬廣的測量范圍，可輕松應(yīng)用到各種感知和測量解決方案中。“該系列模組可以滿足泛機器人客戶高度關(guān)注的大視場角需求，同時，R132系列模組的盲區(qū)小至10cm，能夠更好地支持機器人在窄小空間進行自主避障。”白逸說。
本次光博會上展出的R130和R112則是銀牛在今年發(fā)布的最新視覺模組。其中R130模組基于雙目立體視覺技術(shù)獲取物體的深度圖像，同時利用彩色相機采集物體的彩色影像，適用于 0.2m-3m 距離進行3D物體的感知、測量等，可廣泛應(yīng)用在機器人感知、避障、導(dǎo)航等場景；R112則是一款高精度的近距版雙目立體視覺模組，主打定位是短距深度測量，探測距離可低達5cm，精度在亞毫米級，能幫助客戶設(shè)備近距離、高精度地拾取和放置小型物體，也可應(yīng)用在缺陷檢測等場景。
從銀牛的介紹我們可以看到，公司的解決方案已經(jīng)在泛機器人、元宇宙、物流無人機、AIoT、智慧醫(yī)療和消費電子等領(lǐng)域落地。展望未來，白逸認為，銀牛的3D雙目立體視覺方案能在汽車自動駕駛市場上找到新的機會。
寫在最后
白逸表示，縱觀當前的汽車自動駕駛解決方案，純視覺解決方案——通過對海量的視覺數(shù)據(jù)進行訓(xùn)練并學(xué)習(xí)——具有強大的適用性和競爭力，這就讓3D雙目立體視覺方案找到了發(fā)力點。
但是，要實現(xiàn)這個目標，就需要終端芯片擁有更強大的AI算力，這也將是銀牛未來重點發(fā)展的技術(shù)方向之一。
如文章開頭所說，3D立體視覺有幾種不同的技術(shù)方向，但在白逸看來，以雙目立體視覺為核心的多傳感器融合方案將會是最有競爭力的答案。以單純ToF技術(shù)為例，歸根到底這就不是一個視覺感知方案，而是通過計算飛行時間來實現(xiàn)的，高度依賴定制器件，這就意味著如果要增大對感知目標深度圖像的刷新率和分辨率要求，就要加大投入去定制傳感器和投射儀，這都是昂貴的系統(tǒng)成本，從而導(dǎo)致可能無法快速大規(guī)模商用。
“我們芯片的多傳感器融合技術(shù)和異構(gòu)解決方案，擁有很大的發(fā)展?jié)摿?rdquo;，白逸說。
