基于自主研發(fā)的NE-D163A 主控SoC人工智能視覺芯片，肇觀電子今日面向機器人、安防、AR/VR、無感智能門禁、機器視覺、物聯(lián)網(wǎng)、智能交通（客流統(tǒng)計）等行業(yè)推出內(nèi)嵌AI智能深度相機Feynman系列，提供SDK，賦能客戶部署差異化算法，支持客戶深度定制，以滿足各種智能設(shè)備定位、避障和智能分析等需求。Feynman系列深度相機的主控芯片內(nèi)嵌幾何和深度引擎DEP，AI加速引擎NPU與視覺加速引擎DSP，采用主動雙目視覺技術(shù)，在室內(nèi)外各種場景，均能生成高幀率和高精度的深度圖，同時支持端側(cè)實時智能AI算法的部署。整機具有深度圖精度高、幀率高、AI算力強、ISP成像質(zhì)量好、集成度高、功耗低、體積小等諸多優(yōu)點。
▲ 內(nèi)嵌AI的智能深度相機Feynman M1
Feynman相機搭載了散斑結(jié)構(gòu)光、雙目紅外攝像頭IR模組、彩色攝像頭RGB全局曝光模組以及慣性測量單元 （IMU）。這些豐富的傳感器組合提供了多維度的信息，使得Feynman相機能夠幫助機器人構(gòu)建強大的環(huán)境感知和理解能力。
▲ Feynman M1 結(jié)構(gòu)圖
01. Feynman深度相機的卓越性能
由于Feynman相機自帶1.2Tops INT8 / 0.6Tops FP16 NPU（Neural Processing Unit）和666 DMIPS DSP（Digital Signal Processor）視覺加速算力，因此，在產(chǎn)生深度圖的同時可以基于RGB圖像或者深度圖完成物體識別、檢測和智能分析等功能。進而，利用DSP加速視覺算子，相機可定制實現(xiàn)高性能的深度圖后處理，點云處理，以及對VSLAM算法關(guān)鍵函數(shù)的加速。這是目前業(yè)界唯一一款內(nèi)嵌AI和DSP擴展算力的深度相機。
▲ Feynman M1 Depth+CNN演示效果
深度距離的精確程度取決于深度圖的精度。Feynman相機具有強大的深度視覺處理能力，它無需外掛其他處理器，就可以產(chǎn)生性能高達720P 30FPS的深度圖，且具有極低的空洞率。實測數(shù)據(jù)表明，在同一物品和同一光照條件的情況下，某國際巨頭R* D435 的空洞率在1%附近，F(xiàn)eynman空洞率為0.2%。
▲ Feynman M1深度圖效果
Feynman的深度圖具有90°對角的廣角視場，可以幫助智能設(shè)備看得更廣，實現(xiàn)更好的避障和路徑規(guī)劃。下圖可以看出，F(xiàn)eynman所看到的場景比常規(guī)深度相機看到的視野更寬廣。
▲ 市面常規(guī)相機深度圖58°*45°（左）vs Feynman M1深度圖84°*60°（右）
Feynman相機內(nèi)置的NE-D163A芯片還具有業(yè)內(nèi)創(chuàng)新的自學(xué)習(xí)ISP流水線架構(gòu)，從而在各種復(fù)雜光照環(huán)境下均能獲得優(yōu)質(zhì)的圖像。Feynman相機傳感器支持極高動態(tài)的HDR，并且在低照度場景下依然能清晰成像。
▲ 不同光照環(huán)境下的圖像處理對比圖
在與市場上高端3D深度相機的性能指標進行比較之后（下表），可以看出Feynman 3D+AI深度相機的競爭優(yōu)勢，尤其在智能方面的亮點更加突出。相機的結(jié)構(gòu)非常緊湊，尺寸為89.8mm x 25mm x 30.8mm，和市面主流深度相機的大小兼容。
▲ 某國際巨頭R* D435 （左）與Feynman M1 （右）
性能參數(shù) | 某國際巨頭R* D435 | NextVPU Feynman M1 |
深度圖精度@測量范圍 | 2%@0.2-2m | 2%@0.1-3.0m |
深度圖像 | Up to 480p@90fps | Up to 480p@100fps |
深度FOV | 87°*58° | 84°*60° |
深度環(huán)境適用場景 | 室內(nèi)，室外 | 室內(nèi)，室外 |
陽光下空洞率高 | 陽光下低空洞率 |
RGB圖像 | 卷簾曝光 | 全局曝光 |
端側(cè)擴展算力 | 不支持 | 1.2T NPU |
666 DMIPS DSP |
IMU | 不支持 | 9DoF |
接口 | USB3.0 | USB3.0 |
以太網(wǎng)（擴展款） |
電源及數(shù)據(jù)航插(擴展款) |
防水防塵 | 不支持 | IP54 |
環(huán)境溫度 | 0~35℃ | -10~65℃ |
▲ 某國際巨頭R* D435 vs Feynman M1性能參數(shù)比較
機器人、安防、AR/VR、無感智能門禁、機器視覺、物聯(lián)網(wǎng)、智能交通
02. 主控SoC AI 視覺芯片 NE-D163A
這顆主控SoC芯片NE-D163A是由肇觀電子自主研發(fā)，擁有高性能深度視覺處理獨立硬件IP，專門應(yīng)用于機器人、AR/VR、工業(yè)檢測等領(lǐng)域的芯片，已在客戶產(chǎn)品中通過了人臉支付、活體檢測的BCTC增強級認證。下表是芯片的各項參數(shù)：
▲ NE-D163A 視覺AI芯片
▲肇觀電子視覺AI芯片NE-D163A參數(shù)
NE-D163A 包含的NPU具有業(yè)界領(lǐng)先的硬件利用率。根據(jù)每TOPS下對典型網(wǎng)絡(luò)的推理幀率，NE-D163A的性能比業(yè)界其它AI芯片相比要高2-3倍。其自帶的AI編譯器Infer Studio? 支持Caffe，Tensorflow，NCNN，ONNX等框架以及CNN，RNN，LSTM，Transformer等網(wǎng)絡(luò)類型。同時，NE-D163A的NPU重點支持FP16和INT8兩種精度類型，FP16精度無損、INT8精度損失在1%以內(nèi)，提供了更高的算法部署的準確度。
▲ 不同芯片跑幾種經(jīng)典網(wǎng)絡(luò)模型每秒處理的圖片幀數(shù)對比
測試網(wǎng)絡(luò) | 網(wǎng)絡(luò)大小 | PC NCNN fp32訓(xùn)練
精度（公開數(shù)據(jù)） | 部署至NE-D163A的
INT8精度 |
|
GoogleNet _V1/
Inception v1 | 224x224x3 | top 1= 0.661 | top_1= 0.653 |
top 5=0.884 | top_5= 0.886 |
mobilenetv1 | 224x224x3 | top_1= 0.698 | top_1= 0.695 |
top_5= 0.904 | top_5= 0.903 |
mobilenetv2 | 224x224x3 | top_1= 0.713 | top_1= 0.711 |
top_5=0.895 | top_5= 0.892 |
resnet18 | 224x224x3 | top_1= 0.664 | top_1= 0.670 |
top_5=0.889 | top_5= 0.886 |
resnet50 | 224x224x3 | top_1= 0.743 | top_1=0.743 |
top_5= 0.926 | top_5= 0.921 |
SENet-R50 | 224x224x3 | top_1= 0.760 | top_1=0.763 |
top_5= 0.936 | top_5=0.935 |
squeezenet_ v1.1 | 227x227x3 | top_1= 0.577 | top_1= 0.577 |
top_5= 0.796 | top_5= 0.798 |
▲經(jīng)典網(wǎng)絡(luò)模型在PC端和NE-D163A芯片上推理結(jié)果的精度實測對比，精度損失在1%以內(nèi)
03. Feynman深度相機的應(yīng)用場景
Feynman相機不僅適用于室內(nèi)，場景復(fù)雜的室外仍然適用，在陽光下也可以獲得好的深度圖。市面上常見的深度相機，其主動光在太陽光下容易受到干擾，從而無法獲得良好的深度圖。Feynman相機采用獨特的光學(xué)設(shè)計，在室外陽光下應(yīng)用時，能在降低太陽光干擾的同時，保持信噪比，從而保證深度圖的準確性和完整性。
▲ Feynman M1室外陽光下深度圖
除了在機器人領(lǐng)域的廣泛應(yīng)用，F(xiàn)eynman相機也在工業(yè)場景有諸多應(yīng)用，針對工業(yè)場景，F(xiàn)eynman提供了具有千兆以太網(wǎng)，電源和控制信號航插的擴展款。
▲ Feynman M1擴展款
04. 易于開發(fā)者二次開發(fā)
Feynman出廠自帶標定參數(shù)，支持固件升級。為了方便開發(fā)者快速評測和集成，肇觀電子還提供了豐富的軟件工具和SDK支持：
主機端SDK源碼，包括Windows/Ubuntu(ROS)/Android平臺的SDK支持。該SDK用于主機訪問和控制相機設(shè)備端，代碼開源在Github和Gitee上面。對于需要利用端側(cè)AI和DSP算力的產(chǎn)品和深度定制的客戶，F(xiàn)eynman提供了設(shè)備端SDK。
▲ 各平臺SDK支持
Feynman Viewer是Windows應(yīng)用，可以通過USB接口進行相機訪問，實時控制相機，并完成各類圖像獲取及展示等功能。
▲ Feynman Viewer 應(yīng)用程序界面
Feynman符合人眼安全相關(guān)認證標準 IEC60825 Class I，IEC62471，防塵防水等級IP54，通過了第三方可靠性及EMC相關(guān)測試。
▲ Feynman 紅外激光人眼安全等級
05. 結(jié)語
肇觀電子結(jié)合自身的高性能芯片研發(fā)能力，3D視覺能力和系統(tǒng)整合能力，推出具有大廣角、高幀率、高精度的Feynman 3D+AI 相機來滿足各種智能設(shè)備定位、避障和智能分析等需求。另外一方面，由于消耗大量計算力視覺計算的任務(wù)轉(zhuǎn)移到Feynman相機里面來完成，智能設(shè)備對外圍芯片的算力需求隨之降低，因而廠商可以選擇低成本的外圍芯片，這有助于降低智能設(shè)備的整體硬件成本。
近年來，伴隨工業(yè) 4.0、人工智能、機器人等產(chǎn)業(yè)的蓬勃發(fā)展，3D視覺感知成為了限制目前包括機器人、安防、AR/VR、無感智能門禁、機器視覺、物聯(lián)網(wǎng)、智能交通等眾多領(lǐng)域發(fā)展的瓶頸，深度相機的需求迅速增長。尤其在移動服務(wù)機器人行業(yè)，包括送餐機器人、酒店服務(wù)機器人，商場機器人，巡檢機器人、工廠AGV自主移動機器人、特種移動機器人等，機器人廠商不斷尋求性能卓越，可靠，價格合適的深度相機。目前，Feynman系列相機已在諸多機器人產(chǎn)品中批量商用。
