行业新闻
Company News
智能时代到来,3D机器视觉普及的难点在哪里?
12月26日,第十八届中国国际社会公共安全博览会(以下简称“CPSE安博会”)在深圳会展中心开幕。作为三维视觉全栈技术解决方案引领者,的卢深视亮相1号馆1C40展位,展示“机器标配的眼睛”成熟商用成果。
根据Tractica数据,全球3D传感器和硬件子系统市场将从2017年的82亿美元增长到2025年的579亿美元。3D传感器提高成熟度,降低成本,凭借更优性价比,实现“降维打击式替代”。
在智慧城市领域赋能轨道交通,为广州地铁十条线,提供3D刷脸支付进站设备。在智慧金融领域赋能安全支付,为支付巨头提供全产品全系列3D高精度相机及识别算法,落地线下刷脸支付场景。在智慧家居领域赋能智能门锁,为智能家居领头企业首款智能门锁定制及批量供货FaceID相机模组。
场景化规模落地离不开三维视觉的安全性优势,的卢深视的产品和技术获得了银行卡检测中心(BCTC)增强级认证和辨识算法双重认证,是国内少有的具备前端和后端完整技术,并且算法、后台、硬件全部自主可控的3D视觉方案厂商。
3D视觉场景化规模落地将助力“科技惠民”上升新高度,让技术真正服务于人,让大众都能享受到人工智能带来的便利生活。纵观当下最受关注的几大领域,智能机器人、自动驾驶汽车、XR(包含VR、AR、MR),还有今年最火的元宇宙,都需要3D感知。
然而,在很长一段时间,3D机器视觉主要应用于智慧城市的监控当中,没能在更多领域应用。原因有很多,包括成本、技术的成熟度、使用3D视觉芯片的门槛等。
1、3D机器视觉为什么难普及?
著名心理学家赤瑞特拉(Treicher)曾经验证过一组数据,人类获取的信息83%来自视觉,11%来自听觉。显然,要实现机器智能,迈向智能化时代,视觉信息非常关键,特别是3D视觉。
比如今年最火的元宇宙,要将现实世界在虚拟世界实现映射,需要与3D视觉密切相关的XR。VR在2015年迎来了投资热潮,随后的2016年,被称为“VR元年”。
当时VR设备的眩晕感以及内容不够丰富等原因,让2016年没能成为“VR元年”。直到2021年,Meta售出了1000万台VR头盔Oculus Quest 2,被业界认为XR又迎来了新的爆发期。
自动驾驶汽车和智能机器人也是典型需要3D视觉的领域,但也各自面临挑战。自动驾驶汽车领域,采用纯2D视觉方案,无论是摄像头还是激光雷达,需要海量数据,成本挑战巨大。机器人中所需的3D视觉技术,也因为技术和开发难度限制难以大量应用。
3D视觉不只是单纯和芯片或算法的问题,还涉及到相关的光学、结构、散热等问题,加上芯片、算法构成的复杂技术系统,使3D视觉的芯片和解决方案有非常高的技术门槛,需要投入更多时间、技术、人才。
“一个好的技术和一个成功的产品最终能否推动整个生态去发展,中间有巨大的鸿沟,这个鸿沟可能90%是软件的工作量。”白逸进一步表示,“只有提供完整的系统级解决方案,才能满足市场需求。我们也相信双目3D视觉会把整个人工智能机器视觉的成本降低。”
技术的高门槛,也让这一领域只有少数拥有极强技术和产品实力的公司,这阻碍了3D视觉技术的快速普及。一个很好的例子就是苹果以3.6亿美元收购了以色列3D芯片公司PrimeSense,并申请了专利,在iPhone上实现了3D人脸识别Face ID功能,其它厂商由于没有类似的技术和产品供应商,很难在手机上实现如同苹果的3D识别功能。
在XR、自动驾驶汽车和智能机器人领域,市场上迎来了一款融合多种功能的3D视觉感知AI芯片,可能带动3D视觉在这些领域的爆发。
2、全球独一无二的3D感知AI芯片
2012年,3D芯片的开创者,前PrimeSense CTO Dor Zepeniuk和有38年半导体设计经验的连续成功创业者Shlomo Gadot在以色列创立了Inuitive,并吸引了一群经验丰富的人才,他们的专业领域涵盖八大学科,人均有20年以上的经验。
这群有理想,有超前设计理念的创业者,并不满足于推出一款只是超越市场上已有的3D芯片,他们想再次突破,挑战难度更大的异构3D视觉芯片。最终,Inuitive在2019年推出了全球唯一一款能在单芯片中同时实现3D深度感知、高精度姿态跟踪、SLAM实时定位建图引擎与AI算力于一体的异构芯片NU4000。
想要在单颗芯片上同时集成这些功能难度很大,因为要同时集成计算机视觉、人工智能、光学、系统架构、嵌入式系统软件、边缘计算及芯片设计等众多技术。拥有Inuitive独有3D感知技术,加上SLAM,以及异步时间扭曲技术(如果视频帧率不足能够产生中间帧,减少画面抖动,减少眩晕感,可以实现从动作到画面反应延迟小于1毫秒),融合AI的NU4000一经推出,就获得了市场的认可。
达成并购不是最大的挑战,更大的难度来自于并购后的融合。白逸说,“收购完成之后,我们有一系列措施维护和稳定以色列原团队的核心管理层和研发团队,因为他们是整个公司宝贵的财富。目前,员工流失率极低,核心员工没有流失。中国和以色列团队正在积极融合,重点关注双目立体3D感知,共同规划产品路线图和开发产品。”
虽然Inuitive的团队有各个领域丰富的经验,但核心专利数只有25项。曲冠诚解释,“Inuitive只申请了最核心的专利,因为他们申请的都是美国发明专利,不仅申请流程复杂,维护费用也很贵,大量申请专利的主要是产品公司,Inuitive是研发型创业公司。接下来,我们将会在国内申请数百个专利。”
“未来几年,可以看到3D机器视觉在三个领域大量落地,包括低速辅助驾驶、智能机器人和AR/VR。”曲冠诚说。
3、3D机器视觉应用于各行各业
目前,机器视觉在制造业质量控制领域是至关重要的技术,尤其在汽车制造行业有大量的应用案例,包括汽车零部件尺寸、外观、形状缺陷检测,以及视觉引导定位等。还有,在食品行业和电子行业和医疗行业需要使用机器视觉系统。
(1)汽车制造的应用
在汽车制造业中,机器视觉使用非接触式测量技术逐渐发展为在线测量系统,例如固定在线测量站和机器人柔性在线测量站,它们可以严格监控车身尺寸波动并提供数据支持。 除了传统的三坐标测量和激光在线测量之外,蓝光扫描测量,表面缺陷测量和其他视觉测量方法还可以执行更精确的测量,并提供对车身基本特征尺寸,车身的高精度监控 组装效果和缺陷。
(2)食品加工行业的应用
在食品加工业里一直在使用二维机器视觉技术利用高线速来进行对水果蔬菜的分类。但对于食品的表面特征,如食品的体积、高度等,用二维技术很难获取这些信息。为了精确测量食品的体积,企业把三维激光检查系统和二维视觉检查系统结合起来使食品加工达到最优化,满足对包装食品越来越严厉的视觉要求。这种系统使用底面格列式的电荷耦合器(CCD)来捕捉反射的激光线。图像处理算法是根据食品的激光位移采用三角网法来确定Z坐标轴上的信息,也就是高度,然后与激光检查系统得到的X,Y坐标轴上的信息结合在一起算出食品的形状和体积。
(3)消费电子行业的应用
在消费电子领域,机器视觉主要用于PCB / FPCAOI检查,组件和整机外观检查,组装引导等应用,并呈现出越来越多的新应用场景。可以说,消费电子制造业的兴起带动了机器视觉市场。
PCB缺陷检测主要包括两个部分:焊点缺陷检测和组件检测。传统的人工目视检查方法容易遗漏检查,效率低,成本低。机器视觉PCB的优点是确保操作员可以在添加PCB之前及时处理相关问题。另外,当发现缺陷时,可以有效地避免维修或丢弃,操作者可以及时得到反馈,以判断操作中的印刷工艺是否运行良好,从而达到防止生产不良的目的。
此外,在服务领域,未来很多硬件产品都会拥有3D视觉技术,很多产品都会有视觉的需求,它可能是2D和3D的融合,也有可能是新的人工智能技术与新的硬件技术,相互之间把视觉技术联合起来,让智能硬件产品更加智能。在智能家居场景中,人脸识别、物体识别也开始应用,这些场景都是需要用到视觉技术,未来3D视觉技术很快就会被串联起来用到各个领域,充当更多硬件产品的眼睛。
未来的两三年,3D机器视觉还处于起步阶段,生态的成熟度和解决方案的成熟度都决定了客户很难直接使用这么复杂的芯片。3D视觉模组实际上可以降低客户的使用门槛和成本,加速3D机器视觉的落地。随着3D机器视觉的发展,未来也可能直接出售芯片。
具体的性能,C158深度分辨率可达1280 x 800 @60fps,感知距离在6米以内时,精度误差仅为1%,能以0.5w实现5-6 TOPS算力,内置的通用型Arm内核,支持系统独立性,使系统可以同时兼顾协处理器和主控系统。同时,C158搭载丰富接口和系统支持,使其无论是模组或外设皆可实现USB即插即用的效果。
值得一提的是,得益于基于高集成度的NU4000芯片,C158模组的尺寸为125mm x 40mm x 27mm,支持120fps的2路摄像头以及6自由度坐标的重定位,能实现实时高精度姿态跟踪。
任何一种新技术的成熟和大规模应用,都需要各种因素的共同作用。技术的成熟度以及成本是两个关键,过去,3D机器视觉产品由于产品集成度不够高,使用难度大,大规模应用面临巨大挑战。
在可以预见的3-5年,3D机器视觉也将在低速辅助驾驶、VR/AR等领域大规模应用,与其它计算、感知和连接技术一起,推动3D机器视觉的爆发,迈向更加智能的时代。
4、中国机器视觉行业发展前景分析
目前在我国随着配套基础建设的完善,技术、资金的积累,各行各业对采用图像和机器视觉技术的工业自动化、智能需求开始广泛出现,国内有关大专院校、研究所和企业近两年在图像和机器视觉技术领域进行了积极思索和大胆的尝试,逐步开始了工业现场的应用。
在政策的利好驱动下,国内机器视觉行业快速发展,中国正在成为世界机器视觉发展最活跃的地区之一,预计到2025年我国机器视觉市场规模将达246亿元。
总之,随着科技的发展和新兴产业的加速落地,未来3D机器视觉的“用武之地”定然会越来越多,市场需求会越来越大。对于国内的一众机器视觉厂商而言,现在就是最好的时机,把握住了机遇,在核心技术方面进一步进行巩固,将有利于在接下来的激烈竞争中站稳脚跟、获取优势。
来源:读特,雷峰网,尚工机器人