随着人工智能的快速发展,自动驾驶、具身智能等无人系统不断在现实场景中推广应用,引发新一轮技术革命和产业变革。视觉感知作为信息获取的核心手段,在这些智能系统中发挥着至关重要的作用。然而,如何在动态、多样、不可预测的环境中实现高效、精准、鲁棒的视觉感知仍是一个亟待解决的难题。
在开放世界场景下,智能系统不仅要处理海量的数据,还要应对各种极端事件,比如突发的危险、隧道口的剧烈光线变化、夜间驾驶场景中的强闪光干扰等。
传统的视觉传感芯片,受限于“功率墙”和“带宽墙”,在处理这些场景时经常会面临失真、失效、延迟高等问题,严重影响系统的稳定性和安全性。
为了应对这些挑战,清华大学类脑计算研究中心(CBICR)专注于类脑视觉传感技术,并提出了一种创新的互补传感范式,包括基于原始的表示和两条互补的视觉通路。
基于该成果的研究论文《一种用于开放世界感知的具有互补通路的视觉芯片》被刊登为2024年5月30日《自然》杂志的封面文章。
该方法受到人类视觉系统基本原理的启发,将视觉信息分解为基于图元的视觉表征,通过组合这些图元来模仿人类视觉系统的特征,形成两条互补且信息完整的视觉感知通路。
基于这一新范式,CBICR研发出全球首款类脑互补视觉芯片天目视觉,该芯片实现了10000帧/秒的高速视觉信息采集,10bit精度, 130dB高动态范围,同时降低90%带宽,保持低功耗,不仅突破了传统视觉感知范式的性能瓶颈,还能高效应对各种极端场景,保证系统的稳定性和安全性。