世界第一枚，又是清华

作者 | 荣智慧

编辑 | 向由

中国清华大学科学家创造了世界第一枚类脑视觉芯片“天眸芯”，具备类似人眼的感知能力。

5月30日，该研究论文《面向开放世界感知的互补通路视觉芯片》（A Vision Chip with Complementary Pathways for Open-world Sensing）登上《自然》杂志封面。这是清华大学类脑计算研究中心继2019年“天机芯”后，研究成果第二次荣登《自然》封面。

5月30日《自然》杂志封面 / 图源：清华大学官网

被誉为“全球最快视觉芯片”的天眸芯，精度可达10bit，速度达1万帧/秒，带宽较于（具有同样精度和时空分辨率）传统相机，减少了约90%。

在类脑计算和类脑感知两个重要方向上，中国芯片均已取得基础性突破。同时，如火如荼的电动汽车“自动驾驶”模式，也将乘上视觉芯片的快车。

天眸芯的创新

天眸芯和天机芯一样，都属于“类脑”芯片领域。后者偏重于类脑计算，而前者倾向于类脑感知，并提出了一种全新的视觉感知芯片设计范式，即“双通路互补”（CVP）。

传统CMOS图像传感器，是单纯地将光信号点对点地转换为数字信号。在同等代价下，传统传感器很难实现“分辨率、信噪比、动态范围和帧率”的同时提高。

而“双通路互补”首先会模仿人眼，自动把看到的场景分解成很多元素，包括物体运动、轮廓边缘、色彩以及不同区域之间的对比度等信息，这些拆分出来的元素，被称为“视觉原语”。

接着，“双通路互补”再模仿人脑的处理机制，把这些信息分配到不同的“处理通路”中去，就像快递驿站把不同街道的快递分配给不同快递员。

然后，它再模仿人脑的响应机制，处理“时间空间变化”的信息，并让时空变化和色彩等其他信息互补，正如快递员之间又做了连接和协同。

简单说，天眸芯是把机器视觉的感知过程，拆成两条通路，一条是认知导向通路（COP），一条是行动导向通路（AOP）。

天眸芯 / 图源：清华大学官网

因为人类的视觉感知系统就是多通路的，会将场景解析为不同组件，将前景和背景分开，实现多通路之间的相互组合，既能对危险做出快速反应，也不会失去对全局情况的理解。

就像人类开车，无论白天黑夜，无论是高速路还是乡间小路，驾驶员都可以对运动目标进行快速识别，这一点远超现有计算机视觉系统。

机器视觉的本质，就是不断模仿人类视觉原理，以达到低能耗、高精度的效果。

采用90纳米CMOS背照式技术制造的天眸芯，通过进一步模仿人类大脑，在极低的带宽（降低90%）和功耗代价下，实现了每秒10000帧的高速、10bit的高精度、130dB的高动态范围、NIR（近红外光谱技术）高灵敏度的视觉信息采集。

神经拟态视觉

天眸芯类脑视觉芯片，背后的技术是神经拟态视觉（Neuromorphic Vision）。

神经拟态视觉是一种集合感知、存储、计算的芯片技术，同时包含硬件开发、软件支撑、生物神经模型的视觉感知系统。

人类的大脑处理视觉信息，并不像相机一样，“看”的是一张张照片，而是动态、持续跟踪信息，只有检测到视觉场景的某些特征变化时，神经才会向大脑“报告”。

神经拟态工程，复制了人类视觉传感和处理的关键元素。

人类视觉系统的互补性 / 图源：Nature

某些情况下，它的工作方式就是捕获和处理高质量图像，允许每个像素独立记录，并且仅在触发时进行记录，物体运动被捕获为连续的信息流，而不是逐帧捕获。这种方法减少了机器需要发送的数据量，从而降低功耗，也提高了响应能力。

20世纪80年代后期，加州理工学院教授Carver Mead就曾提出有关神经拟态的技术。当时，Carver Mead的初衷主要是想更好地了解人类大脑的运作方式。

如今，神经拟态技术日益成熟，神经拟态视觉传感器或芯片近年进步神速。这种传感器由感知、存储和运算功能的器件与电路组成，包含材料、器件、电路、算法以及集成技术等的交叉结合，同时也依赖“芯粒”封装技术来提高集成度和性能。

神经拟态视觉芯片在工程系统的应用非常广泛，包括手机触屏唤醒功能、消费电子相机高速摄影和动态感知、工业微型机床高速运动抓手的跟踪、工业检测视觉感知、移动机器人视觉感知系统、驾驶员疲劳检测系统、自动驾驶联合检测、无人机视觉导航系统、高速视觉测量等。

特别是自动驾驶方面，清华研究人员还开发了一个集成“天眸芯”的汽车驾驶感知系统，来评估装载该芯片的汽车在开放道路上行驶时涉及到的各种极端情况。例如强光干扰、高动态范围场景、域偏移问题（异常物体）和具有多个极端情况的复杂场景。

实验结果表明，天眸芯可以有效适应极端光环境，并提供领域不变的多级感知能力。

自动驾驶迫不及待

最近，市场被特斯拉FSD（全自动驾驶系统）搅得心神不宁。

其实，使用视觉方案的自动驾驶汽车有个明显痛点，即摄像传感器需要在带宽和延迟之间进行权衡。

虽然汽车配备的摄像头都具有良好的分辨率，但传输高分辨率的数据需要合适的带宽。带宽不足，延迟就会增加，从而影响处理数据的时间。在交通事故中，时间就意味着生命。

自动驾驶感知演示平台 / 图源：清华大学官网

中国很多电动汽车商家为了性价比疯狂“堆料”——增加更多摄像头。当然更多的数据也就随之而来，导致芯片“计算能力需求爆炸式增长”。

天眸芯能够以极低的带宽和极低的能耗下，实现高速、高精度和高动态范围的视觉信息采集，有效应对各种极端复杂场景，突破了传统视觉感知芯片在稳定性、安全性等方面的性能瓶颈。

“‘天眸芯’的成功开发为未来自动驾驶、具身智能等重要应用开辟了新的道路。”该论文的共同通讯作者、清华大学精密仪器系赵蓉教授表示。

为方便应用，清华大学团队开发了两种模组。

第一代为高性能模组，采用了Xilinx ZCU102或KU040系列FPGA板卡作为天眸芯和上位机的桥接芯片，设计使用PCIe的上位机通信方式，将天眸芯的数据经过整合、处理后，以极高带宽传输至上位机中。

第二代为微型化模组，载板包括微型化天眸芯子板和转换载板。子板与载板通过高速接插件或者高速软排线的方式连接。这个小型模块可以应用到安防、无人机、机器人等领域。

其实，神经拟态工程的潜力，在很大程度上还没开发出来。

类脑计算研究中心施路平教授（右一）和赵蓉教授（左二）指导学生实验 / 图源：清华大学

有研究报告指出，到2029年，神经拟态芯片、传感和计算将成为一个价值71亿美元的市场。

如果所有技术问题在未来四到五年内得到解决，神经拟态计算市场可能会从2024年的6900万美元增长到2029年的50亿美元、2034年的213亿美元；神经拟态传感市场可能会从2024年的3400万美元增加到2029年的20亿美元、2034年的47亿美元。

产学研结合肯定是必要的。中国非常重视类脑智能，其是“十四五”规划纲中提出的未来产业之一。

清华大学类脑计算研究中心已经孵化出北京灵汐科技有限公司。2021年，该公司依托“天机芯”，研制出首款商用的异构融合类脑计算芯片KA200及HP系列计算板卡。

灵汐科技发布的类脑芯片领启KA200(-S) / 图源：北京灵汐科技有限公司公众号

中国SynSense时识科技的类脑视觉芯片Speck，已经批量出货，并号称拥有世界上第一颗商业量产的动态视觉类脑芯片。

此外，该公司刚刚收购瑞士类脑视觉传感公司iniVation AG，后者由类脑视觉领域科学家Tobi Delbruck教授创立，是全球类脑视觉传感领域成立最早的企业之一。

在机器模拟大脑的征途上，人类还有很远的路要走。

举个例子，目前世界最先进的无人机运行时，其英特尔Loihi神经拟态芯片耗电1.007W。它能干的是什么呢？简单飞一飞，或者通过预先编程好的程序，在几个标记物之间自主飞行。

而人类的大脑，由约1000亿神经元组成，通过超10^14个神经突触连接在一起，每秒可以执行15个quintillion运算（1quintillion 等于10^18），而处理日常任务的功耗只有20W。