HOOOS

从“纯事件流”到“帧流融合”:DVS与DAVIS在方向检测电路上到底差在哪?

0 9 芯视界 动态视觉传感器神经形态计算感算一体架构
Apple

在高速运动捕捉与低功耗机器视觉领域,传统帧相机正面临“拍得清就看不清动,看得快就耗光电”的物理瓶颈。动态视觉传感器(DVS)与动态主动像素视觉传感器(DAVIS)的出现,试图用仿生视网膜的逻辑打破这一困局。但两者在方向检测等实时任务上的电路设计差异,直接决定了系统是“外挂大脑”还是“自带直觉”。

数据流的底层逻辑:异步脉冲 vs 混合双通道

DVS的核心机制是对数光强变化检测。每个像素独立工作,当光照变化超过预设阈值时,才生成一个包含坐标、极性与时间戳的“事件”(Event)。这种输出是纯异步、稀疏且非结构化的地址事件表示(AER, Address Event Representation)。由于事件本身不携带完整画面,仅凭单点脉冲无法直接判断运动方向,必须依赖外部FPGA或GPU进行时空关联计算(如光流估计、方向滤波器)。

DAVIS则在DVS的基础上叠加了主动像素传感器(APS)阵列,形成“事件流+灰度帧”的双通道输出。像素内部通过分时复用或独立子像素结构,既能输出异步事件,又能周期性读取全局光强帧。这种混合数据流为片上算法提供了上下文锚点,使得方向选择性计算不再完全依赖外部算力。

电路架构差异:读出路径与计算卸载

设计维度 DVS(纯事件流) DAVIS(帧+事件融合)
像素结构 单光敏二极管+差分放大器+比较器 光敏二极管+APS读出电路+AER事件生成电路
数据输出 纯异步AER事件包(x, y, polarity, timestamp) 事件流 + 同步/准同步灰度帧(可选触发)
方向检测路径 事件送入外部FPGA → 时空滤波/光流计算 → 输出方向矢量 事件与帧在传感器接口层对齐 → 片上DSP/专用逻辑执行特征匹配与方向滤波
延迟来源 事件传输总线竞争 + 外部计算流水线延迟 帧曝光/读出周期限制,但事件响应仍保持微秒级
功耗特征 静态功耗极低,但外部FPGA持续运行拉高系统功耗 传感器自身功耗略增,但大幅降低外部处理器负载

DVS的方向计算本质上是“事后拼图”:FPGA需要缓存大量离散事件,构建局部时空立方体,再通过方向敏感核(如3D Gabor滤波器或事件光流网络)推断运动矢量。这一过程受限于总线带宽与外部存储访问延迟,难以满足亚毫秒级闭环控制需求。

DAVIS的电路优势在于数据原生对齐。由于事件与帧共享同一像素阵列或紧密耦合的读出路径,系统可在传感器端直接提取边缘、角点等稳定特征。例如,通过对比连续两帧的梯度场与事件触发密度,片上逻辑即可快速筛选出主导运动方向,实现“边感知、边筛选、边跟踪”的闭环。这种架构将部分计算前移至模拟/混合信号域,显著降低了数字后端的吞吐压力。

为什么“片上方向选择性”是关键分水岭?

  1. 延迟压缩:DVS从事件产生到方向输出通常需数毫秒至数十毫秒(取决于FPGA算法复杂度);DAVIS借助片上预处理,可将有效方向特征提取压至百微秒级,满足高速无人机避障或机械臂抓取的需求。
  2. 功耗重构:外部FPGA处理稀疏事件存在“算力闲置”问题;DAVIS通过硬件级特征融合,使系统总功耗向“按需激活”靠拢,更适合电池供电或边缘部署场景。
  3. 抗干扰能力:纯事件流易受闪烁光源或高频噪声干扰,产生伪方向信号。DAVIS引入的帧级上下文可作为空间约束,滤除孤立事件,提升方向估计的鲁棒性。

现实落地:架构选择取决于任务边界

  • 若应用场景为超高速轨迹记录(如弹道分析、微秒级振动监测),DVS的纯异步特性仍是首选,配合定制化FPGA可实现极高时间分辨率。
  • 若场景侧重实时闭环控制与特征跟踪(如自动驾驶动态障碍物预判、工业流水线缺陷追踪),DAVIS的混合架构能提供更稳定的方向先验,降低算法开发门槛。

神经形态视觉传感器的演进,正在从“只传信号”走向“自带判断”。DVS与DAVIS在方向检测电路上的分野,不仅是读出拓扑的差异,更是计算范式从“集中式后处理”向“分布式感算一体”过渡的缩影。随着片上存算单元与事件驱动神经网络(SNN)的进一步融合,未来传感器的方向感知将不再依赖外部指令,而是成为像素阵列的本能反应。

注:文中提及的片上处理能力指传感器架构为片上算法提供的数据基础与硬件接口条件,具体方向选择性实现程度依赖于配套的ASIC设计或协同处理器。

点评评价

captcha
健康