Prophesee将推出带有STM32微控制器的GenX320

动态视觉传感器（DVS）公司Prophesee已将其基于事件的相机调整为适合始终在线的AIoT（物联网人工智能）设备的外形尺寸。与该公司的 100 万像素第四代传感器相比，第五代 GenX320 已将其分辨率降低到 320 x 320 像素，将芯片尺寸减小到 13 mm ^2^ ，现在包括便于下游处理的标准数据格式和可用于唤醒系统其他部分的超低功耗模式层次结构， Prophesee首席执行官Luca Verre告诉EE Times。

“[基于事件的传感器]技术现在在消费者领域开辟了一个机会，一个更大的生态系统正在意识到这项技术并有兴趣采用它，”Verre说。“但三年前，我们发现了不一定适合我们的第四代传感器的其他机会。这就是我们开发第五代产品的原因，用于出于成本、功耗和集成原因需要非常小的传感器设备的应用。

像DVS传感器这样的基于事件的传感器基于人类视网膜的生物学：它们只输出像素亮度的变化，而不是完整的图像帧。这会以低延迟生成低带宽数据，但仍包含有关场景的足够信息。处理这种低带宽数据所需的计算量更少，这意味着可以节省电力。该技术对弱光条件也非常有弹性。

Prophesee与索尼合作设计的上一代传感器于2021年底投入批量生产。这款高清传感器是一款BSI（背面照明）3D堆叠芯片，足够小，可以首次针对消费电子产品。

Prophesee一直在与高通公司合作，用Snapdragon移动处理器展示这种传感器。Verre表示，至少有两家OEM正在为2025年发布制造智能手机，其中包括Snapdragon和Prophesee的组合。这里的用例是融合全画幅和事件数据，以提高智能手机相机的图像质量。可以使用Prophesee传感器来检测照片中的运动，然后使用Prophesee的计算摄影算法来校正它，从而减少运动模糊。

GenX320具有较低的分辨率，更低的功耗和更小的尺寸，将针对AR / VR耳机，安全和监控/检测系统，非接触式显示器，眼动追踪和其他始终在线的物联网设备。然而，虽然仍然是BIS 3D堆叠设计，但该传感器不是与索尼一起开发的，而是在不同的代工厂制造。

“我们与索尼的关系非常好：我们共同开发了第四代传感器，我们还与索尼达成了一项商业协议，与索尼一起进入市场，”Verre说。“所以这种合作关系正在进行中，但第五代传感器是由Prophesee设计的，由我们的铸造合作伙伴制造，并由我们销售。[第四代和第五代]传感器在市场定位方面完全不同，针对非常不同的用例具有不同的传感器分辨率，因此它们是互补的。没有重叠，这使得我们与索尼的上市战略非常简单。

接口和电源模式

Prophesee联合创始人兼首席技术官Christoph Posch告诉EE Times，GenX320有几个关键的新功能与边缘AI和物联网应用相关。

“我们（以前）有一种非常规的数据格式，没有人真正知道该怎么做——事件中动态视觉信息的编码，没有人理解，”他说。“我们的数据速率不恒定，没有标准的数据格式或接口。我们意识到所有这些事情都减缓了这项技术的采用。这就是为什么我们认为，'我们需要设计一种更有用的传感器，可以集成到边缘AI视觉系统中，并帮助潜在客户真正使用该系统'。
GenX320包括片上预处理，可根据需要将数据重新格式化为行业标准格式，并提供三种接口选择：

• 高带宽MIPI接口与应用处理器连接，并使用全数字流水线在流式传输之前对数据进行预处理和过滤。
• CPI 接口 （DCMI） 与低延迟应用中的微控制器连接。数据可以聚合成 2D 直方图，准备进行 AI 处理。
• Prophesee现有的AER（地址事件表示）接口完全绕过了数字预处理管道，用于神经形态和尖峰神经网络加速器。

GenX320还包括低功耗模式的层次结构。用于始终开启活动检测的最低功耗模式功耗约为 36 μW。完全有效模式使用 CPI 接口时功耗约为 3.5 mW，使用 MIPI 接口时功耗约为 20 mW。

Posch 说：“我们可以将层次结构提升到功耗模式，从而实现更高的分辨率和更智能的检测，直至最高模式，即通过所有事件数据的输出接口将完全流式传输到应用处理器。“在[最高和最低功耗模式]之间，我们可以在这些功率模式之间循环，具体取决于场景中发生的事情。

这些模式使用称为全局对比度检测器 （GCD） 的新功能，该功能可检测移动、进入或退出视野的物体。像素阵列细分为多个区域，这些区域可以小至 4 x 4 像素。Prophesee使用阵列每个区域中光电二极管的光电流总和（在硬件中计算）来检测该区域的活动。对于最低功耗模式，有九个检测区域;效果就像总共 100,000 个像素中只有 9 个被打开，因此可以节省大量电量。

RISC-V CPU 还可用于对灵活的感兴趣区域进行编程，最多可同时编程 12 个。

全局对比度检测 （GCD） 是一项新功能，可将阵列分解为多个区域以节省功耗。这些区域中的活动检测可用于唤醒系统的其他部分。

商业牵引力

GenX320传感器已经掌握在20多个主要客户手中，用于原型设计。

Zinn Labs使用GenX360为AR / VR眼镜开发了一种基于事件的眼动仪，其产生的数据比全画幅相机少100×。这意味着眼动追踪可以在 1 kHz 或更高的频率下完成，比全画幅相机设置快 10×。快速眼动追踪的应用之一是注视点渲染：我们的眼睛不会同时聚焦整个场景，因此，如果我们知道眼睛在看哪里，有选择地渲染我们正在看的部分可以节省计算。Verre表示，Zinn Labs正在与客户合作，明年开始使用Prophesee GenX320传感器进行批量生产。

英国初创公司Ultraleap一直在使用GenX320进行手部跟踪系统，用于非接触式人机界面。Verre说，这种应用的照明条件可能具有挑战性，但Prophesee传感器具有高动态范围（高于120 dB）。
消费电子公司Xperi已经有一个使用Prophesee上一代传感器的驾驶员监控系统，现在它正在研究用于智能设备和家用电器的GenX360。台湾整车厂YunX计划明年上市，配备保护隐私的GenX320跌倒检测系统。

Verre表示，Prophesee将在未来几周内展示带有STM32微控制器的GenX320，用于边缘AI，随后将有更多具有不同类型处理器的参考设计。GenX320的产量将在明年上半年增加。