什么是AI视觉感知芯片？

随着5G随着物联网的实施，物联网的成本效益越来越明显，工业数字化和城市智慧的演变趋势越来越明显。越来越多的企业和城市开始在物联网创新中添加数字孪生的颠覆性概念，以提高生产力和生产效率，降低成本，加快新型智慧城市建设。值得一提的是，数字孪生技术BF199已被写入国家“十四五”规划，为数字孪生城市建设提供国家战略指导。

至于数字双胞胎，我们可以举一个例子。几年前，亚马逊和京东推出的无人零售概念实体店将线下零售店变成了网上淘宝店。人们只需要在购物前打开它们APP，在设置中完成刷脸登录。面部认证成功后，刷脸开门时可自动关联账户。购物后，你不必排队手动结账。你可以通过刷脸离开。这似乎是无人管理的，但背后是对人工智能的全面跟踪。摄像机捕捉到了消费者的每一个动作。例如，你拿起和看什么商品这意味着你对商品非常感兴趣，但出于某种担忧，你没有购买，最终购买了另一种商品。这些数据将被捕获，进行深入分析，形成基本数据库，然后根据您的所有购物记录和消费习惯定期推送。

通过这个例子，我们可以看到数字物理世界的便利性。视觉是人类感知世界的重要手段。人类进入智能社会的基础是数字化，感知是物理世界数字化的前提，前端视觉感知的类型、数量和质量决定了我们社会的智力水平。因此，智能未来的基础是“感知＋计算”，AI视觉将在智能过程中发挥非常关键的作用，具有非常广阔的应用前景。一些行业分析人士认为，数字孪生技术即将超越制造业，进入物联网、人工智能和数据分析等集成领域。这就是为什么我们选择了这个创业方向。

视觉芯片作为从物理世界到数字孪生世界最重要的入口，受到了广泛的关注，尤其是那些能够恢复80%-90%物理世界的芯片AI视觉感知芯片。

那么什么是AI视觉感知芯片呢？从需求端的角度来看，AI视觉感知芯片需要具备两大功能:一是看得清楚，二是看得懂，其中AI－ISP负责的是看得清楚，AI－NPU负责看懂。

事实上，从广义上讲，可以在人工智能应用中实现AI加速芯片可以称为AI芯片，它们被用来改进AI算法运行效率模块通常被称为NPU(神经网络处理器)NPU加速的AI在大数据、智能驾驶和图像处理领域，视觉芯片得到了广泛的应用。

根据IDC根据最新发布的数据，2021年加速服务器市场规模达到53.9亿美元，同比增长68.6%。GPU服务器以90%的市场份额占据主导地位，ASIC和FPGA等非GPU加速服务器的市场份额为11.6%，增长率为43.8%，达到6.3亿美元。这意味着神经网络处理器NPU应用程序已经走出了早期的试点阶段，正在成为人工智能业务的关键需求。所以，今天我们将讨论负责任的问题“看得更清”以及“看得懂”的AI－NPU。

你为什么说你看得更清楚？AI－NPU还有什么关系？从人们觉的角度来看，“看得清”这很容易理解。例如，我们想在晚上看得更清楚，但传统相机拍摄的照片往往过度曝光，颜色细节被淹没。同时，行走的人和远处的建筑物都会充满噪音。那么，在这种情况下，我们如何才能更好地实现它呢？“看得清”怎么样？事实上，视觉芯片需要“看得清”离不开的是AI－NPU支撑大算力。

以智慧城市为例，我们使用了500万像素摄像头进行智能分析。传统视频图像质量的提高是传统的ISP技术，在黑暗的场景中，会有很多噪音，所以使用它AI－ISP这个问题可以解决，在暗光场景下仍然可以给出清晰的画面，但是可以使用AI－ISP必须使用技术AI算法的全分辨率，视频的全帧率处理，而不是通过机会主义的方式来降低分辨率或跳帧，因为人眼对图像质量的闪烁非常敏感。而500万像素的视频代码流，全分辨率，全帧率处理，将是正确的NPU提出了很高的计算能力要求。

在车辆检测和车牌识别等智能分析场景中，用500万台摄像头录制300万台摄像头是很常见的fps帧率视频，然后每3/5帧检测一次，检测时分辨率降至720P在视频屏幕上，远处的车牌无法识别。对于高速行驶的车辆，可能会错过检查。解决方案是尽可能采用全分辨率和更高帧率检测的方法，这种的NPU计算能力也提出了很高的要求。

另外，正如前面提到的，除了看清楚之外，我们还需要理解。所谓理解，就是做智能分析，做智能分析AI－NPU大算力的支撑，我们可以从两个角度来看待这个问题。

首先，我们知道AI它本身就是提高效率的工具，最终会落入场景，这是早期的AI+和最近的+AI那么，当AI落入行业时，它能做些什么？事实上，AI我们可以做很多事情。例如，我们可以用神经网络替换一些行业专家系统，这相当于我们想要这样一个“专家”装到我们的AI在芯片中，这个专家系统应该足够聪明，对应于一个聪明或相对较大的网络。一个相对较大的网络相当于一个相对较大的大脑容量。它可以保持更多的权重值，这将是正确的NPU对计算能力的要求很高。

其次，从部署的角度来看，目前我们模型的训练大多是大计算力Server它耗尽，部署在计算能力有限的端部设备上。只有将模型或算法的计算量减少到端部可以运行的程度，才能在应用侧更好地实现。因此，模型压缩过程是必需的，模型压缩对技术人员的技术要求很高。如果我们的端部计算能力相对较高，事实上，这个过程可以缩短。这类似于嵌入式软件开发的过程。在早期阶段，它受到计算能力瓶颈的限制。为了运行更多的功能，我们需要非常认真地挤压硬件的性能，因此我们使用汇编来编写程序，但如果计算能力相对较高，我们可以使用C语言进行开发。换句话说，使用一些计算能力来提高开发效率，AI加速着陆是可行的，但这种做法反过来又提高了权利NPU要求计算力。