早年的数码爱好者，对于“独立”一词是有迷思的，比如“独立显卡”“独立声卡”。“独立”就是指某颗芯片以单独的方式出现在主板上，不和其他芯片集成在一起，尤其是不和CPU中央处理器放在一起。“独立”在某些平台上，有时意味着性能更好，更受重视。
诺基亚还在统治手机市场之时，有一度传言其手机拍照好的原因，不仅在于图像传感器、和卡尔蔡司合作的镜头设计，还在于后端用上了“独立”的ISP(图像信号处理器)。当然这则传言的可信度大概并不高，因为即便是诺基亚N90时期，德州仪器OMAP系列芯片风靡，着重于宣传ISP，实则ISP模块也是封装在芯片内部的。
从直觉来看，手机作为追求便携性、轻薄性、低功耗的移动设备，迈向高集成度才是其发展方向。“独立”在手机上也因此很难成为好用的宣传点。如今的ISP主要都以集成在手机APSoC芯片内部的方式存在于手机设备中。
之所以这两年ISP诸多受人关注，在于智能手机的技术竞争焦点一大部分都放在了拍照上。实际上，图像传感器、镜头、ISP，甚至滤镜、联名合作，都已经成为手机厂商内卷的组成部分。高通骁龙、联发科天玑芯片近几代产品的ISP性能与功能的跃进，更是芯片厂商的宣传重点；Arm也在不遗余力地推自家的ISPIP。
有趣的是，这两年好几个主流手机品牌都开始采用自研的“独立”ISP，而且都还应用到了拍照旗舰设备中——小米、vivo、OPPO都有类似的动作。这些ISP独立于手机APSoC之外，如vivo宣传“双芯”，OPPO则有“一帧影像动用两块芯片”这样的宣传语。这里的“双”和“两”，言下之意都在于，除了APSoC之外，主板上还有一颗专用的ISP芯片。
在这个相对特殊的历史时期，独立ISP成为旗舰手机产品的一个“新潮流”。这期封面故事，我们就来谈谈这股新潮流存在的原因，及其未来可能的发展趋势。
首个“反潮流”的，可能是谷歌
之所以说分立、独立的ISP是“反潮流”的，可藉用GPU来做类比：在智能手机上，连GPU这样的大件都尚且没有独立出来，更不必说ISP这类规模小很多的处理器有何必要从APSoC上剥离出来，成为单独的一颗芯片。实际上，不仅仅是手机产品寸土寸金的内部面积，还有成本以及不同芯片间带来的通讯开销问题，似乎都不怎么适合ISP“独立”。
通常我们所说的ISP，是专用于图像处理的处理器单元——主要是对摄像头拍摄到的影像数据做处理和计算。维基百科对于ISP的功能介绍中提到，ISP的主要功能包括拜耳转换、反拜耳(demosaicing)、降噪、图像锐化等。此前小米在MIXFold手机上应用澎湃C1ISP芯片时谈到，这颗芯片的工作职能至少涵盖了3A(自动对焦、自动白平衡、自动曝光)。
图1：ISP完整管线示意图。图片来源：https://doi.org/10.1186/s13640-016-0137-2
当代ISP的完整管线当然不止于此，图1给出了更多有关“ISP是用来做什么的”这一问题的解答，包括色彩修正、转换、gamma校正等。虽然这张图给出的流程仍然是不完整的，尤其在近代摄像头往高像素超采样、多摄的方向发展以后，ISP的职能和性能要求也变得更高；不过从中我们大致能够了解ISP作为“图像处理器”究竟在处理些什么。
而随着“计算摄影”(ComputationalPhotography)的技术发展，以及厂商越来越注重手机摄影的卖点宣传，当代手机拍照的后端数据处理、计算流程，已经不仅限于ISP了。由于传统图像处理流程上，越来越多的部分有AI参与，AI单元(如NPU)也介入到了这个过程里，且介入的环节也变得愈发多样化。
现在的AI拍照，绝不仅限于美颜、换脸、卡通化、背景虚化这些原属于“趣味摄影”的功能；像自动白平衡、自动对焦、防抖、HDR这样的ISP传统环节都已经有AI单元和ML算法的强力介入了。从这个角度来说，“图像处理器”有了更大的外延，而不仅限于ISP。
近代较早有所作为的应该是谷歌。谷歌不仅限于将AI/ML技术应用于计算摄影和计算机视觉，还在于谷歌为了自家AI技术能更好地用到手机拍照上，于2017年面向Pixel2手机推出了PixelVisualCore(PVC)芯片。虽然PVC芯片并非传统意义上的ISP，但它就是专门用作图像处理与计算的；更重要的是PVC是一颗独立于手机APSoC芯片之外的芯片。
图2：谷歌PixelVisualCore芯片dieshot示意图。图片来源：Google
简单看看PVC芯片的架构：这颗芯片大框架是由一个ArmCortex-A53核心、专门的512MBLPDDR4内存、一些IO，和主体部分的8个IPU(图像处理单元)核心构成的。这8个IPU核心，每个核心都由512个ALU组成，每个ALU则由256个PE(ProcessingElements，16x162D阵列)构成，执行并行乘加运算。在Pixel4时代，PVC经过迭代后改名为PixelNeuralCore(PNC)，凸显了其中的AI属性。
PVC是一颗完全可编程的DSA芯片。GoogleAIBlog每隔一阵都会发布谷歌在AI拍照方面的技术成果，比如说视频防抖、超分辨率(superresolution)、人像背景虚化、模拟光照等。谷歌会通过固件推送的方式，把这些特性推送到用户的Pixel手机上。在PVC/PNC近代停止更新以前，谷歌发布的不少计算摄影成果都是需要以这颗“独立芯片”为算力依托的。
谷歌于2017年推这颗PVC芯片，可能是因为对当时市面上已有的高通骁龙CPU、GPU、ISP、AIE等单元和集合的效率在应用于图像处理工作时并不怎么满意，或者说后者无法相对高效地承载谷歌赋予计算摄影的AI算法；而非执着于手机产品的差异化竞争或对“独立”芯片有什么追求。
谷歌当时宣称，PVC在效率和能耗方面会有相对显著的优势——虽然没有人去系统地做过测试，不过应当是相对可信的，毕竟采用的是DSA专用架构。PVC在计算效率上的优势，加上片内存储资源，应该能够稀释芯片间的通讯开销。而且Pixel2及后续手机在拍照表现上的确得到了比较好的效果：Pixel2用单摄像头，就达到了其他手机双摄类似的背景虚化效果；而且也因此有了“别家靠图像传感器，谷歌靠算”的名声。
原本图像传感器的技术进步，在手机拍照乃至更广泛的成像领域具备最大的影响力；而在此之后，图像处理器在整条链路上的话语权显著上升。虽说图像处理器的市场价值仍远不及图像传感器，但其影响力已今非昔比；当然这和AI技术的发展也是有很大关系的。这大概也是Pixel手机能两三代都不换图像传感器，但拍照依旧保持第一梯队的原因。
国产手机厂商自研ISP的意义
相较于谷歌PVC，小米、vivo这两年所推的ISP就更像是传统ISP了，这从厂商宣传的ISP功能(如3A)就看得出来。而且国产厂商近些年在这方面的投入也算是不遗余力了，此前招聘平台上就出现过vivo招聘ISP方向总监岗位，月薪高达12-15万。
可惜的是，国产厂商在技术透明度上还是比较低，所以我们几乎不清楚小米澎湃C1/C2、vivoV1/V1+这些ISP芯片架构如何，在图像处理的整条流水线上与APSoC怎么配合输出最终的影像，是否用了别家IP等等。此前有人猜测澎湃C1是个着力在Pre-ISP的芯片，而V1则更倾向于脱离APSoC，完成ISP的fullpipeline。
不过ISP这类芯片的技术透明度似乎一直也远低于CPU、GPU、NPU这样的大件。有关大框架上，ISP芯片究竟长什么样(而不单是前文提及的，整条流水线如何)，历史文献中有一些可做参考的，比如1984年日立发布的paper，题为ArchitecutreofanImageSignalProcessor；更偏近代的大概可以看一看NXP的S32V中的可编程ISP子系统。
图3：vivoV1+芯片示意图。图片来源：vivo
此前vivo在发布V1芯片时提到，V1历时“24个月左右，投入超过300人的研发团队完成”。“V1针对高速数据处理的针对性优化设计，让极其复杂的多个计算成像算法，在低功耗下并发实时处理变为可能。”小米澎湃C1发布之际则宣传“双滤波器配置，可以实现高低频信号并行处理，信号处理效率提升100%”。
或许有读者会好奇APSoC厂商对于下游手机厂商自研ISP这件事是什么态度，毕竟骁龙8、天玑9000这些芯片的ISP算力水平也是不差的：宣传点则早已不限于单路几亿像素摄像头支持。此前骁龙8Gen1就在宣传“三核18-bitISP”——“提升4096倍数据采集量”，天玑9000则配备了“3个18bitHDRFusionISP”。这些都还是相当符合高像素、多摄、HDR这类对吞吐需求越来越贪婪的手机摄像头发展趋势的。
起码联发科对于手机厂商自研ISP是不介意的态度。今年上半年，联发科还和vivo坐在一起，共同召开了一场“双芯影像技术沟通会”。而且似乎vivoV1+ISP芯片在vivoX80的应用，还得到了联发科技术上的支持。联发科在沟通会上说：“天玑9000提供天玑开放架构，与vivoV1+深度整合。”“天玑开放架构”是联发科为客户提供的一种技术方案，本质上是增加芯片的可定制性，面向客户提供一些接口；比如说视频录制链路中有个“AI-ISP开放架构接口”，大约与此合作是有关的。
vivo则在会上提到双方投入了“超过300人的精英团队，超过350天的研发周期，大幅革新了软件通路架构，将V1+和天玑9000调通。”
一般来说，在上游芯片厂商已经有对应产品的基础上，手机厂商仍然选择自研芯片，应该是为了达成更高的效率。尤其在自己掌握相关算法、软件等技术的前提下，藉由更为针对性的设计来实现功能和优化，自然在效率、性能和功耗方面能够做到最优。谷歌PVC即是其中颇具代表性的。而更大范围内，苹果更是个中翘楚了。
但对国产手机厂商而言，这其中的意义恐怕又有所不同。在我们看来，相比于APSoC提供的现成资源，现阶段自研ISP芯片真正达成的效率提升、性能收益，还是比较有限的：毕竟那些启用了“独立”ISP的手机产品，相较同等定位、未采用“独立”ISP的手机，其实在拍照表现上很难拉开大的差距。
而且像文首提到的，ISP这种“小件”并无“独立”的必要性，就连谷歌都已经停止在Pixel手机上继续用PVC/PNC芯片——如果APSoC芯片在算力和效率上愈发精进，则独立芯片方案的确算不上什么优选。跨芯片、远距离的数据存取和通讯，在手机上总是应当尽力避免的。
谷歌现如今更倾向于和芯片厂商合作，在APSoC芯片上下功夫。所以我们看到Pixel6手机上，谷歌和三星合作推出了Tensor芯片——这是一颗完整的手机APSoC。而且今年年初的消息是，谷歌准备在圣地亚哥启用一个新的团队，专注于Tensor芯片的ISP设计。这样的思路在手机设备上才显得更为合理。
不过自研并启用独立ISP带来了另外两个层面的收益。其一是在手机这片红海市场上竞争的差异化：无论独立ISP有没有带来切实的体验收益，或者体验层面的加成有多少，在市场上“自研芯片”都是个相当不错的卖点。而且在这么激烈的竞争环境下生存，自研芯片似乎已经成为必由之路。那些没有芯片设计能力的手机厂商都逐渐被边缘化了。
其二，更重要的收益在于，以ISP芯片作为芯片设计技术积累的起点，是个相当不错的选择。有了这样一个切入点，未来才有机会进一步设计规模更大、更复杂的芯片。从长远来看，这都将是个可持续发展的必要选择。谷歌以PVC芯片为切入点，转而去造TensorSoC，大约也是这么回事。
从ISP扩散开去
其实相比于V1，vivoV1+芯片就不是一颗单纯的ISP芯片了。除了片上“等效”32MBSRAM，vivo此前在介绍中说，V1+还用于游戏插帧。所以V1+应该算是ISP+MEMC芯片。这更像是芯片职能的扩散。
而OPPOMariSiliconX芯片就更不只是一颗ISP了，ISP只是其中的一部分。从OPPO公布的芯片框架图来看，除了ISP、存储子系统以外，占据较大diesize的是NPU——也就是AI单元。基于OPPO公布的参数，我们认为OPPO的这颗芯片用于替代APSoC上的ISP也显得更有价值，包括20bit120db动态范围、4KHDR/AI夜间视频拍摄等。
图4：OPPOMariSiliconX芯片。图片来源：OPPO
基于当代ISP需要与AI单元配合工作这一点，如果AI单元独立于ISP芯片之外，则如果双方涉及频繁的数据交换，数据存取和通讯带来的开销都是不小的。优选自然仍然是把两者放在一起(虽然最好仍然应该是将两者都集成到APSoC上)，MariSiliconX在这一点上就迈进了一步，虽然我们不知道这颗芯片的NPU单元，在除影像处理之外的AIinferencing工作上究竟充当何种角色，及其与APSoC上的AI单元是否有配合……
这种由ISP向外“扩散”的尝试，对于vivo、OPPO、小米这样的厂商而言，应当还会持续。所以很容易理解上半年就有OPPO预计于明后年推出自研APSoC的传言消息的出现。这才应该是这些手机OEM厂商的终极目标，“独立ISP”不过是其中的一小步罢了。
在这一点上颇具说服力的应该是华为海思，即便因为某些众所周知的原因，华为的APSoC暂停在了麒麟9000。但麒麟9000当年的一大亮点也在ISP与NPU上，包括3A处理能力的100%提升、quadpipeline令处理管线速度提升50%等。
比较值得一提的是，《电子工程专辑》此前多次撰文谈到过华为在“ISP+NPU融合架构”上的努力。在同一颗APSoC芯片上，麒麟9000的ISP+NPU处理时间<33ms，基本相当于以前只用ISP来处理摄像头拍摄数据的时长。这对视频处理而言是具备了相当价值的。未来实时性要求更高的应用，如AIVR，对整个系统也都会有更高的要求。
图5：华为ISP+NPU融合架构。图片来源：华为
而同处在一个系统、一颗SoC内的价值，举个例子：此前华为对于这种ISP+NPU融合架构的优化方案之一在于，藉由片上cache(SmartCache2.0)以及影像行或帧切片的方式，让ISP和NPU进行数据通讯，以降低带宽消耗和延迟(图5)。当时华为展示的摄像头拍摄画面实时卡通化就用到了这种技术，即便是看起来很简单的一个功能实现。这应当是独立ISP难以企及的。
走向APSoC设计，基于此做集成ISP、NPU等单元的加强显然才是未来方向。不过现阶段的国产手机厂商造专门的ISP芯片，乃是走向这条路的一部分。未来更大、更复杂形态的芯片产品也将能体现当今的技术储备；更多的“海思”也才有机会诞生。在我们看来，这才是手机独立ISP的真正价值！
本文为《电子工程专辑》2022年9月刊杂志文章，版权所有，禁止转载。点击申请免费杂志订阅
