
影像给我们带来好多快乐,是全人类的旺盛需求。我们的生活已经被手机摄像头彻底改变了,它成为了我们生活的一部分。一张图片一个视频胜过千言万语,表达门槛也大大下降了。
极具活力的中国市场引领了手机摄像技术发展,广角长焦变焦虚化微距深度暗光夜景防抖,AI美白瘦脸瘦身长腿大眼变装,这个世界真的有魔镜!扫描二维码支付已经普及,我的钱包比脸还干净。
正在进行的一场战争,成为人类历史上第一次手机直播的战争,影响了全球人民,反过来对战争又有了影响。
CMOS图像传感器(简称CIS)芯片是成像核心,与我们的生活息息相关。值得骄傲的是,CIS诞生和发展的三十多年里,来自中国的科技工作者们前赴后继,做出了最为关键的贡献。
这是一个很长的故事,里面有矢志不渝的坚守,有精诚合作的团队,有惊心动魄的瞬间,也有千载难逢的机缘。故事发生在爱丁堡大学(1987-95年,王国裕和陆明莹伉俪为最关键研发人员),在硅谷(1995年上交大55届洪筱英创办豪威科技(Omnivision),合伙创业),在西安(1995年王国裕归国创业,努力至今),在上海(格科微GalaxyCore赵立新、思特威徐辰、芯视达杜峥等创业者们)......
CIS都是基于成熟制程(区别于14纳米以内的先进制程)。2020年,国际分析机Yole曾指出,China或有希望首先在CIS领域实现技术独立。2021年,Yole继续指出:China becomes an image sensor land。
图注: CIS份额(按金额算),源YOLE
2020年,市场总金额为207亿美元,2021年为213亿美元。如果按数量计,2020年全球生产了70亿颗CIS,中国大陆产量排第一。
本文将提到上图中的ST意法(收购英国VVL)、豪威Ominivision、格科微Galaxycore、Sony、Samsung等企业的成长过程。
全文超过一万字,长文慎入。
第一章、影像技术剧变,几家欢喜几家愁
肖像画历史久远,画工毛延寿故意不画出王昭君之美。
1839年8月19日法国画家路易·达盖尔发明了世界上第一台真正的照相机。清末,照相机进入了中国大地。
图注:黄飞鸿电影中的十三姨和她的宝贝相机
70后科技老兵戴辉有幸完整经历了影像科技的剧烈演变。
1、胶片相机从繁华到没落
80年代,我们兄弟俩还在读小学时,父亲所在九都学校组织看岳阳楼,这是我们第一次出远门,感受这“浩浩荡荡,横无际涯“。有位小戴老师有相机(海鸥或凤凰)还会暗室冲洗照片。我甚是羡慕,也梦想有个相机,但不知道“何年何月能得偿所望”(星爷于鹿鼎记台词)!
图注:岳阳楼黑白仰拍
上世纪末我梦想成真,买过国货,也买过奥林巴斯。不过,胶卷相机的没落也进入了倒计时,有道是:夕阳无限好,只是近黄昏。2003年的最高峰,全球卖出了近十亿个胶卷,从此开始走下坡路,直到归于尘埃。如今,富士胶卷奇迹般成功地转型医疗材料厂家,柯达胶卷在 2012 年申请破产重组,在新冠疫情中传说获得美国政府贷款进入制药行业,令人不胜唏嘘。有意思的是,“立拍得”还有市场,我家有一台。
2、数码相机和DV从繁华到没落
进入新世纪后,数码相机浪潮兴起了。我在2001年首次使用奥林巴斯数码相机。之后购入了索尼Cybershot,甚至还有了一幅获奖摄影作品。
图注:夕阳下的小船船 作者戴辉04年摄于巴厘岛
2009年之前,先后购入JVC DV(磁带存储)与三星DV(光盘存储)及佳能单反,本准备大展宏图拍点传世佳作,没承想这却成为了最后的疯狂。
现在的智能手机,照相和视频很方便,下至幼童上至花甲老人,都玩得也很溜。我的DV和单反就一直在床底下蒙尘了。
换个角度来砍,被智能手机碾压了的个人消费电子产品又何止只有它们?辉煌数十载的日本消费电子随之没落。
3、手机拍照和摄像惠及全球老百姓
2000年11月,世界上第一部带拍照功能的手机夏普J-SH04问世,11万像素,采用自产的CCD(Charge-coupled Device电荷耦合元件)作为图像传感器,只一个摄像头,售价500美元。
各大手机厂家陆续推出具有照相功能的手机,价格不菲,但照相品质欠佳。
2004年,三星anycall的折叠机 E700,只一颗摄像头640 x 480 (VGA),自拍并不方便。
图注:Estella Warren为三星E700翻盖手机做的自拍广告
2006年,华强北GSM山寨机爆发,采用廉价的CMOS(互补金属氧化物半导体)技术提供内置照相机,全世界无数老百姓有了人生的第一张数码照片。
传音手机针对非洲人黑皮肤拍照难这一问题,专门研发了新的拍照算法,即使在晚上自拍,也不会出现看不清自己的情况。
CMOS图像传感器(CIS)产业随即获得爆发式发展,并碾压CCD。
从2007年乔布斯发布智能手机(采用美光2百万像素CIS)开始,苹果就举行年度摄影比赛。2010年是转折点,当年发布的iPhone 4(采用豪威500万像素CIS)的画质相当让人感到满意,也真正实现了前置摄像头的大规模流行。记得深南大路上的一溜公交车站广告牌都是美轮美奂的大幅照片,下面写着:“Shot on iPhone”。摄影也从庞大的DV上集成进入手机,2014年,陈可辛用手机拍摄了微电影《三分钟》,绿皮车故事“骗取”了我的一把眼泪。
新晋中国品牌的智能手机群体崛起,找到了让年轻人追捧的”财富密码“。
后摄从双摄向多摄迅速,实现暗光(夜景)+防抖+广角+HDR+虚化+长焦+3D深度相机等多种组合功能,还能实现光学变焦和和景深拍摄等。用于自拍的前摄也有双摄了!
基于AI能力,可进行美白瘦脸大眼瘦身,智能场景拍摄和不知真假的“P月”,已经有CIS直接内置了AI能力。这个世界真的有魔镜!
手机的照相功能也替代了扫描仪和传真机,二维码扫描和人脸识别应用在网络支付和工作流程等领域。我的裤兜现在比脸还要干净!
网络会议和远程教育。
网络直播和小视频里,大老爷们都可变装为女人,朋友圈分享生活也变得如此简单。
图注:小视频里,阿纯通过AI成为小美女
4、技术剧变,日本电子业集体沦丧
技术的剧烈变革真是触目惊心。2017年10月,尼康位于无锡的数码相机工厂宣布关闭;2018年5月,奥林巴斯深圳工厂关闭;2022年1月,佳能位于珠海的相机工厂关闭。
索尼最后使用CCD的消费电子产品是2010年推出的A390数码单反。索尼在2017年3月前逐渐停产CCD传感器,最后一次发货时间为2020年。索尼将全部精力投入到CMOS图像传感器研发当中,退居幕后成为CMOS图像传感器芯片巨头,以至于每年的绝大部分利润皆来自这里。
5、CMOS图像传感器成为主流,中国人贡献巨大
从CCD图像传感器(Charge-coupled Device电荷耦合元件)到CMOS图像传感器(CIS)的关键一跳中,爱丁堡大学的中国科技工作者起了最关键的作用。
感觉好像不远,但其实并不容易,正如那金沙江(长江上游)的虎跳峡。我曾在那里徒步几日,若不小心,就可能掉下悬崖。
CMOS(互补金属氧化物半导体Complementary Metal Oxide Semiconductor)目前是世界上最主流的芯片技术路线,CPU、GPU、手机处理器等都广泛采用这个工艺。它跟随着摩尔定律发展,集成度越来越高(如7纳米、5纳米),功耗也越来越低,还可做模数混合。
基于CMOS的图像传感可以与图像采集、模数转换、信号处理等后续功能集成实现在单颗芯片上(片上系统SoC),因此数码镜头可以做得体积小、功耗低、成像快、价格便宜。现在上亿像素的手机也比比皆是,最近看到居然有两亿像素了。
图注:CCD则输出模拟信号供后续处理,CMOS传感器可直接输出处理后的数据(源:COVENTOR)
图注:CMOS图像传感器单片集成电路(ASIC)示意图
随着机器视觉系统从传统板级式向小型智能系统的发展,CMOS图像传感器(简称CIS)替代了CCD成了最后的大赢家。
早在2006年,曾在索尼从事研发工作的米本和也在所着《CCD/CMOS图像传感器基础与应用》一书的引言中写得很清楚:到 90 年代初,CCD 技术已比较成熟,得到非常广泛的应用。但是随着 CCD 应用范围的扩大,其缺点逐渐暴露出来。首先,CCD 技术芯片技术工艺复杂,不能与标准工艺兼容。其次,CCD 技术芯片需要的功耗大,因此 CCD 技术芯片价格昂贵且使用不便。目前,最引人注目,最有发展潜力的是采用标准的CMOS技术来生产图像传感器,即 CMOS 图像传感器。CMOS 图像传感器芯片采用了 CMOS 工艺,可将图像采集单元和信号处理单元集成到同一块芯片上。由于具有上述特点,它适合大规模批量生产,适用于要求小尺寸、低价格、摄像质量无过高要求的应用,如保安用小型和微型相机、手机、计算机网络视频会议系统、无线手持式视频会议系统、条形码扫描器、传真机、玩具、生物显微计数、某些车用摄像系统等大量商用领域。20 世纪 80 年代,英国爱丁堡大学成功地制造出了世界上第一块单片 CMOS 图像传感器件(备注:ASIC IMAGE SENSOR)。目前,CMOS 图像传感器正在得到广泛的应用,具有很强的市场竞争力和广阔的发展前景。
图注:1990年爱丁堡大学单片ASIC是关键转折
值得说明的是, CIS有“前照式(FSI)”、“背照式(BSI)”、“堆栈式Stacked BSI”之分,采用的都是成熟制程,并不是常规意义上的先进制程(14纳米以内),因此在中国大陆完全可以量产。CIS以前是0.8微米(800纳米)线宽做的,后来是0.5、0.3、0.18微米、90纳米线宽,格科微报道称基于55nm的工艺平台已进入量产状态,索尼和豪威则有报道称最多采用45纳米和55纳米等制程工艺。有报道称,三星的堆栈式结构中,上层传感器主要采用65纳米制程,下层逻辑电路则采用28纳米和65纳米。
6、CIS每年用上数十亿颗,主要卖到中国
2020年,全球出货70亿颗CIS,七成用于手机。如果按数量计算,中国厂家排名第一。
2021年出货13.亿支智能手机,每支配上三四五六七个摄像头,大家调侃为“浴霸、莲蓬头、花洒、蜂窝煤、麻将牌”,还怕有“密集恐怖症”,连儿童手表也没被摄像头放过。
图注:好比麻将牌七八九饼,源自网络
徕卡先后和华为、小米(首推上亿像素)合作,OPPO旗下一加携手哈苏,蔡司从与诺基亚合作转向和VIVO合作。这些合作方其实主要是在软件侧调校算法,并不提供实际的硬件(如镜头)。我安装过的Xbox游戏机带有人体感应就包括了照相机,我还看过GoPro运动相机发布,玩过VR虚拟现实和AR增强现实,相信未来的元宇宙(Metaverse)也有更丰富的CIS应用。
全球大部分的智能手机及内置的CMOS照相模组(CCM)都是在中国制造的。当然,很大一部分手机都出口到海外了。三星本来转移到了越南,现又将很多订单交给国内的ODM公司(如华勤)。
谁笑到最后,谁笑得最好!
7、CIS在汽车、安防、医疗、工业、无人机等专业场景大量应用
除了满足人所皆知的个人消费需要,CMOS图像传感器(CIS)在汽车智能驾驶、安防(视频监控,包括家居安防)、医疗(如肠胃镜)、工业(如机器视觉和机器人)、宇航(如望远镜)、无人机航拍、远程教育等众多领域获得了很多应用。
工业领域的机器视觉应用非常广。明锐理想的AOI(自动光学检测)设备本质上是一个直角坐标机器人,基于工业相机在高速运动下拍下很多照片,从而实现对芯片封装、CMOS摄像头模组(CCM)、智能手机电路板一条龙的自动视觉检测。还有响亮的SLOGON:“明于心,锐于眼”。CEO冀运景告诉我,最近几年,采用CMOS传感技术的高性能工业相机已经是绝对主流了,处理速度非常快,成像质量也令人满意。
图注:CMOS的成像速度比CCD快很多(源:BASLER)
速度是关键:With CCD sensors (left) the charge is shifted pixel by pixel, in the CMOS sensor the charge of each pixel is directly converted to a voltage and read – making it noticeably faster.
医疗设备用到这个技术。瘦死的骆驼比马大,光学巨头奥林巴斯业务目前的八成收入来自医疗设备。去年,我在长沙做肠镜检查和割息肉,两次都是用的奥林巴斯肠镜(备注:第一部胃照相机就是他们发明的)。我因为是学医电(BME)出身,所以没有打麻药,饶有趣味地看着屏幕里的”曲径通幽“。如今我也是文人,也想能和写”屎尿屁“的贾浅浅一样地火,所以直接上”干货“!
图注:肠镜检查图,作者戴辉摄
8、备注:CMOS成为主流的硅基芯片工艺的过程中,有挺多故事
1976年,中国台湾工研院与美国RCA公司签订《CMOS集成电路技术移转授权合约》,第一块芯片是电子表芯片,从此开始了中国台湾的芯片事业,以至于今天到达世界之巅。1981年,IBM定义PC规格采用的INTEL8086就是用CMOS工艺。1982年 IBM的“Cheetah”原本计划使用Bipolar ECL(逻辑发射极耦合逻辑电路emitter coupled logic)工艺 ,在1984年采用了CMOS技术,IBM的POWER CPU系列也大发展。2006年底,锐迪科微电子推出采用中芯国际 RF CMOS 工艺的FM收音机集成芯片,模数混合,火爆一时,一度成山寨GSM手机标配。2013-14年,卓胜微用台积电的RF-CMOS工艺做GPS低噪放,也是从山寨机起家。ODM公司(如华勤)可以带动很多国产小芯片的验证应用。
第二章:美国发明CCD和数码相机,却是日本发扬光大
请允许我从芯片角度,为您一一讲来。
1、贝尔实验室发明CCD,获得诺贝尔奖
1948年,贝尔实验室(现Nokia Bell Labs)发明了晶体管。1954年,东通工(索尼前身)学习到该技术,并在收音机上发扬光大。这样的故事在CCD上重演了。
1969年,贝尔实验室里发明了电荷耦合元件(Charge-coupled Device,简称 CCD)的发明。CCD作为半导体固态图像传感器,是将“光”的信息转换成“电”的信息的魔术师,实现了用电子捕获光线(光可被电子化捕捉)。两位美国科学家Willard S. Boyle和George E. Smith获得了2009年度的诺贝尔物理学奖。
图注:戴辉于诺基亚贝尔实验室拍摄的原始CCD芯片
2、美国柯达率先做出数码相机
1973年,美国硅谷的Fairchild(仙童科技)制成了商用CCD图像传感器,标志着CCD从实验室走向市场,进入了实用阶段。
图注:美国仙童科技第一枚商用CCD,1万像素
1975 年,柯达公司的工程师史蒂文•塞尚(Steven Sasson)使用上述仙童公司(Fairchild)的CCD 元件以及柯达零件仓中的零件,制造了一个 8 磅重的设备,而该设备可提供 1万像素的黑白图像。这是第一部数码相机,取代了只能使用传统底片摄影的功能,开启了影像产品的数字时代。遗憾的是,柯达担心新技术会颠覆其强大的胶卷产业,技术跟进不力。手握着一把好牌,打没了。
图7.柯达数码相机
3、日本投入巨大,发扬光大
1973年,索尼的越智成之实现用64像素画了一个粗糙的“S”。曾任索尼的美国分社长、时任索尼公司副社长兼索尼中央研究所的所长岩间慧眼识英雄。1973年11月,CCD立项,成立了以越智为中心的开发团队。巨大投入之后,1978年3月制造出了支持11万像素的芯片。1981年,索尼推出了马维卡(MAVICA)相机,它成为全球第一台向市场发布的数码相机,其传感器的像素达到28万左右。1985年1月,索尼诞生了第一台CCD便携式摄像机M8,这是当时世界上重量最轻的只录摄像机,重量不到1KG。真是漫漫长途啊!
日本的各大公司把握技术革新的时机,占领了数码相机市场,创造出各种品牌数码相机和摄影机。
CCD的生产工艺复杂,只有索尼、富士、柯达、飞利浦、松下和夏普6家厂商可以批量生产,基本上都在日本。索尼累计生产量超越1亿片以上,以50%的市场占有率成为领导厂商。这个数字在当年很了不起,因为数码相机的普及率并不高。
第三章、爱丁堡单片CIS开创了新时代,中国学者伉俪是主要设计者
1、爱丁堡大学开辟CIS新时代,荣获兰克奖
20世纪80年代末,数码相机高达数千美元一台,日本电子业雄霸天下。欧美想逆袭,唯有图谋“弯道超车”。
1989 年,英国爱丁堡大学的Peter Denyer教授、David Renshaw博士,和当时在爱丁堡大学做科研的王国裕和陆明莹联袂发表了一篇论文,报道了CMOS 图像传感器(CIS)的工作。1990年底,芯片流片成功,随后成功演示了世界上第一台单芯片 CMOS 摄像机,从此开创了一个新世界。
图注:爱丁堡大学网(https://www.css.eng.ed.ac.uk/history)
爱丁堡大学之后,才有了后来美国、日本、中国跟进的研究和产业行为。
2008年2月4日举行的兰克奖(Rank Prize)颁奖仪式上,四位科研人员因为CMOS图像传感器上的重大贡献而获此殊荣。
图注:左二王国裕、左三、陆明莹、右三Peter Denyer、右二David Renshaw
The Rank Prize是面向世界的光电子和生命科学领域的顶级的科学奖,杂交水稻之父袁隆平和光纤通信之父高锟先生曾获得。
图注:获奖事迹介绍
2、王国裕和陆明莹的国内学习和工作生涯
科技老兵戴辉辗转联系上了王国裕教授,了解到了一个LONG STORY,请听我细细讲起。
王国裕于77年冬天恢复高考后以优异成绩从泰州(当时还属于扬州)考入东南大学(注:1988年以前名为南京工学院)电子工程系半导体与集成电路设计与制造专业(63771班),他的嫡亲兄长于WG前考上了清华大学电机系。陆明莹于南京同期考入,她的父亲是毕业于原民国中央大学和密歇根大学的陆钟祚教授,抗战期间,陆钟祚研制并生产的3000瓦归航机和参与研制并生产的400瓦地-空对讲机均成功地用于中国空军的对日作战。
出生于同年同月(1954年5月)的他们入学时已然24岁了,两人因成绩并驾齐驱而”惺惺相惜“,发展出”地下恋情“。1982年毕业之后,王国裕以优异成绩考上了清华大学微电子所的研究生,陆明莹则在东大继续读研。期间在陆家举行了简单的婚礼,证婚人是钱钟韩(钱钟书堂兄弟)。
84年,双双在东大任青年教师。紧随世界潮流,他们是国内最早一批使用EDA进行集成电路正向设计仿真和推广的科研工作者,王国裕还应邀赴908项目之无锡华晶集团做学术报告。1988年,东南大学出版社出版了他们所著的《SPICE-II通用电路分析程序使用方法及其应用》,这是国内第一部系统介绍EDA应用的书籍,影响了一代芯片设计人。
改革开放后,中国半导体科研界一步到位和国际接轨。王国裕在东大的本科毕业设计就是一颗成功工作的小规模集成电路。研究生就读的清华大学微电子学研究所里有一条集成电路工艺线。王国裕采用SPICE进行正向设计和仿真,并流片得到了运算放大器样品,将“纸上谈兵”变成了完整的实践,后来发表了论文《MOS模拟集成电路的噪声分析和低噪声设计》,老师则有南德恒、李志坚、杨之廉等教授。
特别值得一提的是,王国裕在东大和清华,还有特别威水的地方,那就是各创立了一支管弦乐队,并担任指挥。
图注:王国裕担任黄河大合唱指挥
图注:王国裕和指挥家中央乐团严良堃
插叙一下,科技老兵戴辉曾经也是文艺积极分子,在中山大学担任研究生艺术团团长(兼跑龙套),还去华南理工演出过。
图注:穿越剧鼻祖之“杜十娘流落到民国”,右一导演陈进
3、中国伉俪加盟爱丁堡团队,选择CIS方向奋斗
在教育部“中英奖学金计划”安排下,王国裕得以在87年11月作为东大访问学者来到了爱丁堡大学。加盟的团队有两位学术领头人,大老板Peter Denyer教授和二老板David Renshaw博士。访问学者没有什么具体任务,比较自由。王国裕把所有课题捋了一遍,选择了CMOS 图像传感器件的项目。这是一个探索性的课题,做过一些零星的研究,但尚未有任何进展和结论。据说日立尝试用CMOS工艺来做但未能做不出来,以至于有一种结论是CMOS工艺不适合做成像器件,必须采用CCD工艺来做。王国裕接手后,一个一个问题进行分析和实验,感觉有希望突破,这让大家都兴奋不已。1989年,陆明莹作为东大访问学者也来到了这里。
这个芯片极具挑战性,设计过程是千难万难,团队四个人三天两头在一起讨论。四个人是天作之合,再难的问题通过讨论总有解决方案。这样的组合和互补作用工作起来特别顺畅,是一次难得的团队协作。大老板挂帅,经常提出有见地的意见,在需要权衡取舍的时候,往往是他一锤定音。二老板是黏合剂和预备队。在设计曝光控制电路时,一度曾卡住,王国裕和二老板苦思冥想数日,一天早晨不约而同地提出解决方案,思路居然一致,所画的电路草图也雷同,真有点不可思议,那天大家都异常兴奋,喜悦难以言表。王国裕是芯片主设计,承担了芯片主要部分如成像阵列和片上放大器的设计,提高放大性能是最关键的任务。王国裕有着特殊的艺术感觉和严谨的工作态度,在东大打下的坚实基础和在清华使用SPICE的经验,都起了很大的作用。数字控制和全电视信号产生部分则是陆明莹完成的,她在算法方面有丰富经验,之前设计电子琴芯片的经验和技巧也派上了大用场。
图注:陆明莹在爱丁堡实验室的工作场景
4、惊心动魄的“搭桥手术”
王国裕回忆了这个故事。
“90年底是一个寒冷的冬季,第一个芯片终于流片回来了,初步测试一下居然没有任何反应,手掌对着芯片移动,输出波形却纹丝不动,就是说这颗芯片是死的。
”对于大家热切的期望,这无疑是当头一盆凉水,我把自己关在一个房间思考,终于想出来一个地方可能错了,某一信号可能反了。赶快打开工作站,找到这一部分版图检查,果然是也。问题找到了,怎样解决呢,总不至于再去流一次片吧,可否在芯片上修复?我们联想到剑桥大学也许可以做这件事。东大的同学崔铮博士当时在剑桥大学做访问学者,几个月前我们去看望他时闲聊到他们有一个新设备,可以做微小尺寸的割断和搭桥,当时并未在意,此刻在这个特殊情况下突然想起来,这是唯一的快速修复芯片错误的办法。当即联系崔铮,立即赶往剑桥,在火车上构思了割断和搭桥的方案,当时并没有成功案例可供参考,他们实验室之前没有做过这样的事情。他们很协助、很帮忙,先割断错误的电路连接,再搭桥实施正确的逻辑功能,相当于对芯片做了一次“搭桥手术”。做完后在现场用示波器做了初步测试,那个波形随着手掌的移动又跳舞了,说明芯片“活”了。暴风雪中,我坐出租车下半夜回到爱丁堡,稍事休息,天亮便去学校。后面的测试便顺风顺水,一气呵成,芯片测试板终于调出了清晰的视频图像,在显示器终端上实时播放,这就构成了最初的CMOS成像演示系统。
“就这样,在这个寒冬,爱丁堡大学研究成功了黑白CMOS单片图像传感器,为256X256(约5万)像素,这是全球首创,引发了热切关注,到实验室来观看实验的人络绎不绝。”
”
5、引发科研界与媒体剧烈反响
在巴黎举行的欧洲学术会议Euro ASIC 91上,作为主设计师的年轻的中国学者王国裕上台做了学术报告,首次报告了爱丁堡大学的重大技术突破:世界上第一个成功的单片CIS芯片,引起了代表们极大关注,该芯片荣获了这个会议的“最佳电路奖”。
图注:第一颗芯片、91年度的”最佳电路奖“、媒体报道
媒体期待未来有20英镑的数码照相机,并认为会冲击日本电子产品,没想到”一语成谶“。有关创新被后来所有的CMOS摄像芯片沿用和不断更新,并申请了国际专利:“Solid State Image Device”。
无独有偶,王国裕1991年9月撰写的另一篇论文《芯片自动曝光控制技术》获欧洲集成电路年会(ESSCIRC 91)授予的“最佳论文奖”。一个国际学术会议一般只评选一篇获奖论文,他们的论文连续两次获奖,说明了当时学术界的高度评价。自动曝光控制对CMOS成像芯片的广泛应用非常重要,是必须具备的一个功能,是他们首次实现并报告的,其技术上的实现亦有新意,把数字扫描与控制算法巧妙地结合起来,这个算法带动了后来的一系列控制功能的开发,如“白平衡”…. 最终我们看到了现在手机照相那么简便,有很多的编辑功能供用户选用。
6、英国VVL公司大发展,中国人为核心研发人员
1990 年,在大学和风险投资的支持下,爱丁堡大学成立了大学衍生公司 VLSI Vision (VVL),以销售单芯片摄像机设备并开发基于该技术的一系列新型成像设备。
王国裕担任了VVL公司的VLSI设计部经理,1990-1994年间在英国共主持设计成功了8个摄像芯片。1993年3月,设计研发的“单片COMS摄像器件”获苏格兰政府授予的“苏格兰政府奖”,这是一颗彩色CMOS芯片(单片集成电路)。
为寻求晶圆厂代工伙伴的支持,他前往台积电欧洲总部进行汇报。之后台积电启动了CIS项目。
东南大学校长韦钰访问了爱丁堡大学,和他们亲切交流。韦钰的导师就是陆钟祚教授。韦校长平易近人,94年我们班拍毕业照时,她已升任教育部副部长。我们系是她创办的,因此沾光,我们班毕业拍照时,她坐一排正中。
VVL成功上市,并于1998年为意法半导体(ST Microelectronics)所收购,成立了该公司的新成像部门,以应对新兴的手机摄像头大众市场。
第四章、硅谷豪威受爱丁堡影响而创商业奇迹
1、豪威以爱丁堡的VVL公司为榜样建立,目标市场是“电脑眼”
1995年的硅谷,一片欣欣向荣。
移动互联网兴起,PC产业迎来了高速发展的伟大动力。1992年,美国总统候选人比尔·克林顿提出建设信息高速公路,1993年它成为美国政府的建设计划。1995年,中国CERNET(中国教育科研网开通),我们作为最早的中国网民,在中大的实验室里用惠普PC兴奋地上网冲浪,不小心连上了PLAYBOY。九十年代,以兼容PC为核心的电子产业快速发展,电脑城”攒机“是很多人共同的经历,来自中国台湾的主板很有名。
美国硅谷和中国台湾都涌现出了华人芯片创业潮。英伟达成立于93年做PC显卡,MARVELL成立于95年,做硬盘控制芯片。世界十大设计企业之四的联发科(MediaTek)、联咏(Novatek)、瑞昱(Realtek)和奇景(Himax)也都是依赖中国台湾的PC相关产业起家的。
洪筱英(上交大55届)和吴日正(毕业自中国台湾中原大学)从80年开始就是摩托罗拉芯片业务(飞思卡尔)的好同事。Raymond Wu要小17岁,一直称Shaw Hong为“老板”。有一个说法是:两人相处的时间大概比许多夫妻在一起的时间都长。
图注:洪筱英很低调,网上唯一的照片
95年,两人结束了第一家联手创办的计算机应用芯片组公司HK Technology。创业未成功,但他们并未丧气,在思索着下一步,要能看到三五年之后的趋势。此时无论是CPU(中央处理器)、存储器,甚至是计算机周边产品都在飞速地进步,若计算机是一个“人”,那么“他”已是四肢健全,头脑灵敏,但独缺眼睛,它看不到外面的东西。没错,技术高、成本低的影像感应器单晶片便成了豪威要走的路,要让产品有好的“眼睛”。创办豪威时,最被质疑的是:“市场在那里?”而他们的答案总是:“我们要创造市场(create market),而不是替代日系的CCD市场(replace market)。”
OmniVision豪威起家的股东就来自中国台湾,陈大同介绍过这个故事:“入伙”之后,另一个Co-Founder,中国台湾来美的 Raymond Wu(注:吴日正),悄悄向俺吐露了一个惊天秘密:公司的启动资金是他“连蒙带骗”来的!当时,全世界只有一家英国创业公司(VVL)在研发CIS。Raymond神通广大,不知从哪儿拿到了他们的工程样品,然后擦去公司印记, 就冒充成了俺们OV公司的“研发样品”。这种“样品” 当然不敢在硅谷露面,于是,Raymond带着它回到台湾, 四处演示。最终,通过一个大学同学,认识了和成陶瓷 HCG(卫生陶瓷厂商)邱家的二少东,Stanley Chui。估计 人家也是马桶做腻了,在Raymond的鼓动下,想玩玩高科技,于是投资200万美元,成立了OmniVision。得知真相, 俺惊出一身冷汗,这上的是哪一条“贼船”呀!但上船容易下船难,还得硬着头皮往下干。来自中国台湾的富鑫、和通等科技创投基金、电脑品牌厂宏碁也陆续投资了豪威。
2、中国留美学生们一起努力奋斗
豪威的工程师团队里面80%是华人,华人里面80%是留学生,团队创造性极强,干活非常玩命。清华大学微电子所毕业生陈大同作为联合创始人加盟了这家公司,还有何新平、刘军、杨洪利、董其等清华人加入。东大系留学生杜峥等人也加入了。第一件事情就是看论文。
单记章回忆:印象最深的就是在最后测试代码的时候,公司创始人洪筱英先生就坐在我的身后,紧紧盯着电脑的屏幕,洪先生50多岁开始创业,跟我现在创业(注:黑芝麻)时的岁数相当,身上的压力很大,但我无暇感到紧张,因为一旦开始做事,就会全神投入,最后看到结果顺利,洪先生才终于松了一口气。
96年开始,全球有二三十家公司进入这个领域,不乏世界级芯片巨头。
1997年,豪威推出首颗芯片(ASIC),并开始用于电脑眼。
豪威科技成立5年后,尽管一直亏损,但还是于2000年登陆纳斯达克,这就是美国资本市场的魅力。
图注:作者戴辉于豪威LOGO前
3、手机拍照是一个巨大的市场契机
2000年开始,手机上陆续有了照相机镜头。
2009年,豪威和台积电合作的BSI(背面照度技术)制程产品成功量产后,获得iPhone 4采用,拍照质量出乎意料。iPhone 4是一代神机,很多水客从香港带货到深圳。豪威也一度最高拿下全球50%+的份额,索尼仅7%。豪威也一跃成为了台积电前十大客户之一。
CMOS的大火,让索尼觉得死守CCD肯定不行了,于是也转型CMOS芯片, 并进入苹果,应用在iPhone 4s上,从此索尼崛起。
三星凭借其手机和芯片制造的强大实力,也迅速发展了起来。早期,我就买过带摄像头的三星Anycall功能机。
2015年,豪威为中资以19亿美元的现金价格收购,2018-19年为韦尔科技所收购,CEO虞仁荣和格科微赵立新是清华大学的同班同学(EE85)。
第五章、1995年,王国裕归国创业至今
1、王国裕来到西安创业做CIS,归国创业先锋
1995年初,王国裕归国来到西安交通大学任教授,同时担任西安开元微电子科技有限公司总经理,董事长则由开元集团派任。他很可能是改革开放之后,最早从海外归国创业设计芯片的人。
差不多时候归国的魏少军是王国裕在微电子所的同学,硕士毕业后于85年赴比利时从事芯片设计与科研。95年10月归国加入电信科学技术研究院创立集成电路中心,从研发SIM卡出发,后成为大唐微电子。魏少军目前是清华大学微电子所所长。
1997年,王国裕领衔开发出512X512 彩色CMOS图像传感器,这个进度和英国VVL同步,早于硅谷豪威。作为中国第一个单片CIS,里程碑贡献记录进入了中国集成电路编年史。
百度百科介绍,王国裕开发了国内第一个单片CMOS摄像芯片、国际上第一个高分辨率CMOS摄像芯片(40万像素)、国内第一个同时带有全电视信号输出和数字信号输出的单片CMOS摄像芯片、国内第一个单片CMOS彩色摄像芯片。并以单片CMOS摄像芯片为核心,开发出国内第一个微型摄像头(曾在公交车上大量使用)和国内第一个电脑眼。
2000年,王国裕遇到了无法逾越的门槛。原有的计算机工作站和“指南针”EDA软件由于2000年“时间窗”的问题都不能正常工作了。此外,随着集成电路工艺不断进展,美国公司的几个主流EDA软件已经脱颖而出,原有的“指南针”EDA已经落后。更新这些软硬件需要数千万元。国家集成电路909项目上海华虹(时任电子部部长胡启立兼任华虹集团董事长)愿接盘,但和母公司开元集团没有谈拢。因研发难以为继,王国裕不得不辞去开元微电子总经理职务,专心西安交通大学的教学工作,为中国芯片事业培养学生。“开元”作为知名芯片品牌也后继有人,贾斌(西交大硕士)创立了开元通信研发滤波器等射频器件。
当年中国尚没有对集成电路进行大额风险投资的基金,而芯片又很烧钱,因此这样的结局现在看来是难以避免的。同期起步的硅谷豪威,最终获得成功,主要是获得了源源不断的风险投资,甚至得到了来自大陆的华虹的投资。格科微也获得了华虹的投资。
2、国家成立7个集成电路设计产业化基地
在王国裕等先行之士的大力呼吁下,2001年12月29日科技部批准在上海、北京、西安、无锡、成都、杭州、深圳7个城市批准了国家集成电路设计产业化基地。各基地建立具有一定基础的IC设计技术服务平台,包括EDA工具、MPW流片、IP开发和复用、测试验证、SoC设计服务、人才培养、创新应用推广等服务。
我听过这段故事。深圳基地首任主任张克科(武大人)回忆:深圳是最晚批复但最先推出全方位服务的基地。深圳基地和当年技术领先的香港科技园联系,签署了7(个基地)+1(香港)的战略合作协议,周斌(东大)从深圳最早的独立芯片企业国微调出来服务诸多设计企业。
3、重新出发做音视频芯片,努力至今
就是在2003年,陆明莹和王国裕自行出资创立西安西芯微电子有限公司,再次出发,研发DAB/DMB+多媒体音视频芯片,06-07年曾大量出口英国,成为“一代拳王”(爆品)。2004年,他们一同来到重庆邮电大学,专注于芯片设计方法研究和创新技术。又是”十年磨一剑”,他们探索了一种全新的数字系统芯片设计方法,开发了又一重大原创基础性技术,在世界上首次提出并定义DMB+。这个成果具备原始创新、核心技术、核心芯片和市场应用前景等诸多产业要素,技术已成熟,亦已有成功示范应用,正在和合作方一起做相关行业的规模推广。一直在努力!
第六章、2003年,格科微成立,因山寨机而火爆
本世纪初,因为国家鼓励芯片设计行业的发展,有了一个海外归国创业的小高潮。
1、赵立新从硅谷归国,”忽悠“中学同学投资
赵立新是我所读的南县一中学长,黄慈和、熊有廉是我们共同的老师。南县是小地方,人和人之间沾亲带故,算起来我们还是远房亲戚。1990年,我填写大学志愿的时候,专程向他请教,当时他正在他父亲的作坊里干活打暑期工。也正是在那一年,他从清华本科毕业后进入本校微电子所读研究生,比王国裕(82年进入)要晚8年。
赵立新在斯坦福大学图书馆了研究了500天的书,看了很多论文,确定CIS是最合适的方向。
2003年9月,赵立新从美国回来经过深圳,从中学同班同学夏风那里忽悠来了200万美元。赵立新肯定听过豪威的故事,所以故意将芯片创业说得很轻松,就像“喝蛋汤”(老家方言)一样。
随后,赵立新在上海集成电路基地所在的张江创立了格科微(GalaxyCore)做CIS,最初也是瞄准了PC市场。
他遇到了一个好机遇。中芯国际想做CIS的代工,因此和格科微一起干,格科微提供技术,中芯国际出研发费用。
2、为山寨机提供超高性价比产品
2006年开始,山寨GSM手机市场爆发。格科微提供了超高性价比的芯片,最低可至10万像素,只有几毛钱美金一颗,配合独创的低价COM模组工艺,几乎成了低价山寨机的标配。
远在硅谷的豪威也注意到了这个机会,利用美国上市带来的资金优势,给了同行一个“下马威”。赵立新回忆:“当时在深圳,他们(豪威)把自己库存的产品按斤来卖!” 这个举措搞得格科微账上一度只剩下200元,后幸运地获得风险投资后渡过难关。
早年没有自动化夹具和AI视觉检测手段,格科微招聘了很多年轻女工手工检测成像质量。同学黄诚和陈伯友都去观摩过,感慨于这“劳动密集型”芯片测试工厂。后来在嘉兴落成高度自动化测试工厂。
3、CIS成为中芯国际和广东粤芯的第一个海量产品
连续数年,格科微是中芯国际第一大客户,CIS也成了中芯国际第一个海量产品。目前,如果按发货量口径算,格科微全球排第一,不过,如果按金额算,那就不同了。
格科微的BSI技术早期和三星联合推出。后起之秀广东粤芯一度七成产能是为格科微代工200万像素CIS。
格科微上市后,在上海临港建立了自己的12英寸晶圆厂。
图注:上海临港滴水湖,作者戴辉空中拍摄
4、GSM是中国芯片急剧发展的最宝贵机缘
世界上做大了芯片产业的国家并没有几个,需要宝贵的机缘。
众所周知,PC的ODM产业带动了中国台湾的芯片设计产业的崛起。
无独有偶,中国大陆也遇到了伟大的契机——GSM。在04年,3G干死2G(正如2G干死大哥大)的说法压倒一切。科技老兵戴辉依据深刻理解,坚持推广GSM,孤身拓展出菲律宾马尼拉整网替换项目,这是全球第一个超级大都市的替换项目。之后,全球GSM迅速发展,山寨GSM手机浪潮也随之兴起。ODM企业(如华勤、闻泰、龙旗等)大量生产公板(类似电脑),在导入和验证国内芯片上起到了关键作用。
现在和未来,智能手机的爆发,进一步带动了很多颗大陆芯片的蓬勃发展,并屹立于世界强手之林!
第七章、中国CIS产业群体崛起
思特威徐辰、芯世达杜峥都曾在豪威工作,都在国内做CIS,服务手机、安防、汽车等领域。
CIS要采用WLCSP先进封装工艺,封装企业纷纷上了档次!
CMOS照相模组(CCM)上,中国台湾大立光、大陆的立景(立讯)、舜宇等在主流的COB(Chip on Board)工艺上都挺有实力。我顾问的明锐理想为CCM模组制造提供了功能强大的自动视觉检测(AOI)设备。
作者戴辉:独立电子科技史研究者,文章累计阅读量上亿,已出版《华为通信科技史话》(人民邮电出版社),将出版《中国电子和芯片史话》。
参考资料:
CMOS Image Sensors (CIS): Past, Present Future by Sofiane Guissi https://www.coventor.com
The Development of CMOS Image Sensors https://www.azom.com/
手机摄像头持续创新,多方位支撑技术升级 刘亿
CCD/CMOS图像传感器基础与应用〔日〕米本和也着
摄影知识必备!图像传感器百年发展史 与光
数字成像和图像传感器的发展史 FORZA
Inside the Nobel Prize: How a CCD Works https://www.wired.com/
CMOS浮沉:从双雄缠斗到国产替代 李健华
豪威创造「计算机之眼」出头天 P.90
这家在兴柜8年IC设计公司终于要上市 为何最高兴的是黄崇仁?信传媒
上海滩无线和芯片30年史|老兵戴辉
索尼CMOS图像传感器十年奋斗史 上方文Q
谢幕!奥林巴斯84年的相机历史终结 托尼
数字摄影半世纪:像素改变世界 守候微光
三星高端CIS产能吃紧 华米OV集体焦虑 张轶群
被手机摄像头改变的世界 卫夕指北
中国CIS兵团的崛起 李晨光
芯人物:赵立新、陈大同、单记章
王国裕:芯片世界写精彩 清华大学官网
东大校友科研伉俪喜获英国顶级科学奖 东南大学官网
兰克奖得主王国裕谈原始创新 武夷山的科学网博客
陆明莹的科学和技术贡献 王国裕
CMOS图像传感器芯片的一段往事,有感人爱情 | 科技老兵戴辉
王国裕 百度百科
【FPGA线上研讨会 | 免费】
暂无评论哦,快来评论一下吧!
