AR/VR落地突破 芯原联手Khronos提供更强技术支持
来源:电子发烧友网 发布时间:2021-04-27 分享至微信

芯原日前联手Khronos举办了一场技术研讨会,这场线下结合线上的分享活动,给业界带来了很多耳目一新的技术信息。在活动中,来自全球的芯原与Khronos的技术专家介绍了最新的助力AR/VR体验的技术,还邀请了众多位来自行业中如移动、华为英特尔、腾讯、阿里、日本AX和成都弥知科技等企业的专家,分享了基于AR/VR技术的落地应用,让大家看到了AR/VR的前沿应用和广阔市场。活动由Khronos工业协会中国区总监傅世雄 (Dennis Fu)主持。电子发烧友记者也到应邀参与了会议,对本次会议活动,做了专门的报道。

图:Khronos工业协会中国区总监 傅世雄 (Dennis Fu)主持本次技术研讨会


AR/VR的应用,在之前谷歌、微软和英特尔、HTC等大厂商的推动下,曾经取得了很大的进展,包括VR眼镜头盔、VR游戏、AR游戏、VR影视等,其应用也不断扩展到游戏影视娱乐、商业购物、远程旅游体验、远程教育等方面。但是对于技术公司来说,操作延时、显示不够细腻等技术限制,让最终落地没有找到能够用户足够粘性的项目,或者是足够的商业回报等,感觉这个行业还是处于不温不火之中。

Khronos工业协会主席(President),英伟达生态系统开发副总裁,OpenCL工作组主席 Neil Trevett也在美国加州现场连线,作了Khronos组织的背景介绍,并分享了视觉处理与推广方面的Khronos API接口技术的介绍(OpenCL, OpenVX, SYCL与Vulkan)。

图:Khronos工业协会主席 Neil Trevett在加州连续会场


芯原商业运营高级副总裁汪洋介绍,芯原公司在2004年加入Khronos,中国是芯原和HW两家是董事会成员。芯原目前90%研发在中国,一半以上的营收来自境外。作为全球领先的IP与IC设计服务供应商,芯片主推SiPaas( Silicon Platform as a Service )即设计平台即服务业务模式,其客户不仅是IC设计(Fabless)公司,更是将技术服务,推广至更下游的互联网企业和技术开发者。


图:芯原商业运营高级副总裁汪洋在介绍芯原的一站式设计服务


随着SoC的设计进入到7纳米,其设计成本提升至了2.22亿美元。成熟的设计服务对于高端IC设计业者越来越重要。这也是芯原能够在科创板成本上市的最重要的原因之一。

芯原在NPU、GPU、ISP、Video、声音语音、显示等方面的全面的IP产品供货能力,让他可以服务到从可穿戴、智能手机、智能家居、到AIOT、到汽车、服务器等广泛的客户群体。

芯原的VPU IP可以支持到4K/8K的视频流解码,芯原也是谷歌WebM视频项目亚洲的第一个硬件合作伙伴。芯片的视频编解码SoC可以服务 云端处理需求。汪洋介绍,相比CPUFPGA的方案,基于芯原IP的ASCI方案,其视频编解码能力提升了6倍,功耗下降到了原来的13倍,且芯片体积也大为减小。在同样大小的机箱空间内,边缘端计算处理能力提升了36倍,功耗下降 50%。视频处理ASIC还能支持到H.264. VP8, H.264, VP9, AV1, SVAC等。

汪洋指出,中国市场的视频云计算市场每年的复合增长达到 了40%,2020年视频云市场是70亿美元,到2024年将达到 244亿美元,复合增长率达40%。


在AI的IP方面,芯片的NPU(嵌入式神经网络处理器)IP已经在全球有40家公司取得授权并量产,量产SoC超过60颗,应用领域也非常广泛。


车用GPU IP,芯原也处于技术领导者位置。

ISP IP,芯原在2014年收购了ArcSoft团队之后,于2017年推出 了ISP IP,其优势在于HDR。


文章篇幅所限不全细列。上面讲到了视频的解码能力、功耗、显示等多方面的IP创新,他们都可以对AR和VR开发有很好的支持。但对于一个好的AR和VR体验来说,技术的瓶颈还要突破数据传输中的延时。芯原的高速数据传输IP这一块与Alphawave联手扩大合作,服务中国市场。

上图显示出,112G和224G高速传输接口市场需求正在快速增长。

目前高速传输技术的领域者是Alphawave,他是全球首家7纳米以下的硅验证IP供应商。

芯原取得了Alphawave在中国市场的IP独家经销权。

在当天的技术研讨会期间,芯原机器学习软件副总裁查凯南就芯原神经网络处理器,芯原IP解决方案副总裁张慧明对芯原图形处理器,芯原多媒体SoC平台首席工程师妙维对芯原AR/VR 低延时低功耗像素处理作了详细的介绍与分享。

华为消费者BG AR/VR产品技术总监邹文进演讲中介绍了利用AR技术做产品线上发布会的演示,其AR引擎的精度比Apple和谷歌还要高30%。他表示后面还会跟国内的手机厂商、汽车厂商合作,利用AR技术做商业推广的合作。

图:华为消费者BG AR/VR产品技术总监 邹文进


弥知科技创始人和CEO张天夫Steven Zhang做了AR算法场景与渲染引擎应用分享。疫情期间线上直播购物中,AR技术助力电商大大提升了购物的体验。

图:成都弥知科技创始人和CEO 张天夫 Steven Zhang



张天夫介绍,其公司的WebAR做内容的时候,不需要技术来学编程,只需要选择所需要的模块来做商业落地的项目,做普通AR消费者需要的场景。都是刚需,都是源自市场的反馈。可以一键发布到微信小程序上,目前超过了一千个程序接入了。通过3D的互动,形成了各大自落地的案例,大多小程序开发者都有很好的收益。

“例如,AR式美瞳,在国内已经很普遍了。但是在海外没有微信和淘宝,只有FB、TW,所以是基于Web端的试穿试戴的场景。珠宝戒指试戴,增进了消费者与品牌的距离,促进了购买率。试鞋的场景,在任何地方可以来试鞋,可以体验鞋子的样子,比较潮流的款式,也适合自己穿,促进了购买率。还有非常多的案例。例如京东的人脸迷宫,去给品牌做传播如官方号的关注、转发等效果的提升。”张天夫说。

图:中移动研究院高级技术人员李可


中移动研究院高级技术人员李可做了云XR标准化及在教育领域内的应用的分享。中移动的云XR是疫情期间云课堂云教育落地做得非常好的一家公司。在取得出色的成绩之后,今年中移动还主导GTI的发展产业,推动相关AR/VR云教育的标准的制定。

李可说,首先是云渲染 60-70毫秒的时延,对于用户的动作的预测是很重要的。OpenXR现在在时延这一块还没有明确的定义,我们希望去推动成为标准立项。第二步是云渲染能力和业务接口布置的问题。第三部是云能力和云的实际处理资源Micro Service,未来第三方的云能力,可以作为一个PAAS平台,布置到各个云服务商的平台中去。对云渲染感兴趣的企业,可以一起参与进来。

ax株式会社数据科学部AI工程师胡筠分享了如何用用Vulkan快速搭建AI框架。英特尔AR/VR 首席软件架构师 OpenXR工作小组主席 Brent Insko在线分享了OpenXR 的技术更新。阿里巴巴淘系技术部端智能团队 高级技术专家姜霄棠介绍了MNN的异构计算解决方案几何计算。腾讯科技高级研究员倪辉分享了ncnn-使用Vulkan的通用神经网络推理。

图:腾讯科技高级研究员倪辉


对于技术专家来说,这是一个难得的顶级高手之间的分享会议。

本文由电子发烧友原创,转载请注明以上来源。如需入群交流,请添加微信elecfans999,投稿爆料采访需求,请发邮箱huangjingjing@elecfans.com。

本文由电子发烧友原创,转载请注明以上来源。如需入群交流,请添加微信elecfans999,投稿爆料采访需求,请发邮箱huangjingjing@elecfans.com。


[ 新闻来源:电子发烧友网,更多精彩资讯请下载icspec App。如对本稿件有异议,请联系微信客服specltkj]
存入云盘 收藏
举报
全部评论

暂无评论哦,快来评论一下吧!