面对计算影像内卷愈演愈烈 vivo决定继续抢占“双芯”技术制高点
中国网科技11月9日讯 (记者 单征宇)手机行业计算影像技术“内卷”加剧已成为不争的事实。仅仅一年内,“华米OV”们就各自通过相应技术布局,再次刷新大众对计算影像潜能的认知。凭借AI算法算力在移动影像领域的深度开发,各家厂商计算影像技术更新正朝不同方向演进。
其中,从今年4月至11月只过了短短半年时间,vivo持续发起的移动影像战略举措不断升级发酵,并在近期密集推出有关自研芯片、计算影像等核心技术逐渐开始引起外界及业内的密切关注。
两年发布三代自研ISP芯片
vivo行业领跑
在11月10日的双芯×影像技术沟通会上,vivo以一份技术白皮书,再次展现出在影像自研芯片领域的技术硬核。据悉,这款vivo全新一代自研ISP(Image Signal Processor图像处理器)芯片V2,是vivo为AI大密度算法算力需求而量身定制的低功耗AI加速芯片。
此前,手机厂商口中所宣传的“自研芯片”,总容易被外界与芯片企业研发的手机SoC(系统级芯片)平台所混淆。不过,随着“计算影像”逐渐被大众熟知,专注于提升计算影像能力及算法优化的影像芯片开始被手机厂商从幕后推向前台。比如2021年OPPO发布自研影像专用NPU芯片马里亚纳X;小米于同年推出ISP专业影像手机芯片澎湃C1;华为海思发布的智能图像处理器芯片“越影ISP”。
vivo双芯×影像技术沟通会
但很少有科技企业会在一年内,为自研芯片举办两场影像技术沟通会。足以见得,vivo一直对外宣称在计算影像技术领域将展开“深入底层开展移动影像技术研发探索”不是空谈阔论。
公开信息显示,从2021年8月首款自研影像定制芯片V1投入商用,至今年4月迭代产品V1+面世,仅用半年时间vivo就为提升手机ISP算力上做了两次迭代升级。凭借低延时、高能效优势,V1提升了手机ISP模块高速成像算力,加入实时黑光夜视功能,大幅提升手机夜拍能力。V1+则引入双“芯”联动技术,不仅扩大自研芯片应用场景,进一步提升夜景成像质量,还使手机拥有媲美专业仪器般的微光夜视仪效果,从而使计算影像提至全场景覆盖的新高度。
本次V2芯片发布后,vivo成为行业内唯一将自研ISP芯片开发至第三代的手机厂商。而vivo将自研芯片运用在性能与显示领域,使得vivo既成为了手机芯片技术形态的开创者,更加速了自研芯片与手机硬件核心SoC平台的深度融合。
(自研芯片V2三大单元升级)
而相比前两代对自研芯片在影像算法的初步探索,V2则是vivo从芯片底层技术出发,在自研AI影像算法算力基础上,对V2片上内存、AI计算、图像处理三大单元做的全面升级。带来全新AI-ISP架构、FIT双芯互联技术以及近存DLA(深度学习加速器)、SRAM(静态随机存取存储器)高速低功耗缓存单元三项技术革新。
其中,将传统ISP架构升级为AI-ISP架构,从技术角度讲,解决了传统ISP只能解决已知的、特定问题,无法处理复杂的、多变场景图像分析。等于再次拓宽计算影像的算力使用场景,让ISP的计算能力上升到新阶段。
虽然AI可以处理复杂、未知问题。但由于AI软件算法通常部署在NPU芯片时,容易造成ISP行级流水架构被破坏,从而形成延时提升,导致性能下降。而大部分SoC平台片上内存有限,大量AI算法在接入ISP管道后,会造成运算与数据分离,牺牲了高性能AI运算至关重要的Data-Locality(数据局部性)要求,进一步降低性能。
那么vivo通过FIT双芯互联技术赋能后,第一次将平台ISP-NPU 与V2 ISP-DLA作为一个整体,来设计最合理的AI算法处理架构。把SoC平台上NPU的大算力,与V2内存DLA的高能效、低延时,在部署时进行互补设计,从而形成全新双芯AI-ISP影像体验。
简单来说,就是通过两个ISP与双AI实现图片处理的极致效果与芯片性能极致能效比。那么再配合已有的蔡司镜头以及vivo算法矩阵。vivo等于是将计算影像整个链路做了一次重新设计和规划,并在新技术的赋能下,尽可能最大化满足AI大密度算法算力需求。用形象的事例可以比喻为:过去每个SoC平台里都会有的ISP模块等于是一个“P图小程序”,现在要做的独立自研ISP芯片就好比将这个“小程序”单独拿出来做成一个功能更为丰富,色彩、渲染能力以及像素解析力等能力更为强大的“APP”。如今,这个“APP”引入了AI使能。
也正是得益以V2芯片为基础的自研计算成像技术,让今年vivo计算影像能力得到进一步提升,并加入了4K超清夜视仪、臻彩夜景视频,以及基于蔡司光学超分算法的超清长焦、运动抓拍、暗光抓拍等功能。
(vivo自研影像算法)
以超清长焦为例,通过超清画质引擎从底层改写ISP图像处理链路,将图像处理流程AI化,所带来的好处便是能将降噪、细节恢复和去模糊三大长影响焦拍照质量的重要模块加入进计算影像算法当中,形成类似天文望远镜和高端显微镜的图像处理流程。
如此以蔡司光学超分算法加持下,即可根据每个手机模组特性做建模分析,通过逆运算动态调整,补充光学信息,即可突破镜头工艺上限,做到5倍以上焦段,拍摄解析力最高提升35%,让5公里之外的景物仿若眼前。
而在长焦拍摄的过程中,变焦倍率越大,抖动也会被放大是常态。此次vivo推出的Ultra Zoom EIS技术就可以消除抖动对拍摄的影响。通过IMU(惯性测量单元)、OIS光学防抖与EIS电子防抖三大模块软硬协同防抖,使vivo常规影像拍摄能在20倍以上的倍率实现抖动抵消,让被摄主体在画面中趋于平稳、不会晃动,即使在60倍长焦拍摄时,预览画面依然非常稳定,手持也能稳稳运镜。
提升长焦拍摄的清晰度和稳定性,是vivo长焦能力的一次全面升级,也是作为AI-ISP架构的V2赋能计算影像实力的最好体现。而基于AI-ISP架构或许也将成为vivo乃至为计算影像的未来拓宽了一个全新发展方向,也令vivo完成了在芯片领域的又一次蜕变。
行业进入“双芯”时代自研芯片或成国产厂商冲击高端决定性因素
事实上,选择扎根自研ISP芯片,就为vivo在业内、在全球市场竞争中奠定了技术基础。那么为何自2021年以来,手机厂商热衷于自研ISP芯片并主攻计算影像?这得从产品与技术两方面谈起。
包括vivo在内越来越多的手机厂商已经彻底看清,手机SoC平台虽是决定手机硬件综合性能表现的核心关键,但如果性能强悍的SoC平台谁都能用,那对刺激市场购买力、提升手机性能差异化的作用可忽略不计。
所以加入一颗辅助ISP独立芯片,以此性能上提升手机硬件上针对图像处理能力,就成为安卓手机解决这个问题的最优选。况且面对主流厂商的旗舰SoC平台采用的均是内置ISP模块,性能表现虽足够优秀但却预留的算法调优空间仍旧有限,存在一定局限性的技术问题,使用独立自研ISP芯片则对手机厂商而言,既可以释放内置ISP模块潜能,又能给自己有更多算法调优空间,于情于理也是最优解。
值得一提的是,选择做独立自研ISP芯片还有个好处,手机厂商能结合自身产品性能优势,让独立自研ISP芯片与不同SoC平台完成技术适配,从而让中低端机型同样具备高端机的性能体验,达到不同定位的机型性能上均处于最优状态。例如vivo在V1芯片技术成熟后,下放给iQOO系列和S系列等中端机型使用,就为其在中端机市场竞争中构筑了核心竞争力。
技术方向的考量自然归功于近年来计算影像的急速发展。随着计算影像拥有不局限于镜头模组等硬件设备参数,仅通过算法优化就能让手机拍出绝佳影像效果的优势逐渐凸显出来。越来越多的手机厂商意识到,想要未来在移动影像领域能有所突破,对自研ISP芯片与自研影像算法做持续性技术投入就是不二法门。
从上半年各家手机品牌推出的高端旗舰系列几乎清一色地都搭载“双芯”组合来看就可见一斑。而独立自研ISP芯片被广泛使用,无疑宣告安卓手机全面进入“双芯”时代的同时,也显现出当前计算影像“内卷”已有愈演愈烈的态势,甚至承载安卓厂商向上冲击高端市场的期望与重任。
至于vivo,凭借先发制人的优势已令其进入收获期。据市场调研机构Canalys发布的2022年第三季度中国大陆智能手机市场报告显示,vivo以1410万台的出货量以及20%的市场份额登顶今年三季度中国智能手机市场出货量第一。
分析人士称,在行业可能长期处于震荡下行与存量竞争的市场境况下,寻求差异化产品突围即是唯一办法,此外国产手机厂商主力旗舰是否蕴含足够的产品竞争力,将成为保持销量稳定增长,冲击高端市场成败的关键。
有数据显示,作为vivo目前主力机型与全能旗舰,vivo X80系列现已站稳3500以上价位段市场。据Counterpoint发布的2022年第二季度高端智能手机分析报告指出,vivo在今年第二季度以13%的份额成为中国高端手机市场第二名,仅次于排名第一的苹果。足以表明,vivo的高端化已经初见成效。
(MediaTek总经理陈冠州出席沟通会)
(强强联合,vivo与MediaTek五大联合研发功能)
诚然,深耕自研芯片给vivo带来了丰厚的收获。而此次沟通会上可见确定以联合创新+自主创新为两大支点,构建底层核心竞争力将会是vivo贯穿未来在移动影像进入“双芯”时代后的总方针。
参与对新一代旗舰SoC平台天玑9200的联合研发就是最好佐证。据介绍,vivo在极早期就介入了天玑9200旗舰平台的研发,通过双方20个月的密切合作,带来5项联合研发功能的同时,在技术上vivo与联发科还就多项细节进行了联合调校,帮助天玑9200旗舰平台发挥极致性能。
比如游戏场景,vivo通过疾速启动引擎和网络加速引擎对游戏体验进行多环节、全方位优化;影像场景,首次以极低的功耗实现了先进的循环视差网络,大幅优化天玑9200的能效表现,能耗降低15%。并在4K 60帧极限录像场景中,天玑9200功耗相比上代降低了25%。这些天玑9200用眼可见的性能提升,皆是vivo V2深度赋能天玑9200带来的结果。
总体来说,通过持续与专业芯片厂商联合研发、联合调校打造深度定制、更具竞争力的元器件和整机产品,就让外界对vivo即将发布的vivo X90系列有了更多期许。并且对内做深度自研芯片与自研算法的不断突破与创新,对外与蔡司联合研发打磨影像全链路,与行业展开深度合作对手机SoC芯片进行深度调教,也将会让vivo根据自身优势在业内构筑起属于自己的技术护城河。
正如vivo产品副总裁黄韬在沟通会上所言,自研芯片是vivo的底气,技术自研是一条壁垒很深、需要长期积累的发展道路。