【猎云网(微信:ilieyun)北京】7月6日报道
摄影圈里常说,“底大一级压死人”。
这一般是指数码相机的CMOS图像传感器的尺寸越大,成像效果越好。它是相机的关键成像部件,也是塑造影像竞争力的核心。
也因此,我们看到随着智能手机竞争越来越激烈,以及影像技术在手机中的地位越来越高,传感器技术成为很多手机厂商的必争之地,是差异化竞争所在。
然而手机往往追求轻薄和低功耗,使得手机图像传感器的尺寸天然存在物理限制。如何解决这一矛盾,成为业界的重要方向。
近日,商汤智能产业研究院发布《AI传感器:智能手机影像新核心》白皮书,提出在智能手机市场缓慢步入瓶颈期的趋势下,影像功能成为产业破局焦点,而AI软件与CMOS图像传感器硬件的融合,将是智能手机影像能力持续提升的破题之道。
图像传感器步入AI时代
过去几年,AI算法让手机的影像能力得到了不小的提升,但在这种方案中,图像传感和AI算法的运行,在不同的硬件上完成,图像传感器提供图像信号,处理器或者AI加速芯片执行AI算法。这会造成能耗资源的浪费,并且难以处理一些需要的及时响应的场景。
白皮书指出,融入了AI技术的CMOS图像传感器,可以最大化地发挥原始光信号的价值。
在设备获取视觉信号的伊始,AI传感器就可以进行优化和处理,增强真实世界感知、提高图像和视频的质量、丰富内容细节,同时最大限度地降低了设备功耗,并增强了数据安全性。
白皮书指出,自20世界50年代光学倍增管(Photo Multiplier Tube, PMT)出现以来,图像传感器便随着技术的发展而持续演进。
如今,随着AI技术的加持,CMOS图像传感器的发展开始进入AI软件定义的时代,将成像系统的整体能力推向新的高度。
让手机成为“个人智能影像工作室”
凭借领先的AI技术和软硬件整合能力,商汤已经在超分辨率、AI超画质、夜景影像、高动态范围、超清人像、影像虚化、RGB ToF 3D等关键影像场景,积累了大量算法能力。
同时早在2019年,商汤就与全球领先的图像传感器厂商开展紧密合作,将AI算法和传感器硬件直接融合。目前,商汤AI传感器已完成多款产品,并成功落地多款高端旗舰手机。
凭借AI算法、AI传感器和AI ISP的三位一体,商汤实现了AI技术对整个智能手机智能影像系统的一体化赋能。
一方面,通过AI技术充分挖掘镜头模组、各种新型传感器等硬件的潜力,最大化利用成像设备的底层特性,实现最优的成像质量。
另一方面,利用AI技术将成像系统中的各个独立部件有机结合在一起,充分联动,使原本独立运作的成像模块成为协同合作的成像平台。
从上至下分别为超分辨率、AI超画质、夜景影像效果对比,左边为传统方案拍摄效果,右边为商汤赋能后拍摄效果,图片均为原图的局部放大
商汤的解决方案,让手机摄影的质量得到了全面提升。
例如,通过AI对多种光源不同特性的学习,了解自然光谱特性,进而根据实际应用场景,带来AI降噪、AI超分辨率,提升成像质量;在特殊拍摄模式下,AI夜景增强、AI人像增强,更为智能手机赋予了多样的“魔幻场景”。
这些体验,让搭载了AI传感器的智能手机,成为每个人专属的“个人智能影像工作室”,消费者日常使用时,也能轻松拍出媲美专业影像器材的高质量作品。
机器“认知”世界的基础设施
面向未来,AI传感器的价值不仅在于提升智能手机的影像能力,它更将成为机器“认知”世界的基础设施,为更多物联网终端赋予智能感知与内容增强的能力。
在全球40亿手机用户的庞大基数下,AI传感器的广泛应用,将大幅降低世界建模成本,成为连接物理世界与虚拟世界的桥梁,加速“元宇宙”的构建。
在新兴应用场景中,AI传感器也将扮演重要角色。例如,在智能汽车领域,AI传感器将成为车辆感知世界的核心部件;在智慧城市领域,AI传感器更将为挖掘视频信息的价值发挥重要作用。
Gartner 数据显示,2022年CMOS图像传感器的出货量将会超84亿颗,到2026年则会超过107亿颗,成长为百亿出货量规模的半导体细分市场。
秉承在AI传感器技术领域的长期布局,商汤将紧密携手合作伙伴,加速AI传感器的市场渗透,共同以AI软件重新“定义”图像传感器趋势,赋予硬件更多创新可能性。