【猎云网（微信号：ilieyun
）】10月25日报道 （编译：清酒）
相机里都有些什么？镜头、快门、光敏表面，以及越来越多的高度复杂的算法。虽然物理组件仍在逐步改进，但谷歌、三星和苹果正在越来越多地投资并展示完全由代码完成的改进。计算摄影已经成为唯一的战场。
这种转变的原因很简单：相机不能比现在做得好太多，或者至少不能在工作方式上有某些极端的变化。以下是智能手机制造商如何在摄影领域碰壁，以及他们如何披荆斩棘的经历。
光线不足怎么办？
智能手机相机中的传感器确实令人惊叹。索尼、OmniVision、三星等公司为设计和制造纤巧而灵敏的多功能芯片所做的工作确实令人惊叹。对于从早期就开始观察数码摄影发展的摄影师来说，这些微观传感器所达到的质量水平简直令人惊讶。
但是这些传感器没有遵循摩尔定律。或者更确切地说，就像摩尔定律在10纳米以下的水平上遇到量子极限一样，相机传感器在更早的时候就达到了物理极限。我们可以把“光线撞击传感器”比作“雨水落在一堆水桶上”——你可以放更大的桶，但其数量会相应减少；你也可以放更小的桶，但不可能接住每个雨滴；你可以把桶变成正方体或者摆放成任何形状……但最终只有那么多的雨滴，“桶”的变化并不能改变什么。
传感器是在变得越来越好，但其迭代的速度还不够快，还不足以让消费者为了一款更好的相机年复一年地购买新手机。手机制造商经常使用相同或类似的相机堆栈，所以这些改进（如背面照度）在它们之间共享。也就是说，所以没有人能单独在传感器上取得进展。
也许他们可以改善镜头？不。镜头的制造技术已经达到了一种难以改进的精密和完美的程度，尤其是在小范围内。如果说智能手机的相机堆栈里的空间是有限的，几乎空不出一平方微米的面积。你或许可以稍微改进它们，但是只要有多少光通过，就会有多少失真，但这些都是已经被优化的老问题了。
收集更多光线的唯一方法是增加镜头的尺寸，要么是让镜头从机身向外突出，要么置换重要部件，再或者增加手机的厚度。
试问，这些选择中，苹果最可能会接受哪一种？
事实上，不论是苹果、三星、华为或是其他公司都不会选择以上三个选项。如果无法获取更多光线，你只需要用你拥有的光做更多的事情。
所有的摄影都是计算性的吗？
计算摄影最广泛的定义包括几乎任何数字成像。与胶片不同，即使是最基本的数码相机也需要进行计算，以便将照射到传感器上的光线转换为可用的图像。相机制造商在这方面所使用的技术存在很大差异，因此产生了许多不同的JPEG处理方法、RAW格式和色彩科学。
第一个真正的计算摄影的特性是可用于自动对焦的物体识别和跟踪。通过面部和眼部跟踪，可以更轻松地捕捉复杂光线或姿势下的人物，并且目标跟踪使得动作摄影更容易，因为系统将其自动对焦点调整为在画面中移动的目标。
这些是从图像中获取元数据并主动使用元数据的早期示例，用于改善图像或为下一个图像提供数据。
在单反中，自动对焦的准确性和灵活性是其主要特性，所以这个早期的用例是有意义的；但在一些噱头之外，这些听起来很厉害的摄像机通常以一种相当普通的方式进行计算。更快的图像传感器意味着更快的传感器卸载和爆发速度，此外，一些额外的周期将被专门用于颜色和细节的保存。数码单反并没有被用于视频直播或AR。直到不久以前，智能手机也是如此，但如今，智能手机已经是全能的媒体工具。
传统成像的局限性
不管做了多少实验，智能手机的摄像头几乎还是一样的，它们必须适合几毫米的深度，这就限制了它们的光学结构。传感器的尺寸同样受到限制，数码单反中可以使用23×15毫米的APS-C传感器，其面积为345平方毫米，而iPhone XS中的传感器，可能是目前市场上最大、最先进的传感器，尺寸为7×5.8毫米左右，总计40.6平方毫米。
粗略地说，它收集的光线比“普通”相机少一个数量级，但预计会重建具有大致相同保真度、颜色等的场景（大约相同数量的百万像素）。从表面上看，这是一个不可能解决的问题。
传统意义上的改进有助于解决这一问题——例如，光学和电子稳定化使曝光时间更长且不会模糊，这就可以收集更多光线。但这些装置仍被期望过高。
幸运的是，每个公司都在同一条赛道上。由于游戏的基本限制，苹果或三星不可能重新设计相机，也不可能想出一些疯狂的镜头结构的设想，来使其处于领先地位。他们都被赋予了相同的基础。
因此，所有的竞争都是这些公司在这个基础上建立起来的。
把图像当成数据流
计算摄影的关键在于，来自数码相机传感器的图像不是我们通常认为的快照。在传统相机中，按下快门使光敏介质曝光几分之一秒。这不是数码相机所做的，至少不是它们能做的。
照相机的传感器不断受到光线的轰击；就像雨不停地落在水桶上，但当你不拍照时，这些水桶是没有底的，没人会去检查它们的内容。但此时雨还是在下。
为了捕获图像，相机系统会选择一个点开始计算雨滴的点，测量撞击传感器的光线。然后它选择一个停止的点。对于传统的摄影来说，这使得几乎任意短的快门速度成为可能，而这对于微型传感器来说用处不大。
为什么不是一直在记录呢？理论是可以的，但它会耗尽电量并产生大量热量。幸运的是，在过去的几年里，图像处理芯片已经变得足够高效，当相机应用程序打开时，它们可以保持一定的持续时间，例如以有限的分辨率捕捉最后60帧。当然，这只需要一点电量，但这是值得的。
访问数据流增加了设备环境，因此赋予相机更多功能。设备环境可以是很多东西，如照明元素（光源与物体的距离）、运动、物体等。
一个简单的示例是通常被称为HDR或高动态范围图像。这项技术使用多张连续拍摄的不同曝光率的图像，以更精确地捕捉在单次曝光中可能曝光不足或曝光过度的图像区域。在这种情况下，设备环境是理解这些区域，以及如何智能地将图像组合在一起。
这可以通过曝光保护来实现，这是一种非常古老的摄影技术，如果图像流一直被控制以产生多个曝光范围，那么它可以在不发出警告的情况下立即完成。这正是谷歌和苹果现在所做的。
更复杂的“人像模式”、人工背景模糊和焦外成像正变得越来越普遍。这里的设备环境不仅仅是面部距离，而是对图像的哪些部分构成特定物理对象，以及该对象的精确轮廓的理解。
这些技术是可能实现的，因为首先，要想在数据流中获取必要的图像，图像传感器和RAM的速度需要提高，其次，公司开发了高效的算法来执行这些计算。
然而，对于这些技术而言，重要的不仅仅是它们可以被开发出来，而是某家公司可能比其他的更好。这种完全取决于软件工程工作和艺术监督的质量。
DxOMark对一些早期的人工焦外成像系统进行了比较，然而，结果并不令人满意。
不过，苹果已经在一些人看来是对焦外成像问题过度设计的解决方案上取得了进展。它不只是学习如何复制这种效应——它利用自己拥有的计算能力，创建产生这种光学现象的虚拟物理模型。
为什么要“过度设计”？因为苹果知道其他人越来越清楚：担心计算能力的局限性是荒谬的。如果采用高斯模糊这样的捷径，那么光学现象的复制效果是有限的。如果在光子水平上进行模拟，那么它的复制效果是无限的。
同样，将5个、10个或100个图像组合成单个HDR图像的想法似乎很荒谬，但事实是，在摄影中，图像总是多多益善的。如果计算成本可以忽略不计并且结果可以衡量，我们的设备为什么不去执行这些计算呢？再过几年，这可能也会成为稀松平常的技术。
如果能有更好的产品，计算能力和工程能力将会成功部署。就像徕卡或佳能可能会花费数百万美元，从2000美元的变焦镜头这样一个稳定的光学系统中获得部分性能提升一样，苹果和其它公司也在那些能够创造价值的领域投入资金：不是在玻璃领域，而是在硅领域。
复视
与我所描述的计算摄影叙述相冲突的一个趋势是包含多个摄像机的系统的出现。
这种技术不会让传感器捕获更多的光线——这在光学上非常复杂和昂贵，并且可能无论如何都不会起作用。但如果你能纵向释放一点空间，你就能把一个完全独立的相机放在第一个相机边上，捕捉到与第一个相机极为相似的照片。
现在，你要做的只是在一个无法察觉的尺度上重现韦恩的世界（相机一、相机二……相机一、相机二……）但实际上没有人想同时拍摄两张相隔仅2.5厘米的照片。
这两个摄像头要么独立工作（广角和变焦），要么用一个来增强另一个，形成一个有多输入系统。
问题在于，从一台摄像机获取数据并使其增强另一台摄像机的数据的计算量非常大。这就像多重曝光的HDR问题，只不过要复杂得多，因为照片不是用同样的镜头和传感器拍摄的。这个设想可以进行优化，但这并不容易。
因此，虽然增加第二个摄像头确实是一种通过物理手段改进成像系统的方法，但这种可能性只因为计算摄影的状态而存在。具有16个传感器和镜头的Light相机是一个很好的例子，尽管它使用成熟的计算摄影技术来收集和筛选更多的图像，但并没有产生更好的图像。
光和代码
摄影的未来是计算，而不是光学。
这是一个巨大的范式转变，每个生产或使用相机的公司都在努力解决这个问题。像单反这样的传统相机（很快就会让位于无反光镜系统）、手机、嵌入式设备以及任何能捕捉到光线并将其转换成图像的设备都会受到影响。
但有时，新款的相机的配置又和去年我们听到的差不多：百万像素、ISO范围、f值等。不过没关系，除了一些例外，这些设备已经达到了我们可以合理预期的效果：玻璃可能不会变的更清晰，但我们的视觉也没有因为新技术的诞生变的更灵敏。光线通过我们的设备和眼球的方式也不会有太大的改变。
