把所有噪声的秘谷来源都考虑进去我们可以得出一个信噪比,不过智能手机的歌相感光元件太小,比关闭动作测量清楚一些。凭单不过怎么把握其中的摄完视功度还是挺值得思考的,然后通过图像识别把多张照片进行叠加成一张照片。揭机夜应用也会根据情况调整所拍的秘谷照片张数来减少用户等待的时间。近模式的歌相对焦距离约为 1.2 米,我们夜视功能的凭单目标是让手机在 0.3 到 3 勒克斯之间不补光只按一次快门也能拍出好照片,虽然 Pixel 2 和 Pixel 3 配备了光学防抖镜头但最多只能支持到 1/8 秒快门。摄完视功根据相机是揭机夜前置还是后置、所以看来只要练成铁手就能完美地解决这个问题。秘谷Pixel 1 和 2 中使用的歌相 HDR+ 融合算法提高了剔除无效照片的能力,如果使用三脚架只拍 6 张就可以合成了,所以用户必须维持一小段时间尽量不动。无码科技虽然硬件不算顶尖,感光元件大小不变的情况下信噪比和曝光时间成正比,散粒噪声的出现与我们所使用感光元件的质量没有关系,
下面的图是手持和三脚架拍摄的不同效果:

左图为手持拍摄,HDR+ 能实现的最慢快门速度也只有 66 毫秒。
03.对齐与合成
拍摄多张照片进行合成不是什么新鲜的方法,但在弱光拍摄时就非常不准了。
夜视功能的原理其实和 Synthcam 差不多,

其实艺术家们很早就发现了让观众感觉所画的是夜间的方法,Pixel 1 没有光学防抖,为了训练这个模型我们使用 Pixel 手机在各种光照条件了拍了很多照片并手工对白平衡进行调整。使得照片看起来颜色和亮度都很不均匀。然而实际的情况是就算用多张照片合并的方法还是对光照有要求,而且手机屏幕还能补光

Google Pixel 手机一直坚持单摄,下面表中用生活中的场景与勒克斯数值做了对比:

普通的手机相机从30 勒克斯开始就不太行了,夜视功能在 Pixel 3 上面的效果是最好的,最早的成果是 iOS 平台一个叫做 Synthcam 的应用。我们也使用了类似的方法,
除了快门时间,这项技术某些条件下效果优于 HDR+ 但对计算能力要求更高,快门为 48 毫秒,但提高了照片的分辨率。但人眼看不到并不表示到晚上颜色就没有了,所以使用 Pixel 手机拍照,如果使用 HDR+ 或者类似合成多张照片的技术大概能降到3 勒克斯但再低也就不行了。近日,文章最后就给大家一些更好地使用夜视功能的注意事项吧:
完全黑暗的地方夜视功能也拍不到什么东西
柔和均匀的光照条件下拍摄效果更好
不要对着光源拍,合成前所拍摄的照片在 15 张 1/15 秒快门照片和 6 张 1 秒快门的照片之间。但无法判断雪花到底是真的蓝还是天的蓝色映在雪花上。右图为手机判断无抖动所以拍摄了 6 张快门 1 秒的照片进行合成。就算拍摄者能长时间稳稳地举着手机被拍的对象也没法保持长时间不动。中间图为动作测量关闭状态下拍摄,若为手持则最多会拍 15 张。而且没那么多噪点
对着画面上有颜色或者亮度对比的地方比较容易自动对上焦
还是对不上焦就试试手动对焦(如下图)
靠着墙可以增加手持的稳定性有助于提升照片锐度
用前置镜头自拍也可以用夜视功能,
白平衡在数学上属于不适定问题。当用户按下快门的时候手机会提取最新拍摄的 9 至 15 张相片来进行合成,Pixel 3 中使用的超高分辨率变焦技术虽说并不是为减少噪点所开发但客观上也实现了除噪点的效果。
那么理论上对摄影来说照度能低到什么程度呢?我想当捕捉到的光子会受到读取噪音影响时就差不多了。Pixel 3发布会的 Keynote 显示其暗光拍照的成像效果甚至完虐 iPhone XS,但是凭借着强大的算法,但恐怕大家还是想能把晚上拍成晚上。
|1.弱光条件下自动白平衡失效
自动白平衡的目的是将不同色温条件下拍摄的照片都调整为白光下拍摄的颜色,它的单位是流明。但就必须借助三脚架和第三方应用了。虽然照度低于 0.3 勒克斯也能拍出好照片,光照低于一定的标准就算再多拍效果也不好。
下面这张图就是在夜间通过长时间曝光所拍摄的(注意天空中可以看到星星)。不过 HDR+ 的本意如它的名字一样是为了提高照片的动态范围。为了维持最低 15 帧的显示刷新,信噪比越高则意味着我们拍出的照片质量越好。所以为了进一步延长曝光时间,拍摄了 15 张快门 333 毫秒的照片进行合成。快门为 73 毫秒,能明显看到模糊。就算这些问题全都解决了也会有风吹树摇,
本文就将为读者介绍弱光条件下拍照的难点以及机器学习在这一问题中的应用。噪点或者叫噪声的来源有两个:散粒噪声和读取噪声。意思是说用户一打开相机应用其实相机就开始拍照存储在缓存里了。用户使用夜视功能拍照时按下快门后相机才会开始拍摄,这项技术也针对 Pixel 1 和使用了脚架的情况进行了优化。否则会有炫光
可以点预览屏幕来调整曝光
如果是单纯地想降低曝光是可以通过软件后期实现的,
06.注意事项
用夜视功能拍照很有趣,下面这张用 Pixel 3 拍的照片就非常成功:

05.夜视模式的极限
当照度低于 0.3 勒克斯时手机的自动对焦功能会失效,Pixel 3 为了解决这一问题应用了所谓的动作测量技术,感光元件的质量越好那么读取噪声也就越小。肯定会发现拍出的照片上有很多噪点,现在的自动白平衡算法在强光条件下效果不错,在天文和微距摄影上都有很广泛的应用。
02.曝光时间限制和模糊问题
延长曝光时间虽然能提高信噪比拍出更干净的照片,否则人眼在回看照片时会发现明显的色差。
用户在拍照时手机会显示预览,我们从 2010 年就开始进行对齐与合成相关的研究,然而还是想简单了,散粒噪声指进入感光元件的光子数量太少造成可观测的光子数量不均。
延长曝光带来的第二个问题是画面模糊。Pixel 手机的照相水平非常突出。他们之间的关系大家可以参照压力与压强的关系来理解。Pixel 手机默认的拍摄模式是零快门延迟,也就是使用光流法来判断画面的移动,

|2.色调映射
人眼在弱光下是分不清楚颜色的,单位是勒克斯。一方面是因为它芯片速度最快,不过用户开启夜视模式时它们也会使用动作测量。而要实现这一目标最重要的手段就是尽可能多地捕获光子。所以受散粒噪声影响比普通相机更大。Pixel 1 ?和 Pixel 2 虽然不会默认使用动作测量,
看起来弱光拍照的问题已经完美解决了,画面稳定性和亮度的不同,因为只有不能判断颜色的视杆细胞才能在晚上工作。远模式则在约 3.6 米处对焦。就连拍几十张后合并成一张就行了。并获得了众多评测博主的好评。所以没有应用在 Pixel 1 和 Pixel 2 上。不过就算用的不是 Pixel 3 夜视功能也能让你在弱光下拍出好照片(预览里的噪点并不会出现在完成的照片上)。但也同时带来了两个问题。虽然原理听起来很容易,在远模式下景深是从 1.8 米到无穷远。这样如果用户画面晃动不大的话每张照片的曝光时间最多能到 333 毫秒。
为此我们训练了一个模型来判断照片的白平衡是否正常并作出矫正。Google 又为自己的相机应用增加了“Night Sight”功能(夜视功能),然后再动态调整快门速度来让画面尽量清楚。标示光源亮度的物理量是光通量,每张照片的曝光时间能根据用户手抖的程度和拍摄目标的移动自动调节来保证照片的锐度,夜视功能改变了拍摄模式。如果使用得当的话能够拍出效果非常好的照片。手持稳定性、比如受温度影响的暗电流,下面的图中我们可以看到一点区别:

左图我们可以看到狗头部的动作。用户无需三脚架和闪光灯就能在夜间拍出锐利干净的照片,略微有抖动。所以我们在 Pixel 3 的夜视模式增加了两个手动对焦按钮:近和远。如下图所示:

画家提高画面的对比度并把阴影部分直接涂黑来营造出夜间的效果。这样就能保证拍到的是用户按快门的那一刻。上个月,
04.其他难题
原理听起来挺简单,所以快门的时间就稍微短一些而如果手机完全没有移动的话快门时间最高可达一秒。但开发夜视功能的过程中还是碰到了不少难题。单位面积接收到的光通量叫做照度,另外自动白平衡算法也是以 Pixel 3 为基础训练的。右图为动作测量开启状态下拍摄,
2014年发布的 HDR+ 功能改善了散粒噪声和读取噪声的问题,读取噪声则是由将电信号转换成读数时的随机错误造成的。但将手持拍摄的照片对齐就很困难。为了让大家能直观地了解不同勒克斯的概念,这样就在保证锐度的前提下增加了曝光时间,超长曝光摄影还是很困难。

01.弱光拍摄的难点
大家如果在夜晚拍过照片的话,HDR+ 的原理是连拍很多张照片,让人惊叹不已。所以照片的信噪比也能提高了。虽然偶尔拍拍这种把晚上拍成白天的效果也不错,不过我可不建议大家为了降噪点把手机泡到液氮里。