0%

Multimedia

声色。

Why

为什么数码相机可以拍出彩色照片?

作者: 阮一峰
日期: 2012年12月 6日

上个月(11月13日),83岁的柯达公司退休工程师布赖斯·拜尔(Bryce Bayer)去世。

一家国内杂志邀请我写纪念文章,回顾他对数码摄影的巨大贡献。

我看了一些材料,觉得这个题材很有意思,涉及数码相机的成像原理,使我对数字图像技术有了新的认识。但是,由于体例限制,杂志不允许我插入彩图。

下面,我把我的那篇文章配上图片,解释彩色数码照片是怎么拍出来的。

1.

为了更好地理解原理,让我们从照片的起源讲起。1825年,法国人涅普斯(Joseph Nicéphore Nièpce),拍出历史上第一张照片。

2.

他采用的感光剂是氯化银(silver chloride)。当光线照射氯化银,后者会分解成纯银和氯气,银金属颗粒呈现黑色。因此,底片颜色越深代表光线越强,颜色越浅代表光线越弱。黑白照片就是这样拍出来。

3.

19世纪中期,人们发现,人眼的圆锥细胞对三种颜色—-红、绿、蓝—-特别敏感。伟大的英国物理学家麦克斯韦因此假设,红绿蓝作为基色,可以拍出彩色照片。

4.

1861年,在麦克斯韦的指导下,人类的第一张彩色照片诞生了。

采用的方法是在镜头前,分别用红丝带、绿丝带、蓝丝带过滤光线,曝光形成三张底片,然后用三部放映机向同一处投影这三张底片,每部放映机的镜头前都拧上对应颜色的镜头,它们的合成效果就是一张彩照。

5.

真正意义上的彩色胶卷,1933年诞生于柯达公司,底片之上依次有三个感光层,分别对红、绿、蓝三种颜色进行曝光,最后叠加形成一张彩色底片。

6.

二战后,计算机诞生,科学家发现图像可以用数字形式表示。如果将光信号转变成电信号,就可以直接拍出数码照片。这意味着,照相机不再需要胶卷,而是需要一个图像传感器(image sensor)。

7.

图像传感器将光线转化成电流,光线越亮,电流的数值就越大;光线越暗,电流的数值就越小。所以,如果用0到255的范围,表示光线的亮度,最亮的光线是白光,数值是十六进制的FF,最暗的光线是黑光(没有光),数值是十六进制的00。

8.

图像传感器的表面,分成若干个捕捉点,每个点都会产生一个数值,表示该点感受到的光线亮度,这就叫做"像素"。像素越多,图像细节就越丰富。如果一台相机的像素是1600x1200,就说明图像传感器横向有1600个捕捉点,纵向有1200个,合计192万个。

9.

但是,图像传感器有一个很严重的缺陷:它只能感受光的强弱,无法感受光的波长。由于光的颜色由波长决定,所以图像传播器无法记录颜色,也就是说,它只能拍黑白照片,这肯定是不能接受的。

10.

一种解决方案是照相机内置三个图像传感器,分别记录红、绿、蓝三种颜色,然后再将这三个值合并。这种方法能产生最准确的颜色信息,但是成本太高,无法投入实用。

11.

1974年,柯达公司的工程师布赖斯·拜尔提出了一个全新方案,只用一块图像传感器,就解决了颜色的识别。他的做法是在图像传感器前面,设置一个滤光层(Color filter array),上面布满了滤光点,与下层的像素一一对应。也就是说,如果传感器是1600x1200像素,那么它的上层就有1600x1200个滤光点。

12.

每个滤光点只能通过红、绿、蓝之中的一种颜色,这意味着在它下层的像素点只可能有四种颜色:红、绿、蓝、黑(表示没有任何光通过)。

13.

不同颜色的滤光点的排列是有规律的:每个绿点的四周,分布着2个红点、2个蓝点、4个绿点。这意味着,整体上,绿点的数量是其他两种颜色点的两倍。这是因为研究显示人眼对绿色最敏感,所以滤光层的绿点最多。

14.

接下来的问题就是,如果一个像素只可能有四种颜色,那么怎么能拍出彩色照片呢?这就是布赖斯·拜尔聪明的地方,前面说了,每个滤光点周围有规律地分布其他颜色的滤光点,那么就有可能结合它们的值,判断出光线本来的颜色。以黄光为例,它由红光和绿光混合而成,那么通过滤光层以后,红点和绿点下面的像素都会有值,但是蓝点下面的像素没有值,因此看一个像素周围的颜色分布----有红色和绿色,但是没有蓝色----就可以推测出来这个像素点的本来颜色应该是黄色。

15.

这种计算颜色的方法,就叫做”去马赛克”(demosaicing)。上图的下半部分是图像传感器生成的”马赛克”图像,所有的像素只有红、绿、蓝、黑四种颜色;上半部分是”去马赛克”后的效果,这是用算法处理的结果。

16.

虽然,每个像素的颜色都是算出来的,并不是真正的值,但是由于计算的结果相当准确,因此这种做法得到广泛应用。目前,绝大部分的数码相机都采用它,来生成彩色数码照片。高级的数码相机,还提供未经算法处理的原始马赛克图像,这就是raw格式(raw image format)。

为了纪念发明者布赖斯·拜尔,它被称作”拜尔模式”或”拜尔滤光法“ (Bayer filter)。

What

图像与滤波

作者: 阮一峰
日期: 2017年12月13日

我对图像处理一直很感兴趣,曾经写过好几篇博客(1,2,3,4)。

前几天读到一篇文章,它提到图像其实是一种波,可以用波的算法处理图像。我顿时有一种醍醐灌顶的感觉,从没想到这两个领域是相关的,图像还可以这样玩!下面我就来详细介绍这篇文章。

一、为什么图像是波?
我们知道,图像由像素组成。下图是一张 400 x 400 的图片,一共包含了 16 万个像素点。

每个像素的颜色,可以用红、绿、蓝、透明度四个值描述,大小范围都是0 ~ 255,比如黑色是[0, 0, 0, 255],白色是[255, 255, 255, 255]。通过 Canvas API 就可以拿到这些值。

如果把每一行所有像素(上例是400个)的红、绿、蓝的值,依次画成三条曲线,就得到了下面的图形。

可以看到,每条曲线都在不停的上下波动。有些区域的波动比较小,有些区域突然出现了大幅波动(比如 54 和 324 这两点)。

对比一下图像就能发现,曲线波动较大的地方,也是图像出现突变的地方。

这说明波动与图像是紧密关联的。图像本质上就是各种色彩波的叠加。

二、频率
综上所述,图像就是色彩的波动:波动大,就是色彩急剧变化;波动小,就是色彩平滑过渡。因此,波的各种指标可以用来描述图像。

频率(frequency)是波动快慢的指标,单位时间内波动次数越多,频率越高,反之越低。

上图是函数sin(Θ)的图形,在2π的周期内完成了一次波动,频率就是1。

上图是函数sin(2Θ)的图形,在2π的周期内完成了两次波动,频率就是2。

所以,色彩剧烈变化的地方,就是图像的高频区域;色彩稳定平滑的地方,就是低频区域。

三、滤波器
物理学对波的研究已经非常深入,提出了很多处理波的方法,其中就有滤波器(filter):过滤掉某些波,保留另一些波。

下面是两种常见的滤波器 。

低通滤波器(lowpass):减弱或阻隔高频信号,保留低频信号
高通滤波器(highpass):减弱或阻隔低频信号,保留高频信号
下面是低通滤波的例子。

上图中,蓝线是原始的波形,绿线是低通滤波lowpass后的波形。可以看到,绿线的波动比蓝线小很多,非常平滑。

下面是高通滤波的例子。

上图中,黄线是原始的波形,蓝线是高通滤波highpass后的波形。可以看到,黄线的三个波峰和两个波谷(低频波动),在蓝线上都消失了,而黄线上那些密集的小幅波动(高频波动),则是全部被蓝线保留。

再看一个例子

上图有三根曲线,黄线是高频波动,红线是低频波动。它们可以合成为一根曲线,就是绿线。

上图中,绿线进行低通滤波和高通滤波后,得到两根黑色的曲线,它们的波形跟原始的黄线和红线是完全一致的。

四、图像的滤波
浏览器实际上包含了滤波器的实现,因为 Web Audio API 里面定义了声波的滤波。这意味着可以通过浏览器,将lowpass和highpass运用于图像。

lowpass使得图像的高频区域变成低频,即色彩变化剧烈的区域变得平滑,也就是出现模糊效果。


上图中,红线是原始的色彩曲线,蓝线是低通滤波后的曲线。

highpass正好相反,过滤了低频,只保留那些变化最快速最剧烈的区域,也就是图像里面的物体边缘,所以常用于边缘识别。

上图中,红线是原始的色彩曲线,蓝线是高通滤波后的曲线。

下面这个网址,可以将滤波器拖到图像上,产生过滤后的效果。

浏览器实现滤波的范例代码,可以看这个仓库

How

Experience

揭秘 | 那些高分美剧,背后都离不开它的助推

今天,我们来解答一个问题:

频频推出高分美剧的HBO电视台,有什么绝招?

今天,爆款美剧《权力的游戏》最终季终于开播了,你是否也在追剧大军中呢?这部剧的成功,离不开背后推手——HBO电视台,曾经还制作过《欲望都市》《兄弟连》《真爱如血》等著名美剧。

可以说,“HBO出品必属精品”,已经是美剧迷心中默认的印象。

从一个普通的电视台,成长为行业领头羊,HBO的秘诀其实并不复杂,总结起来就是四个字——头部策略。

人生一切难题,知识给你答案。

下面这张清单,就为你详解它是如何做的。

  1. 采用头部技术

头部技术,不一定是指最新技术,而是从用户角度来说,能创造最佳体验的技术。在HBO出现之前,电视台都是通过无线电磁波来传播电视信号。这个技术存在两个问题:① 信号会随距离的增加而衰减;② 容易被遮挡和干扰,观众常常需要调整天线方向。HBO从1972年开播之初,就没有使用无线电波,而是选择更稳定的电缆传输方式,这样既能让信号稳定输出,而且偏远地区的观众也能收看。

  1. 创立头部商业模式

在70年代,大部分观众都能免费收看电视节目,电视台主要靠广告来赚钱。而HBO考虑到广告太多,会让观众观感不好、换台,同时自身有信号优势,所以创立之初就采用了一套全新的商业模式:向观众收费、减少广告数量。这种模式也取得了很好的效果:两年后,HBO的订阅量突破了百万大关,并且实现盈利。

  1. 开创头部播放时长

现在我们对电视台24小时播节目习以为常,但在70年代,电视台到了零点之后就都休息了。HBO看到了其中的潜力,它认为随着时代进步,电视台迟早都要24小时不断播放节目的,那么自己不如做第一个吃螃蟹的人。这对电视台的运营能力是极大的挑战,为了填充自己的节目表,HBO购买了大量老片子,重复播放。在HBO的带领下,电视台逐渐进入24小时播放时代。

  1. 抢占头部IP播放权

面对市场的激烈竞争,HBO对关注度高的大IP,即便是花大价钱,也要采取“拼速度、拼独家”的策略领先市场。比如《星球大战》,当时片方要求各家电视台的最早播出时间,是早上六点。而HBO评估之后,认为这部电影有强大的号召力,值得投入更多资金抢首发,所以与片方协商在零点播出,领先了其他对手。

  1. 只播放头部节目

很多电视台会追求节目的丰富度,希望内容越多越好。但HBO正好相反,它只播最值得观看的内容,这也奠定了“HBO出品必属精品”的基础。以体育比赛为例,HBO只播最受欢迎、最受关注的比赛,比如橄榄球全明星赛、总决赛,连半决赛都很少播。并且还减少了综艺节目、提高了电影、纪录片的播出占比,以打造高端专业的品牌形象。

  1. 打造头部自制剧

播放新闻和外购节目,总是难以形成独属于HBO的特色。从80年代起,HBO为了提升品牌辨识度,开始自制剧集,包括季播剧、纪录片、电影等。而且HBO不做常见的题材,而是挑冷门、敏感的题材进行深度挖掘。HBO曾经的三大爆款剧就是这样:《欲望都市》大胆探讨了男女两性问题;《黑道家族》拍摄了敏感的黑帮题材;《六尺之下》,揭秘了不为人知的殡葬行业内幕。

  1. “头部级尺度”呈现剧集主题

大多电视台为了打造“合家欢”的节目,会减少血腥暴力场面和性爱场面。但HBO认为,如果剧集想成为精品就必须拍得真实,所以,为了保全剧集质量,HBO彻底放开尺度,尽数保留了敏感画面。像一代战争片经典《兄弟连》,就充斥着断手断脚、血肉横飞的画面,给了观众非常强的代入感,真实反映了战争的残酷。也正是大尺度、高品质的特点,为HBO牢牢吸引了一批铁粉。

  1. 组建头部团队

想要持久成功,就必须寻求强大的队友,组成高水平团队。HBO深知这一点,越来越频繁地和各个领域的顶尖人才合作。比如,《权力的游戏》选择了得过星云奖的原著《冰与火之歌》进行改编;《大西洋帝国》由获奖无数的著名导演马丁·斯科塞斯操刀;《西部世界》由创作过《黑暗骑士》《盗梦空间》的乔纳森·诺兰编剧。有高水平团队保驾护航,每年HBO都能保证出一款爆款热剧。

  1. 你不难发现,如果单看HBO的单个策略,其实都不难做到,但关键在于,HBO时刻提醒着自己要抢占各领域的头部,并在几十年的时间内都不放松,才造就了对手难以模仿和达到的壁垒,成为行业的领头羊。

以上这些见解,全部来自于《HBO的内容战略》一书。本书的作者小比尔·梅西正是在HBO核心部门工作27年之久的专业人士,他把历年来HBO的成功经验都详细地收录进了书中。

让我们对这本书的作者小比尔·梅西、译者粟志敏、出版方湛庐文化和浙江人民出版社,说一声感谢!

最后,与你分享金句,欢迎你收藏并转发:

Reference

  1. Raw 文件是什么样子?
  2. 高斯模糊的算法
  3. 相似图片搜索的原理
  4. 相似图片搜索的原理(二)
  5. 如何识别图像边缘?
  6. 深度技术干货 Mars说光场
  7. 详解音频编解码的原理、演进和应用选型等

欢迎关注我的其它发布渠道