社交媒体时代有意思的一点就是,谁更富攻击性谁的发声更多更大,谁就占据了舆论的先手。互联网出身的小米自然深谙此道。只是在电视领域中小米电视一直处于没有正面对手的情况,所以相对来说一直比较安静。
去年华为和荣耀的入场则像是一种催化剂,让声量不大的电视市场开始有了社交活力,智慧屏的出现更是一颗深水炸弹逼迫小米不得不正面交锋。而在这个你来我往的过程中,很多原先并不为大家熟知的东西或技术名词开始一个个被抛出来,比如之前的扬声器功率之争,而在小米电视 5 Pro 之前一直不支持的 MEMC 功能也在这场厮杀中成了小米的一个软肋。
认识 MEMC 是什么,有什么用处
MEMC 是简写,原文单词为 Motion Estimate and Motion Compensation,意为运动估计和运动补偿。
直白一点说,这是一种目前很常见的视频插帧技术,在电视的插帧补偿中其实一共大体出现过三种不同的插帧类型,分别是插复制帧、插黑帧和插计算帧。
其中插复制帧的效果最差,只是提升了原视频的帧速,但是对于视频的流畅度平滑度并没有帮助。插黑帧的目的是减轻视觉残留现象以减小拖影的感觉。而插计算帧则是效果最好的一种,它能够确实提升人眼感受到的流畅度,随着芯片计算能力的猛增,这种插帧方法效果也越来越好,同时插帧数量级也能支持到更高。
索尼的 motionflow 技术
插计算帧的作用原理就是通过运动估计预估画面中运动物体的轨迹,然后通过插帧技术在两个相邻帧中间插入一张中间帧,这样原视频的帧数就能够实现翻倍,30 帧速率的视频变成 60 帧视觉上就会流畅平滑很多。
以现在电视显示芯片的计算能力来看,很多电视早已不仅支持「倍速驱动」了,如今甚至能把视频插帧达到 200 帧速率,同时结合多种插帧方法可以做到画面效果的最优化,比如索尼的 MotionFlow 技术就是通过插帧和扫黑两种方式来提高画面流畅度与减小拖影现象。
三星的插帧技术叫 Auto Motion Plus
不光是索尼,其实大多数电视品牌早就都上马了类似的技术,只不过功能的叫法不太一样,比如三星的叫 Auto Motion Plus,LG 的叫 TruMotion,东芝的叫做 ClearFrame 等等。国产电视像华为的智慧屏,和小米最新的小米电视 5 Pro 也都具备 MEMC 技术。
虽然大家都有类似的技术,但最终的效果却可能仍然有很大差距,比如目前公认插帧效果最好的应当属索尼的高端电视,而为什么索尼的效果好,自然是因为运动估算的更准,计算生成的中间帧也更合适。
在知乎@蓝大仙人的素材中有一段素材是华为智慧屏和索尼 XG8500 在 MEMC 功能上的对比,通过慢镜头来看,左边智慧屏的画面抖动和流畅度都逊色于右边,索尼电视明显要平滑许多。
「人无我有,人有我优」,至于怎么做到优秀,那就靠的是技术的积累和沉淀了。
在实际应用场景中,MEMC 在电视领域更多的应用案例是在体育赛事类节目,比如足球或者赛车竞速之类。由于物体运动速度较快以及镜头摆动幅度较大,这类节目最大的问题就是画面又糊又晃,而通过 MEMC 补偿之后,画面的流畅度的会得到质的提升,晃动感也会有所减弱。
MEMC 不仅用在电视上,现在手机上也有了
尽管 MEMC 在电视上使用的已经很频繁,但是在我们每天接触更多的移动设备上却鲜有涉及。
插帧技术并不稀奇,但前提是需要具备独立的显示计算芯片,对于红海竞争非常激烈的手机来说,多一块芯片就是多一截成本,在大众需求还没有挖掘到这个领域的时候,搭载独立的显示计算芯片可能只是徒增成本。
如果把游戏手机也归类到主流手机中,可能只有黑鲨是较早在做 MEMC 补偿的手机,这项功能在黑鲨手机里叫做超级影院模式,本质上就是利用那颗 Pixelworks Iris 显示处理芯片进行插帧补偿,但是这项功能却一直没有出现在更主流的手机厂商中。
因此,不久前一加的那场屏幕技术沟通会就值得一提了,除了我们已经熟悉的 120Hz 高刷新率之外,也正式公布了支持 MEMC 功能消息,最高能够将视频插帧到 120 帧播放。
手机上的 MEMC 究竟应该用在哪些方面,其实也是一个可以讨论的问题,值得一提的是在手机上并非所有的 App 都支持高刷新率,很多应用都是限制到了 60Hz 的最高刷新率,如果能够通过全局插帧的方式去进行补帧,这可能是拉近软件流畅度的一次曲线救国。
在电视上 MEMC 最大的用途是体育赛事,但是在手机上尽管现在赛事直播很多,但真正用手机日常看球赛等体育运动的人相对来说还是比较少的,所以像黑鲨宣传的超级影院插帧功能更多是为电影而服务。
把 24 帧的电影变成 60 帧感觉会更好吗
回到标题的那个问题,如何将 24 帧的电影看出 60 帧的感觉?答案已经全在上面了。
当然,以现有的技术来说,其实直接拍 60 帧电影或者更高的 120 帧电影都不是问题,只是在制作成本上以及电影观众的观看习惯来说,沿用了多年的 24 帧标准依然是权衡利弊的最佳选择。
比如电影中经常遇到需要进行单帧调色或者做一些复杂特效的场景,24 帧的电影一秒只需要做 24 帧的特效,而 120 帧一秒就需要做 120 帧的特效画面,是 24 帧工作量的五倍,同样制作成本也会急剧上升。
另外放映端同样是一个问题,导演拍出了 60 帧甚至 120 帧的电影时,许多影院因为放映机采用的还是 24 帧标准的老设备所以不能播放,而升级技术设备对影院来说不仅是额外一笔开支,更可能面临后续高帧率电影数量不足的放映问题。
以拍文艺片而闻名的导演李安算是个异类,从《比利林恩的中场战事》到《双子杀手》,他两次采用 120 帧+4K+3D 的拍摄技术,但受限于题材和设备,两部影片都不像第一个采用 3D 技术拍摄的《阿凡达》那样票房全球大爆,也为超高帧率电影的前景蒙上了一层阴影。
对于电影本身来说,尽管最后压制的时候基本都是 24 帧,但不同的导演有可能会在不同的片段通过减帧的手段来丰富自己的表达手法。
举个例子,在 B 站《一代宗师》的电影中,有很多个镜头的帧数明显不足,比如在叶问在和宫羽田掰饼二人转那一段,镜头切换很多,但一部分镜头的帧数肉眼可见要低于正常的 24 帧。
有人说《一代宗师》里部分有「掉帧」和噪点的镜头是技术瑕疵,也有人说这是王家卫的表达风格,在《重庆森林》和《旺角卡门》中都有过类似的画面,具体原因如何王家卫肯定不会解释,我们也就当做艺术表达手法就好。
其实这种艺术手法叫做「step printing」,中文翻译叫做抽帧。既然有 MEMC 这样的自动补帧来提升流畅感,有主动抽帧来营造不连贯的迷幻感自然并不奇怪。抽帧造成的不连贯感不光能营造迷幻氛围,有些动画电影也会采用抽帧来打造不同的观感。
2018 年末,索尼娱乐打造的电影《蜘蛛侠:平行宇宙》中,索尼就大量采用了抽帧的手法配合屏幕上的拟声词来营造一种类似漫画的感觉。
对于电影来说,MEMC 的插帧技术是一把双刃剑,一不小心甚至就会「弄巧成拙」,因为插帧不完善而导致画面撕裂的状况时有发生,这个现象叫做「肥皂剧效应」(soap opera effect),形容的就是高速运动的画面因为插帧不完善导致图像像肥皂一样容易撕裂。
所以对于许多电影导演和演员来说他们其实完全不喜欢插帧技术,甚至是厌恶。《银河护卫队》的导演 James Gunn 曾公开发文抵制插帧技术带来的「肥皂剧效应」,他还联合了 《极盗车神》的导演 Edgar Wright,《星球大战:最后的绝地武士》导演 Rian Johnson,《猩球崛起》系列导演 Matt Reeves 等一起发声。
过高的帧数和过于平滑的效果也会让电影本身产生一种「不像电影」的感觉,但同时也不像我们用肉眼去观看世界的感觉,有时候会觉得有点儿像游戏 CG,但画面又过于真实,最接近这种感觉的反而是家电卖场里那些高端电视播放的高帧率展示片段。
目前来说,MEMC 对中高端电视来说已经是必备功能,在电视上也已经十分普及。对于手机来说,MEMC 还在起步的阶段,也更像是作为一个锦上添花的功能,在一加去年带起过一波 90Hz 刷新率后,这些更为专注特定领域的功能或许又能引发一次集体跟进。
因为从今年开始,更高素质的 OLED 面板将会比以往出货量更多,在旗舰机显示效果平均线提升的情况下,MEMC 这种高端功能就能够为拉开差距添砖加瓦。
至于会不会又是一个「真香」技术,我想时间会给我们答案。