荔枝新闻专稿  编写、翻译/闫树蕙 王晟

　　本月重映的《哈利波特》4K修复版，让影迷们激动地“重拾青春”。画质更好，色彩更真，观感更佳——我们已经对数字还原、甚至人工智能技术修复的老电影熟悉适应，享受其中。

　　但是，“AI修复”还算修复吗？当综合神经网络和深度学习的算法，不仅重填色彩，甚至“脑补”出新的画面和场景，那我们究竟是跟随影片旧梦重温，还是被AI引入了编篡的时空？

　　科技发展无止境，技术探讨不能停。荔枝科技特意翻译了这篇探讨AI“修”电影的科普文，与亲爱的你分享。 

　　原载：wired.com

　　原题：AI Magic Makes Century-Old Films Look New

　　原文作者：Matt Simon

　　1906年4月14日，迈尔斯兄弟走出工作室，来到旧金山市市场街，搭上电缆车，开始拍摄街景，留下了电影史上的重要短片——《市场街之旅》，一部简单的纪录片。画面里，女士们戴着花边帽子、警察提着警棍、报童沿街叫卖、街上跑的汽车还算是新发明，大多还是敞篷式，司机坐在车里都会跟着颠颠颠。

　　轨道尽头挂着时钟的建筑是渡船大楼，就在迈尔斯兄弟拍完这段影片后的第四天，旧金山发生大地震，渡船大楼的时钟停在了凌晨五点十二分。

　　《市场街之旅》原画面

　　一个世纪过去，充满纪念意义的《市场街之旅》因为AI有了新的生命。经过了上色，分辨率提升到4K (3840x2160)，帧数提高到60。终于，观众能看清路人戴什么颜色帽子，报童是什么表情，或许更重要的是，我们第一次看清马在街道上留下了什么不可描述的痕迹……

　　　　AI修复后的《市场街之旅》

　　影片创作者丹尼斯·希里亚夫是Neural.love公司的产品总监，这家公司致力于用AI进行视频增强。除了1906年的旧金山，他们还在其它老电影上施展AI魔法。比如1895年卢米埃兄弟在法国拍摄的火车进站（世界上第一部电影 译者注），1911年的纽约街头，1972年阿波罗16号宇航员在月球表面的探索，都因为视频增强而焕然一新。

　　世界上第一部电影：《火车进站》

　　严格来说，AI视频增强不算“电影修复”，因为算法不仅改善了画面中的瑕疵，还填补了老旧、低帧率的电影里缺失的信息。算法所谓的“修复”，基本上是靠前期的训练。

　　就拿以上色功能出名的DeOldify来说，它学习了1400万张图片，理解了真实世界的颜色，才可以进一步学习老电影，并在黑白画面上刷出鲜艳的色彩。

　　1911年纽约街头

　　上色、提高分辨率、插帧属于常用的视频增强技术。而去除画面噪点，比如老旧影片常出现的光点和黑线，或许才能算作修复。在电影档案专家看来，AI“巫术”和“修复”不沾边，因为AI给视频添加了太多额外数据，其中大部分数据还是“脑补”出来的，不具备视频的历史价值。 希里亚夫倒是看得很开，“我们不会和档案专家争论，我们尊重他们的工作。”

　　把视频增强拆解来看，首先是上色，DeOldify可以识别特定物体，花草树木，人物着装，也知道各种物体一般对应什么颜色，在黑白电影中捕捉到相应物体时，便可以试着加上颜色。目前DeOldify还是会失手，因为训练中没有涉及的物体就无法识别。据希里亚夫介绍，目前要给旗帜上色就特别困难。

　　然后是提升分辨率，这一步的算法需要用组图来训练神经网络，一组图片中，一张分辨率低，一张分辨率高，最终目的是让神经网络找出规律，把分辨率低的部分转化成高清版。只要分析了老电影的像素，知道了像素的相对位置，放大并保持画面细节并非难事。

　　　阿波罗16号宇航员在月球表面

　　插帧算法的训练数据集则是视频，要学习的是两帧画面之间的关系，比如人和车辆的位置在连续两帧里通常如何变化。这一步，希里亚夫公司使用的算法叫作深度感知视频插帧(DAIN)，用其研发者的话来说——“DAIN过目不忘”。

　　现存于旧金山普瑞林格档案馆中的《市场街之旅》，每秒16帧，拿到这种老电影，DAIN算法可以预测下一帧该是什么样，人和物应该到什么位置，生成新画面，插入原始帧之间。通过反复插帧，DAIN可将帧率提高到60，画面将流畅许多。

　　如果是一部帧率为30的现代电影，DAIN甚至可以将帧率提高到480，这意味着，以16倍慢速播放也没有丝毫卡顿，与原版的慢放对比明显。

最右为帧率提升到480后16倍慢放效果

　　视频增强还能让人像更清晰。比如说，一段上世纪初在东京拍摄的短片里，路人都面目模糊。而通过面部数据集训练的神经网络，熟悉了人脸像素排布的规律，可以将人像清晰化。但最后呈现的人像，与一百年前的真人是否完全一样，还不好说。

　　　　 视频增强过程 画面于1910年代在东京拍摄

　　这也是视频增强最有争议的地方，人像美化，与上色和提高分辨率一样，都需要在视频中加入新数据，也就是说，真实记录中出现了虚构成分，所以档案专家多少有些意见。旧金山普瑞林格档案馆创立者里克·普瑞林格就表示他愿意保存原始的老旧影像，不在乎画质，不需要视频增强。档案馆里收藏了大量非专业拍摄视频、老广告和科教片。

　　普瑞林格并非反对二次创作，但在他看来，视频增强模糊了真实和虚构，可能会让受众对历史影像产生错误的期待。事实上，20世纪初的录像设备确实很基础，一百年的时光也侵蚀着胶片，并不完美的画面是历史的一部分。画质体现了拍摄的时空，这是需要保留，而不是该被优化的部分。

　　然而如果继续思考这一问题，又会发现新的讨论空间。的确，视频增强后的画面里，出现了无法核实的信息，比如街头女士们戴的帽子，真的是画中的颜色吗？这样想来，更为清晰的画面，并不更接近完美。但原始的《市场街之旅》是完美的旧金山街景吗？也不尽然。世界本来就是彩色的，人和车移动时也不会卡顿。所以到头来，是原版，还是AI增强版更接近现实呢？

　　AI视频增强甚至奇妙地染上了默片时代的色彩。默片时代，同一部影片的观众体验可能很不一样，因为电影院会雇佣伴奏者，一边播放影片，一边配乐。许多这样的伴奏者是即兴发挥的。直到1908年，电影业才开始统一默片伴奏曲目。伴奏，算不算一种“增强”？因为伴奏者的即兴发挥，把个人的感受和理解融入片中，让观众们获得了不一样的体验，希里亚夫或许也像一位伴奏者，他展示的20世纪早期的世界中，有他的，或者说AI的即兴发挥。

　　他说：“观众看我们的视频，仿佛在享受时光旅行。” 

　　（本文系荔枝新闻专稿，拒绝一切删改）