爱范儿 - 不止换脸,神经网络还能让你看到30年前的4K电影

上一篇(左方向键) 下一篇(右方向键) 回目录(回车键) 粗体(B键)  正常(N键) 随机浏览(S键)   浏览次数:92    发布时间:2020/2/6 7:47:16   出处:爱范儿   

  说到神经网络,你第一个想到的什么,有不少人第一个想到的应该是前段时间大火的换脸 APP「ZAO」,神经网络在图片领域堪称「魔法」的应用第一次展现在每一个普通用户面前。

  不少用户在使用过 ZAO 后,对神经网络产生了「技术恐惧」,担心 ZAO 会对自己的肖像权产生侵害,ZAO 也因为种种原因迅速下架,成为技术应用的「负面典型」。

  但神经网络还有另一种用法,那就是对图像进行增强。

不止换脸,神经网络还能让你看到30年前的4K电影 - 后花园网文 - 科技新闻

  ▲ 1895年的电影《火车进站》图片来自:wiki

  神经网络翻新老电影

  最近,国外一个 YouTuber 发布了通过神经网络增强的1895年拍摄的纪录片《火车进站》,整部电影只有45秒长度,由路易·卢米埃和奥古斯特·卢米埃拍摄于法国一沿海城市。

  ▲ 经过神经网络增强的《火车进站》电影

  传说放映到火车驶向镜头的时候,大量观众惊恐的从剧院跑出,展现了当时人们对新技术的好奇和恐惧。当然,这些往事都已经成为了都市传说。

  不过由「新技术」的神经网络对这部电影进行翻新,也有着深远的意义。

  1895年拍摄的《火车进站》采用35mm 格式胶片制作,由于当时的放映机由手摇进行驱动,我们可以粗略的认为其原始帧率在16帧到24帧之间。

  ▲ 1895年拍摄的《火车进站》原片

  由于当时的胶片技术尚未成熟,我们可以看到画面景物都是比较模糊的,火车在驶来的同时还带有明显的拖影。

不止换脸,神经网络还能让你看到30年前的4K电影 - 后花园网文 - 科技新闻

  但经过了神经网络的画面分辨率增强和插帧之后,这部老电影获得了4K ~ 60fps 的画质。如果不是电影黑白的画面和胶片电影独有的画面抖动,画面流畅度和清晰度几乎可以与现在的智能手机相媲美。

  是什么让神经网络在图像增强和插帧上有着这样的效果呢?

  我们知道,数字视频的清晰度一般由分辨率和帧率决定(暂且不考虑影响图像压缩质量的码率)。神经网络对视频的增强,也主要集中在这两种参数上。

  分辨率增强

  首先我们来谈谈分辨率增强,想要将一张低分辨率的图片变成高分辨率的图片,我们就需要猜测放大产生的未知像素。通常情况下,我们会采用某种插值算法进行计算,在图像边缘的模糊和锯齿间获得平衡,这种计算通常无法增加图像细节,即使放大了图像,依旧显得很模糊。

不止换脸,神经网络还能让你看到30年前的4K电影 - 后花园网文 - 科技新闻

  ▲ waifu2x SRCNN 算法与传统算法的对比

  神经网络在增强分辨率上就有着独到的优势,或许你之前曾经听说过一个软件 waifu2x ,动漫爱好者们经常用它来放大动漫插图。当然,它同样可以用作照片放大。

  waifu2x 的核心方法就是通过机器学习,训练一个端到端的网络,使用低分辨率的图像作为输入得到对应的高分辨率结果图像,最后得到的结果在图像的锯齿与模糊程度有较好表现,其训练的原理类似于 FCN 模型。

不止换脸,神经网络还能让你看到30年前的4K电影 - 后花园网文 - 科技新闻

  ▲ 不同算法在视频分辨率增加上的效果 图片来自:download.co.jp

  在效果上,waifu2x 的 SRCNN(超分辨率卷积神经网络)要好于传统的双三次插值算法。

  当然,waifu2x 的算法仅能在静态图片上使用。不过方法都是相同的,madvr 中放大视频分辨率的 ngu 算法也是类似的原理。

  视频插帧

  对于视频插帧来说,神经网络也有自己的用武之地,之前英伟达发布了一个叫做 Super SloMo 的神经网络,能通过联合建模的运动解释和遮挡推理配合光流算法生成中间帧。

不止换脸,神经网络还能让你看到30年前的4K电影 - 后花园网文 - 科技新闻

  这种技术能将原本30帧的视频放慢到240帧,并在其中添加画面的运动细节。

不止换脸,神经网络还能让你看到30年前的4K电影 - 后花园网文 - 科技新闻

  华为 Mate 30 Pro 的7680帧慢动作,也是通过神经网络对1080P/960fps 的视频插帧生成的。可见类似的神经网络插帧算法确实有很高的使用价值。

  写在最后:技术是一把双刃剑

  可以看到,神经网络对图像的处理(也就是常说的 AI 图像)并不是一个很可怕技术,它是一把双刃剑,如果你用它来给视频换脸,侵犯他人肖像权,它就是不好的技术。

  但如果我们能将其用在老电影翻新、手机超级慢动作、和实时视频增强,那它就是好技术。

  或许那位翻新《火车进站》的 YouTuber,也正是想用这部电影的传奇故事告诉我们,「不要恐惧新技术的到来。」

原标题:不止能换脸,神经网络还能让你看到 1896 年的「 4K 」电影

  

爱范儿』的更多其他内容(随机显示)

01、新算法帮助司机无惧「鬼探头」

2020/1/19 15:45:42

02、AR贴近眼球,这款隐性眼镜想让视力障碍者恢复光明

2020/1/18 10:18:21

03、星巴克和 Apple Store 的控温杯卖到 1528,到底凭什么?

2020/1/15 16:30:11

04、苹果发布新春大片《女儿》,这次iPhone没有“外挂”

2020/1/12 9:30:46

05、iPhone要做无刘海全面屏实锤了?做成这事太难了

2019/12/26 7:36:49

06、苹果Google亚马逊成立智能家居组 推出统一标准

2019/12/19 9:56:34

07、你的第一台 5G 设备,很可能会装上「骁龙芯」

2019/12/14 11:12:54

08、全球首架全电动飞机首飞成功 电动航班不会这么快来

2019/12/14 11:08:26

09、卡车司机要失业:自动驾驶卡车不到3天跑了4500公里

2019/12/12 11:07:01

10、人工智能打假:莎士比亚著名作品居然是代写?

2019/12/4 10:27:38

11、三星Galaxy Note10本周发布,有什么值得期待?

2019/8/5 7:29:31

12、为游戏手机而生,红米首发,联发科发布新处理器 G90 系列

2019/7/30 20:41:45

13、无人车到底怎么送货?沃尔玛公布了多个细节

2019/7/30 14:30:28

14、微软总部有一间「人体解剖室」

2019/7/29 18:52:50

15、有人想给手机保护壳装一套物理按键

2019/7/29 12:31:53

16、仅用了 7 个月,迪士尼今年的票房收入已打破历史纪录

2019/7/29 11:43:31

17、淘宝人生成就:快速查看这些年你在淘宝上花了多少钱,下过多少单

2019/7/27 18:24:26

18、Kindle Oasis 2019 体验:快了一点,轻了一点,暖了一点

2019/7/27 16:25:09

19、第七代「黑卡」RX100 VII 上手:索尼想让你所有照片都能「拍得准」

2019/7/26 18:45:26

20、iPhone 全球顶级摄影大赛公布结果,用 iPhone SE 也能拍出世界第一

2019/7/26 17:30:24

21、三星的折叠屏手机被「救活」了,9 月重新发布

2019/7/26 11:36:14

22、时尚也要「无障碍」了

2019/7/23 20:21:02

23、国家队杀入网约车市场,T3 出行承诺高峰期不涨价

2019/7/23 19:28:04

24、荣耀 9X 上手:麒麟 810 加持,升级不小,价格还没涨

2019/7/23 17:09:31

25、iOS 12.4 更新支持无线数据迁移 / 任天堂遭玩家集体诉讼 / 新 iPhone 或搭载 120 Hz 屏幕

2019/7/23 10:21:23

26、国内阵容最强的虚拟偶像演唱会上,这些虚拟艺人不需要刷量

2019/7/23 1:42:43

27、这比蚂蚁还小的机器人,不用电就能跑

2019/7/22 14:01:15

28、OPPO Reno 巴萨定制版图赏,质感更强的「球迷旗舰」

2019/7/22 12:34:51

29、Google 准备去掉 Pixel 4 的「刘海」,方形镜头也和新 iPhone 撞车了

2019/7/22 12:32:15

30、人工智能的下一个道德挑战:如何对待动物

2019/7/20 16:03:29

31、以后在麦当劳吃开心乐园餐可能没有塑料玩具了,因为这很不绿色环保

2019/7/20 13:02:51

32、在线看小黄片产生二氧化碳量,就跟比利时整个国家差不多

2019/7/19 20:22:51

33、真无线降噪耳机哪家强?我们测了最好的两款

2019/7/19 19:04:51

34、首个获 FDA 批准的 AI 乳腺癌诊断系统诞生:能降低 39% 漏诊率

2019/7/19 18:32:10

35、手机和游戏都来到转折年代,游戏手机也需要转换思路

2019/7/18 17:36:13

36、大疆发布最便宜的如影稳定器,这次小白也能好好用

2019/7/18 15:54:36

37、新版 Switch 发布了,任天堂真的只改进了续航吗?

2019/7/18 15:38:36

38、雀巢推出一种 100% 可可果造的巧克力,不加白糖也够甜

2019/7/18 14:56:31

39、这个看起来很像电话线的「人造肌肉」能承受自身 650 倍重量

2019/7/18 14:46:06

40、世界上第六大的冰山已经「离家出走」2 年了,它正在走向消亡

2019/7/18 9:26:39

41、索尼 α7R IV 体验:一台「秀肌肉」的画质旗舰相机

2019/7/17 17:45:00

42、丰田正式参与日本登月计划,为其研发燃料电池月球车

2019/7/17 15:45:21

43、我们又拿哈苏和手机拍了一次对比,就是为了让你看清手机和相机的差异

2019/7/17 15:38:19

44、史上最接近真实的《狮子王》是怎么拍出来的?

2019/7/17 13:07:20

45、索尼迄今最高像素无反相机来了,像素高达 6100 万!

2019/7/17 0:07:16

46、牵手 BAT、拥抱三大运营商、联姻华为高通,长城汽车要干啥?

2019/7/16 23:38:19

47、扩张停不下来,Oyo 说自己已经是全球第三大连锁酒店品牌了

2019/7/16 19:26:49

48、华米推出 Amazfit GTR 系列手表,能日常使用 24 天

2019/7/16 19:16:41

49、英特尔将 800 万个神经元塞进电脑系统,比传统 CPU 快 1000 倍

2019/7/16 15:08:30

50、微软抛弃的 Kinect 摄像头,被机场拿去当监控设备

2019/7/16 13:18:42