快捷搜索:  汽车  科技

ai修复纽约100年前的影像:AI修复老北京影像火了

ai修复纽约100年前的影像:AI修复老北京影像火了第一是补帧技术。老片子年代比较久远,原版是一个像默片一样的超快速播放视频。“所以我需要把它拉成一个常规时速播放的视频,但这样会产生卡帧问题,视频片段就会很不连贯。这时候就需要人工智能来生成一些帧数,使画面更加流畅。”大谷表示。这段视频实际上用了三种人工智能技术来完成。视频创作者大谷是一位旅居纽约的独立艺术家、独立游戏制作人。他一直在B站做科普类视频,比如向网友介绍如何绘画、作曲等。近两年,他开始做人工智能技术方面的科普,每期视频会介绍人工智能技术方面的工具,并教网友如何去使用它们。大谷介绍,该视频来源于人民日报四年前发布的资料影片拍摄。修复影片是大谷进行的一项探索性学习,这次的老北京影片修复是他在AI修复上的一个成果展示。“向大家介绍AI修复前,我都是结合海内外的一些教程边学边做,学会并做出来之后再介绍给大家。未来我还会再出一些视频,进一步介绍AI修复所使用的工具。”大谷说。

近日,一则利用AI技术修复100年前老北京影像的视频火了。它是如何创作出来的?创作者是谁?AI修复技术还能应用在哪些领域?传播君采访到了视频创作者本人及相关专家,一起来看!

喧闹的街道、熙攘的人群、来往的马车......100年前老北京的市井生活竟然真实地出现在我们面前。

经过修复的视频,人物面目清晰、动作流畅。见面问候、街头买卖等场景贴切真实。

意外火爆背后:有哪些技术含量?

视频创作者大谷是一位旅居纽约的独立艺术家、独立游戏制作人。他一直在B站做科普类视频,比如向网友介绍如何绘画、作曲等。近两年,他开始做人工智能技术方面的科普,每期视频会介绍人工智能技术方面的工具,并教网友如何去使用它们。

大谷介绍,该视频来源于人民日报四年前发布的资料影片拍摄。

修复影片是大谷进行的一项探索性学习,这次的老北京影片修复是他在AI修复上的一个成果展示。“向大家介绍AI修复前,我都是结合海内外的一些教程边学边做,学会并做出来之后再介绍给大家。未来我还会再出一些视频,进一步介绍AI修复所使用的工具。”大谷说。

这段视频实际上用了三种人工智能技术来完成。

第一是补帧技术。老片子年代比较久远,原版是一个像默片一样的超快速播放视频。“所以我需要把它拉成一个常规时速播放的视频,但这样会产生卡帧问题,视频片段就会很不连贯。这时候就需要人工智能来生成一些帧数,使画面更加流畅。”大谷表示。

ai修复纽约100年前的影像:AI修复老北京影像火了(1)

第二是上色技术。通过使用DeOldify这个工具,可以完成黑白影片和彩色影片之前的色彩转换。但大谷表示,该工具对历史还原的准确性还不够高,还需要不断完善。

ai修复纽约100年前的影像:AI修复老北京影像火了(2)

第三是分辨率扩增技术。该技术可以把低分辨率视频变成高分辨率视频。大谷透露,在这次AI修复中,他并没有全部使用分辨率扩增技术,因为这项技术比较消耗硬盘和显卡,所以他只在一些关键的地方,比如视频的封面使用了这项技术,但最后取得的效果也不错。

在视频发布之初,大谷并没有预料到自己的这个视频会这么火。

对于视频为何会引起广大网友的共鸣,大谷认为:“是因为里面的很多镜头很打动人,有很多屏幕内外对视的片段。比如视频中有100年前的古人看着屏幕的画面,他们的表情各异,有迷茫、有好奇......当100年后的我们和画面中的古人对视的时候就有一种跨越时空的感觉,好像穿越了一样。”

创作者心路历程:从游戏开发到人工智能

谈及创作初衷,大谷表示:“做人工智能相关的科普,是为了让大家去了解人工智能不是高高在上的东西,它其实很贴近我们的生活,可以利用它做出很多可应用的东西。”

在此次AI修复的视频中,大谷并没有止步于对视频进行单纯的上色,凭借自己游戏制作和作曲音效的经验,他还选用了许多北京历史民俗文化录音数据,包括两位京韵大鼓表演艺术家闫秋霞和骆玉笙的音乐作品,为复原的影片加上了背景声效。音乐音效与画面达到完美契合,这符合大谷游戏的制作理念。

大谷表示,如果把游戏定义为一个艺术品,程序决定骨架,美术决定皮肉,音乐给予氛围,游戏设计者赋予灵魂。所以在做任何创作的时候,他都在遵循这一理念。

一开始接触人工智能,大谷并不是“有意而为之”,而是为了提高自己游戏开发工作的效率。

“因为我是自己一个人在做游戏开发,所以我就在思考人工智能是否能够为我的工作节省时间。通过了解后发现,人工智能不仅可以使游戏开发的过程更简便,还可以在社会公益等其他领域有更广泛的应用,所以我才开始做了一些关于人工智能的科普视频。”大谷说道。

在与大谷的聊天过程中,传播君感受到他的涉猎十分广泛。除了游戏开发和AI修复,他在作曲和其他艺术开发方面也均有作品。可见,对新鲜事物永葆热忱和好奇心,便会迸发出无限的想象力。

大谷表示,未来,他会依然在影像修复、游戏开发以及艺术创作上深耕,争取做出更多更好的作品。

AI修复,未来有哪些新空间?

影片修复技术是人工智能发展到现在的一项十分重要的应用。

在中国传媒大学新闻学院教授沈浩看来,人工智能在视频、图像、语言、文字、声音的处理方面都有了极大进展,而这些进展主要集中在视频和图片领域。原则上来讲,对于视频和图像的处理我们可以把二者都归结于图像的处理,因为任何视频都是由一帧一帧的图像制作出来的。

对于此次百年前老北京影像的修复视频,沈浩认为该视频并不仅仅只是将视频编辑出来,还加了配乐,这让整个视频有了一个完整的故事。

沈浩表示,从技术角度来讲,AI修复有三个层面:科学、技术、工程。“科学”就是在AI修复领域已有人进行了相关科学研究,写成论文并公布了相关的代码,这些公开的代码可以供所有人使用,这是一项通用的技术;“技术”就是看谁能够依据已公布的共享代码,通过调整参数做出更有意义的创作;“工程”就是指利用AI修复技术进行批量的修复工作,比如一些历史资料馆或电影公司对过去历史文献、历史影像进行批量修复工作。

“目前来看,我们的AI修复技术还停留在技术层面进行探索试水,没有上升到‘工程’层面。”沈浩表示。

此外,沈浩认为,AI修复除了需要有艺术方面的再创作,还需要有GPU高性能电脑。有高性能的硬件,才能保证AI修复技术的实现。

在应用层面,AI在视频画质修复和增强方面的能力曾为一些经典老片带来了新的流量。

阿里巴巴资深技术专家江文斐曾在接受《中国经济周刊》采访时表示:“有很多用户到视频平台是来看老片子的,但我们也发现,很多用户看了几分钟就走了,因为画面太糊了,体验感不好。修复老片就是希望用户因为内容而来,但不要因为画面不清晰而走。”

江文斐透露,在优酷平台上,修复类的视频播放量增长非常快,还因此吸引了大量新会员。这其实已经从商业上证明了技术能够带来新价值。

沈浩提到,当一张照片可以实现上色、升频的时候,很多人会把家中老人的老照片拿出来修复,使之成为一个纪念。而对于一些博物馆、历史资料馆来说,将黑白的或受损的影像资料进行批量修复,是AI修复技术未来可以广泛应用的领域。

此外,通过AI修复技术,沈浩还引申到AI图像视频处理技术的另一大类型——视觉编辑和修改。他表示,除了上色、增强画质、修复有损视频之外,AI还可以实现视频风格的转变、视频背景的去除等功能。

一次与古人的对视再次引发了人们对于AI修复技术的更多想象。相信在不久的将来,科技会给我们带来更多的惊喜与感动。

猜您喜欢: