伴随着影像分辨(biàn)率的提高,4K、6K、8K成为了今天制作和放映的常态(tài)。与此同时,那些老的影片,想要(yào)匹配到新的放映分辨率标准,也变得更加困难。
但还好(hǎo),AI技术的(de)发展,让(ràng)一切变得皆有可(kě)能。VideoGorillas研究人员使用(yòng)人工(gōng)智能技(jì)术,将大量的老片子重制到了(le)4K分辨率(lǜ)。
一种名为(wéi)Bigfoot super resolution的新(xīn)型生产辅助(zhù)AI技术,通过(guò)使用神经网络计算出低分辨率(lǜ)影片中缺失的像素,成功将电影从480p转换(huàn)成(chéng)了4K。
经典的(de)影片,重置成高分辨后重新(xīn)上映,这样的技术能够让观(guān)众在一(yī)个全新的视觉(jiào)体验中,重温(wēn)旧(jiù)时的感动。
在传统的影片重置流程中,大量的工作都需(xū)要人力完成(chéng),这即花(huā)钱又费时。VideoGorillas公司开发的人工(gōng)智能增强(qiáng)解决方案,能够用更低的成本(běn)实现超出预期的(de)分辨率(lǜ)视觉(jiào)感受。
一种新的解决方案: Bigfoot Frame Compare
总部位于(yú)洛杉矶的 VideoGorillas,是(shì)一家结(jié)合了(le)机器学习(xí)、神(shén)经网(wǎng)络、视觉分(fèn)析、对象识别和实时流媒体技术的先进媒体技术开发商,这家公司(sī)与(yǔ)与(yǔ)好莱(lái)坞各大电影制片厂合作紧密。
VideoGorillas在2018年(nián)9月宣布,其研发的(de)Bigfoot Frame Compare系统(tǒng),将重新定义电影、电视和后(hòu)期制作公司管理(lǐ)资(zī)产、整理、重(chóng)新布置(zhì)和保存项目的方式。
Bigfoot通(tōng)过在一系(xì)列图像中找(zhǎo)到类似“兴趣点(diǎn)”的(de)共同(tóng)点,来自动执行手工(gōng)劳动密集(jí)型的处理(将(jiāng)原始胶片帧与最终编辑的作品相匹(pǐ)配)和比较处理(将不同胶片剪(jiǎn)切之间的(de)独特或共同(tóng)帧进行比较)。
2018年11月,VideoGorillas宣布Netflix公司将于2018年11月2日(rì)在影院和网上发布电影《风(fēng)的另一面》,这(zhè)是(shì)由著名导演奥逊·威(wēi)尔斯执导的最(zuì)后一部未完成的电影。
这(zhè)部影片(piàn),使用了(le)VideoGorillas公司的人工智能(néng)(AI)驱动的Bigfoot Frame Compare 框架(jià)对比技术。
每秒分析1200万帧(zhēn)
《风的另一面》对(duì)电影(yǐng)制作人和 VideoGorillas来说都是了一个挑战,因为它是(shì)一项混合了电(diàn)影修复和全(quán)新介质发行的工作。这(zhè)部拥有40年历史(shǐ)的影片(piàn),有100多个(gè)小时的素材(cái)。
制片人Filip Jan Rymsza说:“在完成(chéng)《风的另一面》的(de)时候,我(wǒ)们面临着(zhe)一个(gè)非常重大(dà)的挑战。”
“我们收集了不(bú)同(tóng)来源的3.5小时的(de)参考剪辑,我们必须把它与100小时的胶片扫描相(xiàng)匹(pǐ)配,包括16毫(háo)米、35毫(háo)米的底片和35毫米的正(zhèng)片。
传统工作流程(chéng),助理剪辑(jí)需要对应参(cān)考完(wán)成剪辑(jí),但有些画面会从16mm放大到(dào)35mm,或者放大并重新定(dìng)位,或者折边,或者(zhě)从彩色底片上(shàng)用黑白打印出来(lái),这使得人的肉眼很难做(zuò)好匹配。
如果没有VideoGorilla的人(rén)工智(zhì)能(néng)技术完成(chéng)这些精(jīng)确的匹配,我们的(de)剪辑(jí)团(tuán)队可能需要几个(gè)月的时间才(cái)能(néng)完成,而VideoGorilla在两周内完成(chéng)了这项艰(jiān)巨的(de)任务。
通过扫描《风的另(lìng)一面(miàn)》的(de)胶片片段,我们得到了900多万帧。由于Bigfoot 最初是基于cpu的软件,VideoGorillas又开发(fā)了一个实验性的gpu版本(běn),这(zhè)让洛杉矶办公(gōng)室的一台机(jī)器,能够完成通常需(xū)要200-300台服务器的工(gōng)作。
在摄取了视(shì)频两天之后,GPU只花了三天时间来(lái)分析这段视频,在峰值加载时, Bigfoot每秒要分(fèn)析1200万(wàn)帧。
Bigfoot super resolution(分(fèn)辨(biàn)率提升系统)
现在,VideoGorillas有(yǒu)了另一项技术,它融合了(le)基(jī)于NVIDIA CUDA-X和Studio Stack的人(rén)工(gōng)智能技术(shù)。通(tōng)过集成gpu加速(sù)的深度(dù)学习和(hé)计算机视觉,允许制(zhì)作公司在重置影片时,获(huò)得更高的视觉保真度。
这(zhè)种技术通过使(shǐ)用(yòng)神(shén)经网络来预测缺失的像(xiàng)素,从而将电影从480p转换为4K,这些(xiē)像(xiàng)素(sù)质(zhì)量高得令人难以置信(xìn),让原始内容几乎与4K电影一样出现。
“Bigfoot Super Resolution采用英伟达RTX技术,专注于解决提供目前传统方法,无法(fǎ)实现的(de)视频质量和操作效(xiào)率提升。
“我们非常高兴能将这个解决方案(àn)推(tuī)向市场,并希(xī)望帮助我们的电影和电视合作伙伴,在他们的(de)内容库中,找到(dào)重(chóng)换生(shēng)机的影片”。
如何在重置影片的同(tóng)时,保留艺术创作意(yì)图(tú)?
有趣(qù)的(de)是,AI在影片重置工作中,除了提(tí)高生成效率(lǜ)和减少时(shí)间成本以外,居(jū)然还能够发挥出创造性的作(zuò)用。
VideoGorillas的研究团队为每个项(xiàng)目训练了(le)一(yī)个独特的递归(guī)神经网络(RNN),由NVIDIA gpu加速。机器会(huì)学习(xí)同一时代、同一类型、同一制作方法创作的作(zuò)品(pǐn)的(de)特(tè)点。然后保持了那个时代(dài)/流派的外观和感觉,从而保留了艺术意图(tú)。
“我们正在为基于人工智能技术的,电影和电(diàn)视影像(xiàng),创(chuàng)造一(yī)个新的视觉感受(shòu)。我们训练(liàn)AI去除各(gè)种干扰视觉的画面元素,同时了解正(zhèng)在重置影片的(de)时代、流派和媒介。利(lì)用这些(xiē)AI技术,我们可以(yǐ)提高影片质量,保持影片的原(yuán)汁原味的视觉外观和感受。
generative adversarial networ(GAN)系统用于去除低(dī)分辨(biàn)率(lǜ)区域中不需要的噪声和伪影,同(tóng)时用新的(de)图像合成(chéng)和升级来替代它们(men)。
这些(xiē)AI都(dōu)是使用(yòng)Pytorch在CUDA和cuDNN中训(xùn)练,由(yóu)于每部影片(piàn)有数百万张(zhāng)图像,处理(lǐ)量(liàng)非常大,所以VideoGorilla集成了DALI (NVIDIA Data Loading Library))来加快训练时(shí)间。
Nvidia RTX驱动的人工智能技术
想要(yào)实现这种由AI完(wán)成的视觉(jiào)新(xīn)水平,只能通过NVIDIA RTX。该(gāi)RTX的混合精度和分布式(shì)工(gōng)作流的性(xìng)能比CPU提高了200倍。VideoGorillas用(yòng)RTX2080和Nvidia Quadro为更大(dà)规(guī)模的项目培训超分(fèn)辨率AI。
Nvidia框架能够(gòu)使 VideoGorilla将super-re超分辨率应(yīng)用于HDR,高比特深度(dù)视频,以及高达8K分辨率,并实(shí)现更快的(de)光(guāng)流性能。
纯粹使用CPU来计算,4K和8K视频的超(chāo)分辨率(lǜ)真的不可行,速度太(tài)慢了。VideoGorillas首席技术官亚历克斯·朱可(kě)夫说:“Nvidia GPU确实是实现高分辨率(lǜ)、高(gāo)图(tú)像(xiàng)质量(liàng)的唯一(yī)选择。”
在Prem解(jiě)决方案中,他们(men)还可以使用Nvidia Kubernetes将工作负载(zǎi)扩(kuò)展到(dào)云端(duān),在本地数据(jù)中心以及Amazon Web服务和Google云(yún)平台中运行。从而(ér)实(shí)现更(gèng)加(jiā)强大(dà)的运算(suàn)能力。
AI技术看似遥远,实(shí)际上已经在影视行(háng)业,已经得(dé)到了越来越多的应用。
就拿所谓的AI分(fèn)辨率增强来(lái)说(shuō),类似的技术在很多(duō)后期软件(jiàn)中,也(yě)得到了应用,比如达芬奇16神经网络引(yǐn)擎(qíng)实现的Super Scale素材(cái)分辨率上变换,也实现的类似(sì)的效果。
所(suǒ)以,伴随着这些科技公司,对于AI在影(yǐng)视领域的应(yīng)用探索,在以(yǐ)前看来很(hěn)多不可能实现的事情,现在都变得(dé)明朗起来。
与(yǔ)此同时,技术(shù)的(de)进步也在为艺(yì)术的创作(zuò),带来许多的(de)新的可(kě)能性。