猎云网注:生成器是试图伪造的AI,而鉴别器是识别伪造的AI,生成器最初多次生成图像,但都会被视为伪造的。不过,随着生成器的学习量越来越多,伪造也就变得越来越复杂,最后,辨别器也难以发现。文章来源:大数据文摘,ID:BigDataDigest,编译:刘俊寰
可能说起日本动画,大家首先想到的都是宫崎骏。别的不说,一部《千与千寻》就担得起当今日本动画大师的美誉,更别提《千与千寻》还是迄今为止欧洲三大电影节唯一登顶的动画电影,为日本动画走向世界做出巨大贡献。
其实,宫崎骏在选择动画这条路之前,曾说过一句话,“我知道在漫画上无法超过他,所以我选择了动画”。
是不是有点纳闷,到底是谁居然能让宫崎骏直言“比不过”?
名字可能让很多年轻人表示陌生,但是他的作品你一定看过,或者至少听过——《阿童木》,就是由他的动漫原作改编而成的动画,没错,他就是手冢治虫,这个到现在为止日本漫画和动画业还普遍把他定义为开山鼻祖和神的男人,凭一己之力奠定了整个日本动漫的运行模式。
可惜的是,1989年2月9日,手冢治虫因胃癌在画桌上赶稿中逝世,终年60。据坊间传闻,手冢治虫在去世前还握着画笔,喃喃自语道,“给我铅笔”,足以见这位日本漫画之神对漫画的热爱。
在手冢治虫去世的这31年时间内,人们通过反复观看阅读他的作品表达对他的怀念。
现在一个好消息是,这位神一样的男人,已经推出了他的“新作”!手冢治虫的新作《Paidon》在讲谈社周刊《Morning》13号(2月27日发售号)上已经刊登了前篇。
手冢治虫的新作可不是由本人完成的(真是那还得了),而是要得益于日渐成熟的AI技术,《Paidon》的推出也意味着由东芝主办、一直保持神秘的“TEZUKA2020”计划正式启动。
参与手冢治虫的“复活”项目的庆应义塾大学理工学部栗原聪教授,近日在接受采访的时候深入分享了“复活”手冢治虫的前因后果,和文摘菌一起来看看吧~
挂着手冢治虫名号的《Paidon》讲了个什么故事
首先,我们还是先来了解一下《Paidon》讲了个什么故事。
故事的设定是在未来的东京,2030年的日比谷。
那个时候,不要说无人驾驶,就连空中也有了无人宅急送,人们的个人信息被管理着,手机和钱包都不再被需要,犯罪和事故发生的概率都大幅减少。
这样的时代中,在都市中心过着流浪汉生活的Paidon失去了记忆,但他并不孤独,名叫“阿波罗”的小鸟机器人和名叫“预言者”的人型机器人都是他的朋友。
一天,有两个姑娘向Paidon提出了一个请求,希望Paidon可以帮助她们“寻找失踪的父亲”,在两个机器人的陪伴下,寻找之旅很快就开始了。
“记忆让我们继续前进”,再创作手冢治虫的契机
栗原教授在电信大学时就参与到人工智能尖端研究中心的建设中,担任中心人物,大学毕业后常年从事人工智能技术研究。借着以深度学习为契机爆发的第三次AI热潮,栗原教授将研究扩展到机械学习,并把研究目标确定在了通用人工智能(AGI)的研究上,进行着群智能和多代理等的研究。
关于“TEZUKA 2020”计划,栗原教授介绍道,这是东芝株式会社的一个项目,以“记忆让我们继续前进”为理念,致力于将故亡人遗留下来的某些东西最大化地利用,手冢治虫的作品也毫无疑问地加入在这个项目中。
2020年2月9日是手冢治虫逝世30周年纪念日,作为日本漫画的先驱,可以说,没有手冢治虫也就没有现在日本的动漫文化。为了创造出新的漫画作品,借助AI技术,得以对手冢治虫过去的作品进行灵活运用,这就是“TEZUKA 2020”的初衷。
《阿童木The Beginning》于2015年1月开始在《月刊Hello Rose》上连载后,松原仁教授(未来大学)、山川宏(旧DOWANGO人工智能研究所前所长)、松尾丰教授(东京大学)和栗原教授,共四位AI研究人员,就开始了对其进行技术修复的工作,也是在那时和手冢制片公司有了初步接触。
两个AI,创作手冢风格的新漫画
这次推出《Paidon》,故事情节的制作和角色塑造没有人工参与,而是完全依赖于两个AI系统,我们来看看它们分别起到什么作用吧。
故事梗概制作:3个单元可分出13个阶段
栗原教授表示,他们想实现的是,通过情节的起承转合让故事得以完美收尾。
在“TEZUKA2020”中,AI制作的剧本也不是都十分精细,毕竟AI不是100%没有人的参与,在某种程度上,是人们在一边利用AI,一边参与作品的创作。而且不管在哪个方面,现在的AI技术在现实中都还远远不可能达到不依靠人的地步。
因此,在这个项目中,他们重点关注的是“剧本原本就枯竭了”的情况,比如社交游戏和电视剧,最近自己投资进行制作节目的Netflix等公司,他们就有着各种各样的作品。
说到剧本作家,这个职业远没有看上去的滋润风光。在栗原教授团队和专业剧本作家一起研究的过程中,他们发现,人类创作的剧本缺少变化。虽说是专业的剧本作家,但并不是能写出不同风格的剧本,一个人能创造出来的东西实际上是有限的。
栗原教授表示,如果剧作家不能在剧本中创作出足够多的变体,那么故事的整体走向就会变得十分雷同。
而根据剧作家的说法,如果故事有了大纲,那么再往里面填充具体的情节就相对而言容易了许多。因此,栗原教授团队决定接受这个提议,使用AI来创作故事的主要情节。
在具体的操作环节上,故事必须保持一致的基调和画风,尤其是在起承转合的部分。因此他们对各种相关文献进行了研究和参考。
例如,下图所示,故事的发展分为“开始”、“展开”和“结束”三个大的阶段,其中根据“日常生活”和“偶发事件”等因素又可以划分出13个小的单元阶段。
大部分的影视作品,例如电影,都包含了这13个部分。也就是说,只要掌握到了这种情节的划分方法和走向趋势,创作出一个有特殊意义情节的完整故事想必也不会是什么难事。
当然,也不是说一定要固守这13种方法,或者说在一个影视作品种就一定要使用所有13种方法,有些剧本作家在实际创作的过程中会省略某些步骤,或者将重心放在具体某一个步骤上,以展示其个性。
因此,为了学习如何创作出一个看起来像手冢治虫情节的故事,不仅对手冢治虫先前作品的台词进行了研究,还抄写下了不少展开的部分,就像抄写小说那样。
除此之外,栗原教授还要求手冢治虫的制作公司总结一下其作品的所有角色特点和设置。可以想见这是一个非常艰巨的要求,但制作公司很快做出了回应。于是,研究团队就能够提取手冢治虫过去创造故事的精华部分,利用其进行创作。
栗原教授还说到,他此前去听了手冢真的一次演讲,发现在手冢治虫的作品中,有很多男孩和女孩,他们经常具有某种能力,上述的13个阶段并没有完全得到使用,有些故事也没有很好地收尾。
研究团队也就没有局限在一定要用13个阶段重新设计故事大纲上,毕竟这也存在一定的技术难题。在手冢制片公司的帮助下,一些小部分被收集到13个盒子中,方便后续取出使用。最简单的想法,就是从13个盒子中随机进行抽取,只要是按顺序排列这13个盒子,它至少是随机的。虽然这种方法是有可行价值的,不过如果一旦有角色死亡,在稍后的情节展开中会出现细微的矛盾。
最终,研究团队决定进行校正,保持最低程度的情节一致性。另外,在了解了手冢治虫的喜好和惯例之后,就可以根据他喜欢的属性、能力、性别等进行角色设定。
在创作情节时,还使用了概念词典,即使手冢治虫过去的作品中没有包含这些单词,但也可以使用从其作品中使用的单词推断出可能使用的新单词,这样也可以扩大情节的部分数量。
在项目完成后,团队将作品送往手冢制片所确认,在审阅完毕之后,剧作者立即对骨干情节进行了扩展,用了数十个喜欢的作品进行填充。毕竟这只是一个种子,剧作家的想象力还是十分惊人的。
“针对这样的情节,把自己想象成主人公,然后会觉得,故事在这样的背景下还蛮不错的。到现在也很惊讶这个项目已经完成了。”
在几天之内,要制作出一个有着成百上千个不断变化的剧情简介,即使是对于专业剧作者来说,这是一项艰巨的任务。
而人工智能之所以有用,是因为可以帮助养育人们心中想象的种子,就像这次,利用AI创作情节十分有效地刺激了人类的想象。不过,人类本身也不是完美的,需要考虑的是,在哪个步骤上,人类能够发挥最大的作用。
因此,如果有一个可以向后退一点的基础,那么也许可以发挥出增强人类初始的想象力。“我认为人类和AI之间的这种关系可以在各个地方使用,不仅仅是这次。”
角色生成:从deepfake到转移学习
据说手冢治虫的作品共计700种书名、约15万页。
很多人都认为,对于AI来说,数据越多越好,因此乍一看,利用AI来创作角色的话,效果也不会很差。
但栗原教授指出,现实情况并非如此。研究团队使用的是最新的深度学习技术,也就是近两年很流行的GAN,这是一种生成模型,它使用两种类型的AI(生成器和鉴别器)生成图像。
生成器是试图伪造的AI,而鉴别器是识别伪造的AI,生成器最初多次生成图像,但都会被视为伪造的。不过,随着生成器的学习量越来越多,伪造也就变得越来越复杂,最后,辨别器也难以发现。
利用该机制,就能创建各种图像,例如,下图就是这些脸部图像看上去很像真实的偶像,但实际上它们都是虚构。
最终研究团队决定使用deepfake的技术来创作角色,但是最初它们并没有这个想法。
栗原教授回顾到,deepfake在互联网上早已成为热门,它可以创造出成千上万的人脸图像供机器和人学习。但是,他们要做的是创作一个带有手冢治虫风格的人物角色,出于这点考虑,他们还研究了能否通过将手冢治虫的角色转换为数据来创建新角色。
如果经常看deepfake创造出来的面部图像,会发现它们大多数都很美丽,位置关系也大致相同,因此能够裁剪出漂亮面孔的图像作为数据。
但是,如果是漫画的话,角度什么的都会和帧数直接挂钩,比如在一个对决场景下,角色会四处移动,几乎不可能直接从正面整齐地进行绘制。
在好奇心的驱使下,栗原教授尝试了用此技术来创作漫画角色。他表示,手冢制片厂扫描了手冢治中的作品,将这些数据寄给了他们,他们从其中切出了面部图像。但是效果并不尽如人意,即使这是一张脸部图像,被切出后发现没有出现人脸直视前方的图像。因此,就目前而言,即使是不同角度,也要去学习所有看起来像脸的图像。
这完全看不出来是一张脸,在图像中几乎看不到头发的位置和耳朵和眼睛的形状。
不过,既然选择了这条路,就只能从数据入手不断学习了,他们后来收集了看上去还不赖的角度图像,将其数据化后,以进一步增加数据量。
大概就变成了这样:
能看出有脸的轮廓了,不过,他们已经清楚的是,仅使用手冢治虫作品中的面部数据还远不能创作出漂亮的面部图像。也就是说,仅使用手冢治虫作品的角色面部数据是不可能生成新角色的。
即使脸部信息是完全崩坏的,只要相关的作品问世,手冢制片公司也会承认这是具有手冢治虫风格的作品。
在这种情况下,研究团队决定使用其他方法,用以揭示隐藏起来的手冢治虫特征数据,这就是转移学习,一种可以利用一个领域数据建构另一个领域的模型的学习方法。
要创建逼真的面部图像其实也不算特别困难,毕竟世界上,成千上万的面部图像可供使用。团队希望的是,在此基础上学习手冢治虫角色的特征,然后创建出稳定的角色面部图像。
在采用这种方法的过程中,AI团队成员之间的讨论十分有意义,这也进一步突出了团队合作的重要性。
下图就是经过反复试验最终诞生的角色形象,在其中不仅可以看到手冢治虫的角色特征,还可以看到清晰的脸部轮廓:
人类和AI的关系可以再深化
栗原教授在推广使用AI进行故事创作和生成角色的同时,也表达了他对人类与AI合作的未来的期待。
他表示,实际在创作角色的过程中,能够发挥自己的想象力做出选择。但一切从头开始制作十分困难,其中就包括了很难从手冢治虫角色在内的大量面部图像中进行选择。同时,在这个项目中,他们先敲定了故事大纲,从大纲出发进行角色想象时,就必须要对角色进行选择。
其实,不用从零开始,在审阅了许多成品后,你可以发现有没有相关的内容,以此为基础进行想象力的延展,甚至尝试组合多个图像。
栗原教授认为,在这个过程中,想象力让他再次感受到了人类的伟大。此外,人的神奇之处在于还可以从AI生成的面部图像中得到启发,人类和AI的关系也可以由此更深一层。