钛媒体APP - 不会跳舞的歌姬不是好AI?腾讯AI Lab推出唱作人“艾灵”

上一篇(左方向键) 下一篇(右方向键) 回目录(回车键) 粗体(B键)  正常(N键) 随机浏览(S键)   浏览次数:32    发布时间:2020/6/1 20:22:01   出处:钛媒体APP   
不会跳舞的歌姬不是好AI?腾讯AI Lab推出唱作人“艾灵” - 后花园网文 - 科技新闻

  图片来源@B站AI艾灵形象

  六一儿童节这天,腾讯AI“艾灵”正式宣布出道。

  AI“艾灵”诞生自腾讯AI Lab的实验探索性技术项目——AI 数字人。钛媒体曾在报道《“复活”马丁·路德·金,数字人时代已经被点亮》中介绍过该项目,该项目的目标是计算机视觉、语音/歌声合成和转换、图像/视频合成和迁移、自然语言理解等多模态AI能力融合,生成可交互内容,并打造出拟人度较高的智能数字人。在应用上,该项目主要为了推进AI在虚拟偶像、虚拟助理、在线教育、数字内容生成等领域的应用。

  此前,该实验室还推出过电竞解说“天鹅静”等虚拟人,相比起“天鹅静”,艾灵更“擅长”感情充沛的歌唱、跳舞。AI艾灵与她的“师傅”龟娘合唱曲目《下山》、唱跳《你最最最重要》等视频也正在陆续登陆B站。

  六一这天,艾灵与王俊凯与雄安孩子共同推出的新歌《点亮》。新歌与众不同的地方是,在H5界面,用户仅需选取几个关键词,艾灵就能基于此创作歌词并完成演唱。本次艾灵能与王俊凯一同创造歌曲,则主要依托了AI Lab两项最新研究成果:DurIAN个性化歌声合成和歌词创作模型SongNet。

不会跳舞的歌姬不是好AI?腾讯AI Lab推出唱作人“艾灵” - 后花园网文 - 科技新闻

  艾灵可依据选取关键词作词演唱

  DurIAN声学模型,让AI学会人类歌唱技巧

  早期的自动合成语音听书软件,使用的是最原始的机器合成语音,即直接将各个字词的发音生硬地拼接到一起,没有人类在自然说话和唱歌时自然起伏的韵律。

  但现在随着机器学习技术的发展,合成语音的拟真度也取得了进展,通过机器学习过程,AI也逐渐学会了人类唱歌的技巧,比如唱腔的时长、发音的停顿以及何时该有高音等等。基于DurIAN声学模型,艾灵的歌声合成要经过以下三个步骤:

  

首先,研究者以音素为基本发音单元将任意歌曲描述为一连串音素的序列; 然后通过分析歌谱,从文字、旋律、节奏等多个维度分别提取和预测词曲中每个音素的发音、时长、停顿、音高、风格和演唱技巧等特征; 最后使用由真人(中国网络声优龟娘)演唱的歌声训练得到的深度神经网络声学模型和声码器模型,合成出与真人声线高度相似歌声音频。

不会跳舞的歌姬不是好AI?腾讯AI Lab推出唱作人“艾灵” - 后花园网文 - 科技新闻

  艾灵的歌谱分析过程

  在机器合成歌声方面,初音未来等虚拟偶像实质上并不是人工智能的产物。而是通过“机器合成+人工调教”的模式,如果缺乏了人工调教的过程,虚拟歌姬的演唱只是一堆电子音的集合,而不会有富有感情的歌唱技巧。

  在贴吧中,有网友曾吐槽“洛天依很难调教,因为需要一个音一个音去修改”,现在基于DurIAN声学模型,AI可以取代人工调教的艰难过程,让AI直接学会人类的歌唱技巧。

  腾讯AI Lab在端到端语音合成模型DurIAN基础上进行修改,加入基频信息、说话人信息和语言信息来进行歌声合成的声学模型建模。该模型不仅可以从人的说话数据直接训练出唱歌模型,还可以实现跨语种歌声合成,比如用英文说话人的声音合成中文歌声。

  对于应用与前景,腾讯AI Lab表示,"这项技术可以用于降低歌曲制作过程中录音环节的成本,更可以用于打造虚拟偶像,成为广大专业和社区音乐人的制作工具。"

  除了 AI 歌声合成技术之外,腾讯 AI Lab 还在研究数据量极小和录音质量差条件下的歌声合成。

  歌词创作模型SongNet:为你写歌

  在H5中,艾灵可以根据命题创作歌词,这是基于腾讯AI Lab最新研发的歌词创作模型SongNet。该深度学习模型最大的特点是可以给定任意格式和模板来生成相契合的文本。

  不过,当前艾灵只能根据系统提供的关键词生成基础歌词并合成歌曲,还未能实现自由创作。

  腾讯AI Lab表示,这是因为艾灵使用了基于数据依赖型的深度学习方法,腾讯将继续探索自动化音乐合成及基于全新乐曲自动生成歌词模板再自动填词的新方法。

  腾讯AI Lab以陈奕迅的《十年》做了次改词实验,设定这首歌词的格式,通过SongNet重新配词,可以保证格式不变,并根据原来的曲谱进行演唱:

  

原歌词:十年之前/我不认识你/你不属于我/我们还是一样/陪在一个陌生人左右/走过渐渐熟悉的街头 新配词:夜深人静/思念你模样/多少次孤单/想伴在你身旁/是什么让我如此幻想/为何会对你那般痴狂

  该任务的挑战在于既要生成跟格式一致的文本,又要保证句子的整体性,还要有歌词的韵律以及美感。

  SongNet模型的基本骨架是一个基于Transformer的自回归语言模型,腾讯AI lab表示,他们针对格式、韵律、句子完整性设计了特殊的符号来进行标识和建模。通过局部和全局两种注意力机制达到了对上下文语义和格式同时建模的目的。

不会跳舞的歌姬不是好AI?腾讯AI Lab推出唱作人“艾灵” - 后花园网文 - 科技新闻

  SongNet 模型框架

  此外,SongNet 也采用了类似于 BERT 和 GPT 的预训练和微调范式,通过在大规模文本语料的预训练和歌词语料的微调过程,可以进一步提升模型生成歌词的质量。

不会跳舞的歌姬不是好AI?腾讯AI Lab推出唱作人“艾灵” - 后花园网文 - 科技新闻

  SongNet 根据给定格式填词(宋词和十四行诗)

不会跳舞的歌姬不是好AI?腾讯AI Lab推出唱作人“艾灵” - 后花园网文 - 科技新闻

  SongNet 根据给定内容局部补全精修

  生成好的歌词会提交给歌声合成模块,再与对应乐曲进行融合,就能完成唱作的过程。

  腾讯AI Lab表示,由于此次同时设置了上下文约束和蕴含特定关键词的限制,所以会在一定程度上降低模型生成歌词的逻辑性和连贯性。未来一方面会持续增强模型对歌曲主题和情感的感知度,另一方面也会设计模型策略来进一步提升生成的歌词的逻辑性、连贯性以及优美度。

  谈及应用,除了本次六一献唱,未来艾灵还能借助腾讯AI Lab研发的王者荣耀游戏解说生成模型来生成游戏解说词,再通过语音合成实时生成生动活泼的解说。

  (本文首发钛媒体App,作者/芦依,编辑/宇航)

  

钛媒体APP』的更多其他内容(随机显示)

01、网易启动香港首次公开发行,全球新发行逾1.71亿股普通股 钛快讯

2020/6/1 19:02:29

02、明星去直播并不是降维打击

2020/6/1 16:54:07

03、翻车现象变少,罗永浩是个好主播了吗?

2020/6/1 15:14:10

04、逃得出游戏,逃不出生活

2020/5/31 14:17:43

05、Roguelike款款惊爆市场,可你真的了解吗?

2020/5/30 10:39:13

06、从高端走向平民,这位蔚来前高管想让每个人都玩得起赛车

2020/5/30 8:40:42

07、Alibaba Founder Urges Youth to Find Path for China-U.S. Cooperation

2020/5/30 5:31:32

08、有颜值有科技,奥迪Q3轿跑正式上市 一线车讯

2020/5/29 21:26:18

09、睡眠学习,从不靠谱到有点靠谱

2020/5/28 19:08:25

10、钉钉F1视频会议一体机体验:更适合中小型企业的“全能型选手”

2020/5/28 11:02:28

11、除了买房,投资房地产还能怎么做?

2020/5/28 9:43:01

12、RedmiBook 14Ⅱ锐龙版评测:AMD+Redmi=极致性价比? 钛极客

2020/5/28 7:08:37

13、Huawei CFO Loses Bid to End Extradition Procedure

2020/5/28 5:05:13

14、【书评】投资的怪圈:成为洞察人性的聪明投资者

2020/5/27 19:18:28

15、Android市场为何等不来爆款小屏手机?

2020/5/27 12:15:29

16、拒绝碳水的生酮饮食市场,存在哪些机会?

2020/5/27 11:18:24

17、不断加码的AirPods,承载了苹果怎么样的野心?

2020/5/27 7:35:56

18、Chinese Firms Opposed to Addition to U.S. Blacklist

2020/5/26 14:44:25

19、电视市场即将再度掀起价格战,荣耀亮剑、Redmi新品将至 钛短评第13期

2020/5/25 22:52:44

20、当线上票务,无票可卖

2020/5/25 15:18:24

21、新茶饮奔赴人造肉战场,背后推手是谁?

2020/5/25 11:07:45

22、颜值经济下,男人也要开始“败家”了?

2020/5/24 18:35:41

23、普通人买理财产品,需掌握三点收益常识

2020/5/24 14:29:07

24、网络电影与院线观众的审美,还差10年

2020/5/24 12:39:22

25、5.5亿月活的微博,留不住广告主

2020/5/24 8:01:39

26、小鹏P7试驾初体验:成熟操控调教,更易用的“小P”

2020/5/23 13:23:23

27、Trump Administration Adds 31 Chinese Entities to Blacklist

2020/5/23 12:11:42

28、消费主义的错误归因,你的焦虑来自哪里?

2020/5/23 9:12:59

29、维密“美人迟暮”:销售额锐减46%,250家门店将永久关闭

2020/5/22 17:00:49

30、网件MK63路由器体验:大户型高带宽家庭的省心之选

2020/5/22 9:13:46

31、4000亿规模的债务重组市场,却被“反催收联盟”占据,畸形发展?

2020/5/22 8:14:37

32、有性能有设计,雷神911黑武士三代水冷主机评测 钛极客

2020/5/21 17:35:32

33、东风标志发布新一代2008以及e2008车型,基于CMP平台打造 一线车讯

2020/5/20 22:50:09

34、ThinkPad X1 2020系列新品发布,更轻薄更强性能丨钛快讯

2020/5/20 16:53:13

35、30部新剧同时开机,剧集市场的“复工潮”来临?

2020/5/19 18:26:26

36、Redmi 10X将首发,联发科发布天玑820中端5G芯片 钛快讯

2020/5/19 14:58:29

37、翼装飞行女大学生身亡,极限运动还是极限玩命?

2020/5/19 13:00:51

38、大屏迎来消费升级红利期,尖端显示技术激发消费者换新欲

2020/5/19 8:31:46

39、三星电视2020系列新品首发,QLED 8K电视登陆中国 钛快讯

2020/5/18 22:06:59

40、16.1英寸大屏生产力工具,荣耀MagicBook Pro体验 钛极客

2020/5/18 20:08:26

41、杜比全景声硬件“定制方案”,小手机也能做到“高音质”

2020/5/18 18:08:59

42、苹果"以旧换新"惹安卓用户不满:华为P30顶配仅抵扣200元

2020/5/18 12:02:01

43、电影院“缓缓”复工,窗口期问题是不是可以翻篇了?

2020/5/16 11:35:47

44、实现高级自动驾驶,一定要用激光雷达吗?

2020/5/16 7:47:38

45、谁在直播电商平台“买买买”?

2020/5/15 18:44:14

46、银行是时候抛弃“我是你大爷”心态了

2020/5/15 9:47:18

47、新能源车时代,可靠的三电技术是保障安全的前提

2020/5/14 13:56:44

48、老剧“修复”这门生意,是个悲剧

2020/5/14 11:19:08

49、网红雪糕行路难,入行需谨慎

2020/5/14 7:40:09

50、中国房市悖论:北上广深没有泡沫,五线小城泡沫涌动

2020/5/13 9:41:11