AI翻唱的B面:重现罕见病患者歌声,与过世病友开音乐会

原标题:口述|AI翻唱的B面:重现罕见病患者歌声,与过世病友开音乐会

随着版权问题愈演愈烈,“AI翻唱”这一新形式饱受争议,负面评价也接连不断。但技术同样有好的一面,在罕见病患者、“蓝梅”阿卡贝拉乐团创始人隆琳眼中,AI翻唱带来的是希望。在接触到AI音乐制作、AI歌曲演唱、AI人声模仿等技术后,隆琳通过澎湃科技(www.thepaper.cn)已经与一位“AI翻唱”的作者取得了联系,希望通过人工智能留下她的声音。

“在某种意义上,我们的声音可以永久保存下来。”隆琳在接受澎湃科技采访时表示,“我可以采集一些过世已久的病友的录音,用AI将他‘重现’在我们面前,与乐团成员一起重新来一场音乐会。”

对于隆琳谈到的AI音乐相关技术,在音乐行业工作多年后转向AI音乐制作、AI歌曲演唱领域的杨杰告诉澎湃科技,在“AI翻唱”的影响下,作曲家、知名歌手受到的冲击较小,但一些以录制歌曲小样为主要方向的“Demo歌手”或将面临失业。

杨杰表示,人工智能已经极大地提高了音乐领域的工作效率,此前团队在10天内曾完成过用AI为一个客户写100首广告曲的“壮举”,如果没有人工智能,工作量将是一个天文数字。对于目前争议较大的版权问题,他表示,监管将是第一步,“我们也希望有政策尽快出台,而我们雇来录制人声素材的歌手,是支付费用后取得授权的,并非没有版权的声音。”

“蓝梅”阿卡贝拉乐团演出照。

口述者:罕见病患者、“蓝梅”阿卡贝拉乐团创始人隆琳

“ChatGPT作的歌词让我印象深刻”

当了解到现在的AI技术时,我第一时间想到的是AI会留下我的声音,说起来有些悲伤,但当我们谈论AI时,实际上是在谈我们这个特殊群体的希望。

我是一名淋巴管肌瘤病患者,同时也是“蓝梅”阿卡贝拉乐团的创始人,这种病会让患者的说话、呼吸越来越困难,行动也会越来越不便。创建乐团的初衷就是为了让大家更努力地去锻炼自己的肺活量,但随着病情的恶化,很多病友离开了,乐团里也不再能听到她们的声音。

最开始接触到AI是看到了很多AI翻唱的视频,效果非常好,我第一时间就想到,自己曾经面对的许多困难在未来都可以在AI的帮助下一一解决。后来我还尝试了用ChatGPT写歌词,用AI进行音乐制作。

作为罕见病患者,最直观的影响就是AI可以减少说话的负担。平时日常交流的时候,我说话可以有一些停顿,基本没有太大的影响,但由于长期投入公益,我会在一些正式场合发表演讲,面对这种大段大段的讲话,真的会感到力不从心。

在今年杭州阿里巴巴总部举办的“一切只为你Sing For Rare”罕见病公益主题音乐会上,我作为发言人介绍乐团、讲述关于自己生病故事的心路历程,以及这个群体的故事。在这段五六分钟、两千字左右的演讲中,由于生病的原因,夹杂了大段喘气声和激动情绪,队里小伙伴还问我,“姐,你怎么喘成这样?”所以,当了解到AI有机会学习模仿我们的声音,通过面部识别,代替我们讲话,并且相似度十分高,我真切地认为这对我们来说十分有益,它可以模仿我的口型、我的表情,这也会对我们公共形象的维护有很大的帮助。

在病友中,有一部分人因为身体的痛苦,声音会控制不住地发抖。他们对音乐很有热情,过去我们会请专业的老师来带领这部分病友锻炼,提高肺功能,但有一些年老的患者,已经不具备锻炼的条件。有时候,听着他们痛苦的声音,又看着他们展现出来对音乐的激情,我十分揪心。有了AI,他们只需要跟唱一下,AI模仿他们的声音来完成高音、长音,既可以满足他们对音乐、对唱歌的热爱,而作为一个人声乐团,也可以在保证他们参与合唱的前提下,收获他们想要的效果。

我目前已经通过澎湃科技和一位制作AI翻唱的作者取得了联系,这位作者表示很乐意帮助我们。我已经开始录制素材了,只用了手机和麦克风就可以录制,提供了半个小时到一个小时纯净的人声给他,他会帮我先把声音用AI做出来,然后再去尝试歌曲的录制。

他们也觉得这件事很有意义。我一开始以为这些制作者是有资金支持,有资方投资的,接触后才知道,他们分散在全国各地,完全是为了一腔热情和抱负去做这个事。在接触的过程中,我感受到了开发者的力量,他们的项目因为版权等问题其实饱受非议。因此他们觉得帮助罕见病患者可以传达AI能带来的美好一面,我也觉得参与到这个事情当中很荣幸,我觉得我们公益乐团也可以在AI领域做一些正向的倡导。

在某种意义上,我们的声音可以永久保存下来。我有时会悲观地想,在未来的某一天,我失去了我的声音,或者我的身体在现实世界消散了,我该如何留下我的音乐作品。现在,AI回答了我的疑虑。即便我卧床不起,但是我也可以通过AI影像观赏到我曾经唱歌时的风华。又或者我可以采集一些过世已久的病友的录音,用AI将他“重现”在我们面前,与乐团成员一起重新来一场音乐会。

在创作方面,AI也让我十分惊喜。我们团内大多数患者在音乐方面都只是爱好者,有了AI,我们可以定一个主题,让AI进行创作,再辅以人工修改,这样,业余爱好者也可以完成一首精彩的歌曲制作。

但是,出于专业角度,AI根据既有歌词谱曲,跟预期差别还是比较大。主要是因为AI没有捕捉到歌词传递出的情绪基调,所以整个曲风就比较背离、比较奇怪。在我给出的主题中,歌词蕴含的情绪走向,从最开始的比较深沉、凝重,到后面的情绪释放、表达积极的人生态度,有一个先抑后扬的起伏,适合写成慢歌,但AI却写成了快歌,歌词做了二次简化加工,直接过滤了很多表达情绪的关键词。我觉得,音乐方面,情感对于AI还是一个壁垒。

相对来说,ChatGPT作的词总体还不错,我告诉ChatGPT我们的基本情况后,它根据输入的关于歌曲创作的描述,提炼概括了核心内容,比较准确地呈现出了我的创作诉求,ChatGPT的这几句歌词让我印象深刻:

“和声交错,音符飞扬

我们用声音,呼吸着生命

在彼此的慰藉中,寻找信心”

不过,在措辞、归韵等细节问题上,还有修改和润色的空间,创作者需要进行二次加工。AI作词虽然不能成为完全的“脑替”,但可以为创作者提供一个1.0版本,或者说为创作者提供一个完整的思路和参考,辅助提高音乐作品创作时效。

淋巴管肌瘤还只是罕见病的一种,在重症肌无力患者的日常生活中,与人的交流互动更多呈现出咬字不清晰。我们有一个一起做公益活动的小伙伴是重症肌无力患者,在与我们沟通时,简单的一句“今天晚上我吃的是宫保鸡丁盖饭”,被紧闭的双唇吞没了大部分的含义,令人很难辨别其中的意思。尽管目前的AI攻克这一障碍的发展前景尚未完全清晰,但是我认为可以期待这一天的到来,毕竟AI的发展速度非常快。

口述者:某AI音乐产品负责人杨杰

“用AI花10天写了100首广告营销歌曲”

面对AI的发展,我也曾有过焦虑心情。我以前从事的工作是“扒带”,简单说就是复录音乐作品,把音乐中的声部、乐器等,通过制作软件全部记录下来,再分离,以方便后续使用。

扒带的工作要求十分高,具体表现在精细度上,每个部分都需要“精修”,一首歌需要人工处理两天左右的时间。但AI进入音乐领域后,这个时间缩短到了半天左右,得到AI的粗略加工内容后再辅以人工修改,提高了四倍的工作效率。在这种环境下,我十分担心自己的工作职位会被AI取代。

2018年,我思考了AI的潜力后,以及想利用这几年在音乐数据领域的积淀去尝试新事物,“跳船”到了AI音乐领域。

对于AI,我能看到它的进步。AI在音乐数据领域除了发挥人声分离功能,还可以实现歌声合成技术,这可以协助我们在音乐生产环节中完成Demo的录制。

在我们以前传统的录制过程中,Demo一般是由专门的Demo歌手或者叫小样歌手来演唱,可能就是请音乐学院刚刚毕业的大学生、酒吧的驻唱歌手,这些技术水平上偏初级的歌手来做,录制小样也不需要顶级的技巧。面对一首新鲜出炉的音乐作品,Demo歌手需要学习消化,完成对歌曲、旋律的理解,这样一套流程下来,可能几天时间过去了,学习成本也比较高。这一类人群可能是受到AI冲击最大的。

尽管AI无法和歌唱家、专业歌手相媲美,无法达到人类情绪表达、情感宣发的高度,甚至在技巧上都还有很长一段路要走,但是它也确实发展到了可以代替一部分人的阶段。我们用AI将音乐策划人看好的歌曲小样进行深度包装,重新录制音频,然后找到适合这首歌的AI歌手。对于一些初级的商业歌曲,或者面对一些不识谱的大牌明星,AI的辅助导唱也可以发挥极大的积极作用并以此PK掉一部分人。

这样的环境下,小样歌手手中的单子就变少了,因为客户只在意效果的好与坏,不会在乎是不是真人演唱。毕竟小样歌手演唱只是提供一个演示,最后还是由专业歌手进行演唱。一般来说,有很多单子要求都不太高,无论这首歌是真人演唱还是AI演唱,只要AI歌手的演唱效果达到产品级别的要求,对于客户和我们都是更好的选择。AI解决了我们的初级问题和创意问题,即使它有诸多局限,也不能完全代替人类,但是它带来的影响不容小觑。

作为从业者,小样歌手也曾对我说过内心的焦虑。我曾经把我们公司旗下AI歌手演唱的歌曲作品发给一些小样歌手听,他们一听就认可“唱的不错”,而当我揭晓谜底,告诉他们这是AI演唱之后,他们又惊呼“AI还可以这样”,随后便是不断陷入“我们要失业了”的焦虑。尽管在目前的形势下,小样歌手好像落于下风,但是面对一些特殊曲风、特殊属性的音乐作品,比如具有民族特色的山歌,或者个性鲜明的说唱,AI还是比不过人类,它的表达不完整。

随着行业的发展,会出现AI代替小样歌手的情况,但AI同样也可以为这些歌手提供新的机遇。比如现在,我们会邀请小样歌手来录制人类原声,他们将自己的声音资源授权给我们,我们再以此为学习素材,采集后提供给AI进行模拟训练。在这个过程中,AI未必能做到百分百一样,它还需要一些技术手段去映射、潜移、融合这些素材,也需要后期过程中人为修正音高和进行标注,从而变成一个崭新的声音。

有时候,一个AI模型,可能需要多个人声素材进行训练。我们有时在训练时,不仅利用A歌手的数据,还加入B歌手的音色特征,例如活泼的萝莉音、成熟御姐音。我们之前打算塑造一个拥有活泼可爱音色的AI女歌手。为了达到这个目的,我们在成都利用自己的人脉进行反复的海选、筛选,最终邀请了一位心仪的小样歌手完成原声录制。

这是这个行业和职业的新发展,而我们也可以看到,所有的工作节点都有人的影子。现在的各大平台,比如哔哩哔哩上,会有很多用户呈现AI翻唱视频,这也是拿虚拟歌手引擎去创作自己的作品,但他们是应用层,我们是开发层加应用层。我们是制作工具的人。

有人说我们是让别人有“AI焦虑”的人,这可能有些夸张,但我自己现在不再焦虑了。你可以看到我们AI工作的一些资源、流程,都说明,我们得先是一个专业的音乐公司、音乐制作人或者说圈内人,然后才能用AI去“降本增效”。AI会来,但不会带着人脉和资源来取代我们。

AI可以在方方面面帮助音乐人、音乐制作家。这些技术和工具非常实用,比如我们可以利用AI把谱子上的音乐数据识别出来,只需要动动手指拍张照片,就可以将图像转化为波形,然后就可以听到音频文件,虽然有可能会很死板。在AI出现之前,这些都是人工完成的,因此制作人更像是一位编辑,将书上的谱子制作成声音影像。而AI更像一个数据库,调用已有的内容去解决细分领域的东西。它可以将我们想要的东西变成电子版,后面再人工交付一下就可以了。

还有一件事也很有趣,当我们需要大规模训练音乐相关AI的时候,我们发现给AI收集数据、“喂”数据,实际上也是一个庞大的工作量,而这个事情也只有其他类型的AI能够胜任。因此我发现,AI之所以发展如此之快,可能AI之间互相促进是一个原因。

AI现在可以制作一些简单的BGM(背景音乐),但是它生成出来的东西在质量上还不足以达到商用级别,需要人工再生成一个创意或Demo,这有时候可能涉及到版权问题。我常听到有人问我,“AI把歌手的二次创意拿来‘三创’到底算不算侵权?”因为AI的数据库非常庞大,通过不同的组合,很小概率上会出现“版权纠纷”。但我个人会建议从业者和使用者增强法律意识和专业意识,避免出现矛盾。

比如有人利用孙燕姿的声音训练AI并发布翻唱视频,但其中“利用孙燕姿声音数据”这件事却被隐瞒,很难考证,就会引发法律上的争议。说白了,一个声音像孙燕姿,不一定就是孙燕姿的声音训练的,也可能是专门模仿孙燕姿的歌手的声音或者其他音色相似的AI。没有见到数据之前什么都无法判定。目前这个行业还刚刚起步,针对这类问题,需要更多的关注,以及时填补AI版权限定的法律空白。至于我们邀请的Demo歌手,都是付费得到授权后再使用人声素材的。

我们的客户也知道我们在生产过程中使用了AI降低成本,目前已经有一部分客户对AI更加青睐,举个例子,之前费列罗找上我们,想按照“蜜雪冰城甜蜜蜜”那首歌写类似的广告曲。蜜雪冰城拿了一个工本音乐去改编,变成了一个广告营销歌,而且非常洗脑。费列罗希望用AI生成100首类似的10种场景下的营销音乐,这些场景有在电梯显示屏上放的、在电影院放的,等等。

这种营销歌曲如果交给传统音乐人来写的话,可能就正儿八经要写100首,而且作曲、混音、编曲、演唱的费用非常高昂,估计要好几千万。而我们则通过AI去生成,给它指定场景去生成一些营销歌词,把字数规定好,并用AI来沿着固定旋律演唱,在10天左右就把这个案子给做完了,成本比预期低了很多,对方也比较满意。只是这种广告营销歌曲对音乐的欣赏性要求就不太高了。

随着科学技术的发展,我们做研发工作的还是会有点担心,因为我们每天都在遇见新问题。大厂每天都在研发、训练、推出新模型,如果我不及时更新自己的所长,就会面临被淘汰的风险。好在,音乐在人工智能领域并不像ChatGPT那种文字类和图片类模型发展得那么迅猛,目前,我敢说全世界都没有一家公司做得特别好。

在艺术造诣角度,我对AI的角色和功能持中立态度。我还是想强调,我们开发AI的初衷是辅助音乐人生成更好更多的灵感,提高专业效率。一些音乐小白可能没有专业基础,不知道和声、曲调这种理论知识,但是又想利用音乐表达自己的感情,我们就可以推出AI来降低他的创作门槛。同理,在教育领域,AI也可以辅助编创,将作曲低龄化,小朋友可以从小就培养创作思维,通过AI作词作曲,并让它直观地演唱出来,有利于开发创造的土壤,培养更多的创作人才。

总之,AI技术是提高生产效率、降本增效、提供创意的一种工具,它有利于社会各个体系的建构,而不是所谓的“冲击市场的捣乱者”。

科幻网 - 促进科普科幻教育传播发展
关注微信公众号(khwgfzh)及微博(科幻网官方)
微信公众号
微博
免责声明
科幻网登载此文出于传递更多信息之目的,并不意味着赞同其观点或证实其描述。文章内容仅供参考,不构成投资建议。投资者据此操作,风险自担。
成都鼓励AI产业发展:提出19项资金扶持措施,最高奖1000万
原标题:成都鼓励AI产业发展:提出19项资金扶持措施,最高奖1000万
2022年市场规模将超6000亿元 我国智能家居产业发展打开新空间
原标题:2022年市场规模将超6000亿元 我国智能家居产业发展打开新空间
2023年自然资源科技活动周主场活动暨科普讲解大赛决赛在江苏徐州举办
原标题:2023年自然资源科技活动周主场活动暨科普讲解大赛决赛在江苏徐州举办
点击加载更多