科学家设计新AI系统 从无声钢琴演奏视频中再现演奏声音
据外媒New Atlas报道，想象一个计算机程序能够直观地识别出在无声的钢琴演奏视频中演奏的是哪首乐曲，或许并不夸张。然而，一个新的人工智能系统却更进一步，以数字方式逼真地再现了钢琴演奏的声音。这项技术被称为Audeo，由华盛顿大学的一个团队设计。研究人员使用钢琴家保罗·巴顿的YouTube视频对系统进行了培训和测试。培训包括约17.2万巴顿演奏巴赫和莫扎特等著名古典作曲家音乐的视频帧。
在分析一段无声视频时，所产生的系统首先会观察哪些键被按下的顺序，确定各个音符及其排列方式。也就是说，它还能感知到每个键被击打的力度和被按住的时间--这让它能计算出每个音符的强度，以及它在随后弹奏的音符下面持续的时间长度。它还考虑到了钢琴独特的声学特性。然后，这些数据被转换为一种可以被现有的数字合成器理解的格式。据报道，当该合成器回放音乐文件时，它听起来非常像原始的钢琴音乐。
[iframe]"[/iframe]
在对Audeo的测试中，它的任务是根据巴顿演奏的静音视频重现钢琴音乐，而不是系统所训练的音乐作品。当SoundHound等音乐识别应用分析这些再现时，它们能够以大约86%的准确率识别出乐曲。相比之下，当这些应用分析相同视频中的原始钢琴音频时，其识别准确率攀升至93%。随着技术的进一步发展，这种差距应该会缩小。
[iframe]"[/iframe]
“我们希望我们的研究能够实现与音乐互动的新方法，”该研究的高级作者Eli Shlizerman副教授说。“例如，未来的一个应用是，Audeo可以扩展到虚拟钢琴，摄像头只记录一个人的手。此外，通过将摄像头放在真实的钢琴之上，Audeo有可能协助教学生如何演奏的新方法。”
喜欢An4dy朋友的这个贴子的话，
请点这里投票，“赞”助支持！
请点这里投票，“赞”助支持！
内容来自网友分享，若违规或者侵犯您的权益，请联系我们
所有跟帖: ( 主贴楼主有权删除不文明回复，拉黑不受欢迎的用户 )
打开微信，扫一扫[Scan QR Code]
进入内容页点击屏幕右上分享按钮
进入内容页点击屏幕右上分享按钮
楼主前期社区热帖：
- 春天在家里养5种花，空气清新又干净，还能睡个安稳觉 04/04/24
- 5种花再喜欢也别养卧室，对健康不好还影响睡眠，养了赶紧搬出去 04/04/24
- 有品位的盆栽，抗病性强上档次，谁见了都夸美 04/02/24
- 适合春天播种的6种小草花，花色丰富惹人爱，开花一茬接一茬 04/02/24
- 春天养茉莉花有“5忌”，及时避开早开花，花色鲜艳惹人爱 04/01/24
- 人见人爱的白雪光，现在养一盆正当时，绽放层叠群花，美极了 04/01/24
- 想要三角梅多季节开花，4个动作催一催，开花一茬接一茬 03/31/24
- 不花一分钱养出小花园，真令人羡慕 03/31/24
- 5种花老了不中用，及时扦插做备份，开花一茬接一茬 03/26/24
- 适合春天种植的3种漂亮花，皮实好养爱开花，轻松开成小花园 03/26/24
- 栀子花总是黄叶不开花？4个动作催一催，叶片油绿开花多 03/18/24
- 春天百合花开败后，几个动作催一催，还能再开一茬花 03/18/24
- 人见人爱的赫拉和晚霞之舞，每一种都是颜值担当 03/17/24
- 想要沙漠玫瑰顺利开花？趁早在花盆里埋点小东西 03/17/24
- 十部最佳心理恐怖片，第一部我不敢看 03/14/24
- 吃够这些，女人就会开心 03/14/24
- 这些食物有助预防老年痴呆，提醒爸妈要多吃 03/14/24
- 比拼免疫力，家有老人必看的营养建议 03/14/24
- 为何肠道会长息肉？医生坦言：长了肠息肉，身体或有这3种异样 03/14/24
- 成人肥胖患者春季食谱推荐（1200kcal能量食谱） 03/14/24
>>>>查看更多楼主社区动态...