您的位置首页>科技要闻>

使用数学功能无缝融合音符

导读在音乐中,滑音是一个已经使用了数百年的术语,指的是将音符以一个音高滑动到较低或较高音高的音符中的​​效果。但是只有音高可以连续变化

在音乐中,“滑音”是一个已经使用了数百年的术语,指的是将音符以一个音高滑动到较低或较高音高的音符中的​​效果。但是只有音高可以连续变化的乐器(例如人声,弦乐器和长号)才能发挥效果。

现在,一名麻省理工学院的学生发明了一种新颖的算法,该算法可以在任意两个音频信号之间实时产生滑音效果。在实验中,该算法无缝地融合了各种音频片段,例如将钢琴音符滑入人声,将一首歌曲融合到另一首中。他描述该算法的论文在最近的国际数字音频效果会议上获得了“最佳学生论文”奖。

该算法依赖于“最优传输”,这是一个基于几何的框架,该框架确定了在多个起点和终点配置之间移动对象(或数据点)的最有效方法。该框架于1700年代制定,已被应用于供应链,流体动力学,图像对齐,3D建模,计算机图形等。

特雷弗·亨德森(Trevor Henderson)现在是计算机科学专业的研究生,在一项班级项目的工作中,他将最佳传输技术应用于内插音频信号-或将一个信号混合到另一个信号中。该算法首先将音频信号分成简短的片段。然后,它找到了一种最佳方法,可以将每个片段中的音高移动到另一个信号中的音高,以产生滑音效果的平滑滑动。该算法还包括专用技术,可在音频信号过渡时保持其保真度。

亨德森说:“最佳传输用于确定如何将一种声音的音高映射到另一种声音的音高,”亨德森说,他是受过电子音乐训练的古典风琴家,曾是MIT广播电台WMBR 88.1的DJ。“例如,如果将一个和弦转换为具有不同和声或带有更多音符的和弦,则这些音符将从第一个和弦中分离出来,并找到可以无缝滑向另一个和弦的位置。”

根据亨德森的说法,这是将最佳传输应用于转换音频信号的首批技术之一。他已经使用该算法构建了可以在广播节目中的歌曲之间无缝过渡的设备。DJ还可在现场表演期间使用该设备在音轨之间切换。其他音乐家可能会在舞台上或工作室中使用它来融合乐器和声音。

亨德森在论文中的合著者是贾斯汀·所罗门(Justin Solomon),他是电气工程和计算机科学系的X-联盟职业发展助理教授。所罗门(Solomon)也演奏大提琴和钢琴,他领导计算机科学和人工智能实验室(CSAIL)的几何数据处理小组,并且是计算工程中心的成员。

亨德森参加了所罗门(Solomon)的6.838(形状分析)课程,该课程要求学生运用几何工具,例如将最佳运输方法应用于实际应用。学生项目通常集中于虚拟现实或计算机图形的3D形状。因此,亨德森的项目使所罗门大为惊讶。所罗门说:“特雷弗看到了几何形状与音频信号中的移动频率之间的抽象联系,从而产生了滑音效果。”“他整个学期都带着DJ设备进出我的办公室。这不是我所希望看到的,但这很有趣。”

对于亨德森来说,这并不是一件容易的事。他说:“当我看到一个新想法时,我会问,'这是否适用于音乐?'”“因此,当我们谈论最佳传输时,我想知道如果将其连接到音频频谱会发生什么。”

亨德森说,考虑最佳运输的一种好方法是找到“建造沙子城堡的懒惰方法”。以此类推,该框架用于计算将每个沙粒从无形桩中的位置移动到沙堡中相应位置的方式,所需的工作量尽可能少。例如,在计算机图形学中,可以通过找到从一个形状上的每个点到另一个形状上的最佳移动,使用最佳传输来对形状进行变形或变形。

将此理论应用于音频片段会涉及信号处理中的一些其他想法。取决于乐器,乐器会通过组件的振动产生声音。小提琴使用琴弦,铜管乐器使用空心体内的空气,而人类则使用声带。这些振动可以捕获为音频信号,其中频率和幅度(峰高)代表不同的音高。

按照惯例,两个音频信号之间的过渡是通过淡入淡出完成的,其中一个信号的音量减小,而另一个信号增大。另一方面,亨德森(Henderson)的算法可将频率段从一个剪辑平稳地滑到另一个剪辑中,而音量不会衰减。

为此,该算法将任何两个音频片段拆分为约50毫秒的窗口。然后,它运行傅立叶变换,将每个窗口变成其频率分量。窗口内的频率分量被集中在一起成为单独的合成“音符”。最佳传输然后映射一个信号窗口中的音符如何移动到另一个信号窗口中的音符。

然后,“插值参数”接管。这基本上是一个值,该值确定每个音符从一个信号中的起始音高到另一个信号中的结束音高的路径。手动更改参数值将扫描两个位置之间的音高,从而产生滑音效果。单个参数也可以编程到交叉渐变器中,并由交叉渐变器控制,交叉渐变器是DJ混音板上的滑杆部件,可以在歌曲之间平滑淡入淡出。随着交叉渐变器的滑动,插值参数发生变化以产生效果。

幕后有两项创新,可确保无失真信号。首先,亨德森(Henderson)使用了一种新的信号处理技术应用,称为“频率重新分配”,该技术将频率单元集中在一起以形成可以在信号之间轻松转换的单个音符。其次,他发明了一种在将50毫秒的窗口拼接在一起的同时为每个音频信号合成新相位的方法,这样相邻的窗口就不会互相干扰。

接下来,亨德森想尝试将效果的输出反馈回其输入。他认为,这可以自动创建另一个经典音乐效果“连奏”,这是不同音符之间的平滑过渡。与滑音(在开始音符和结束音符之间播放所有音符)不同,连奏在两个不同的音符之间无缝过渡,而不会在它们之间捕获任何音符。

郑重声明:本文版权归原作者所有,转载文章仅为传播更多信息之目的,如作者信息标记有误,请第一时间联系我们修改或删除,多谢。