跳到正文
音乐科技前沿

音乐信息检索:从波形提取可评价特征

14 分钟

音乐信息检索尝试识别节拍、音高、和弦、结构、乐器或相似作品。算法不是“听懂音乐”的单一按钮,而是把任务定义、标注、特征和评价连接起来。数据集定义往往比模型大小更决定结果。

时频表示

短时傅里叶变换在时间窗内估频谱。长窗频率分辨好、时间分辨差;短窗相反。梅尔谱压缩频率轴,CQT按音乐音程分布频点,各自保留和丢失不同信息。

节拍与音高

起音检测从能量或谱变化找事件,再估周期;切分、自由速度和复节拍会混淆。基频检测也会受泛音、噪声和多声部影响,最高谱峰不一定是基频。

标签歧义

结构边界、情绪和流派常无唯一答案。保留多标注者一致度,评价容忍时间偏差;不能把一个人的偏好当客观真值。

数据切分

同一艺术家、作品不同版本或相邻片段跨训练测试会泄漏。应按作品或艺术家分组切分,检验能否泛化到真正新内容。

指标

类别不平衡时准确率会误导,使用精确率、召回、F1与混淆矩阵,并听查典型错误。

若模型用于检索,还应报告查询延迟、索引规模和不同文化音乐的分组表现。总体平均可能掩盖某些乐种持续失败,错误分析要回到音频与标签。

任务:建立一个小型节拍或乐器识别基线,公开切分、标签、指标和十个错误案例。

小纸条

音乐识别数据为什么应按作品或艺术家分组切分?