DiffRhythm：基于差分节奏建模的通用音乐流派分类开源项目
DiffRhythm是由ASLP实验室提出的开源项目，旨在通过创新的差分节奏建模（Differential Rhythm Modeling）框架解决音乐流派分类任务。该项目结合传统信号处理与深度学习技术，从节奏这一音乐核心要素出发，构建了具有强解释性和泛化能力的分类模型。其代码已开源在GitHub平台，为音乐信息检索（MIR）领域提供了新思路。
项目核心贡献
差分节奏建模框架
DiffRhythm突破传统方法直接提取节奏特征的局限，提出通过节奏动态变化（而非静态特征）区分音乐流派。其核心思想在于：不同流派的音乐（如摇滚与爵士）在节奏稳定性、强弱拍分布等动态特性上存在显著差异。项目通过对比学习框架捕捉这些差异，将节奏建模为时间序列的差分模式，增强模型对流派特色的感知能力。多模态特征融合
模型融合时域波形、频谱图与节奏脉冲信号三类特征，形成互补性表征。其中，节奏脉冲信号通过改进的节拍跟踪算法生成，精准定位音乐中的强拍位置，为差分建模提供基础数据。这种多模态设计有效平衡了低频节奏信息和高频纹理特征的表达能力。轻量化对比学习架构
采用改进的SimCLR框架，设计节奏感知对比损失函数，通过最大化同类样本的节奏相似性、最小化异类样本的差异进行优化。该架构在保持较低模型复杂度的同时（参数量约1.2M），在GTZAN等基准数据集上达到SOTA性能，分类准确率超过90%。
技术实现细节
数据预处理：利用Librosa提取音频梅尔频谱，结合Madmom工具包进行节拍跟踪，生成对齐的节奏脉冲序列。
特征编码：通过三个独立CNN分支处理波形、频谱和节奏信号，提取局部时频特征。
差分建模层：设计时间差分模块，计算相邻节拍点的特征变化量，生成节奏动态特征图。
对比学习优化：在特征空间构造正/负样本对，通过NT-Xent损失函数进行自监督训练。
应用场景与优势
音乐流派分类：在GTZAN、FMA等公开数据集上表现优异，尤其在小样本场景下鲁棒性强。
音乐推荐系统：可集成至流媒体平台，通过实时分析用户播放音乐的节奏模式，实现个性化推荐。
音乐生成辅助：为AI作曲工具提供节奏风格约束，控制生成音乐的流派特征。
跨领域迁移：模型架构可迁移至环境音分类、语音情感识别等时序信号分析任务。
代码结构与使用
项目基于PyTorch实现，代码结构清晰：
data/：包含数据加载器与预处理脚本
model/：定义多模态CNN与差分建模层
train.py：提供端到端训练流程
inference.py：支持单文件推理与批量预测
用户可通过修改配置文件调整超参数（如学习率、对比温度系数），或替换为自定义数据集。项目文档详细说明了依赖安装（需PyTorch≥1.8、Librosa等）与训练命令。
局限性与未来方向
依赖高质量节拍跟踪：节奏脉冲提取的准确性直接影响模型性能，复杂音乐（如多乐器混叠场景）可能出现误差。
流派定义模糊性：音乐流派的边界在实际数据中可能存在重叠，需结合文化元数据进一步优化。
扩展方向：团队计划引入图神经网络建模节奏结构，并探索多模态数据（如歌词）的融合策略。
总结
DiffRhythm通过差分节奏建模为音乐分类提供了新视角，其开源实现降低了研究门槛，推动了节奏特征在音乐分析中的应用。项目不仅具有学术价值，更在工业场景展现出应用潜力，是MIR领域值得关注的创新性工作。对于开发者而言，其模块化设计也便于集成至现有音频处理流程，促进技术落地。
整合包说明
1 增加了一个webui界面，不会出现假死的情况
2 修改部分代码逻辑，处理速度更快
3 删除一些无用的代码
4 英伟达显卡6g就可以运行
5 生成的音乐比较大，我这个小服务器承受不了，就不放音乐演示，但是我可以告诉你效果相当不错
后续考虑会添加音乐生成音乐，或者批量生成音乐
视频演示
20251208更新记录
1 更新到官方最新2.0
2 修正一大把BUG，我真服了
3 手动安装 espeak-ng.msi。默认安装
