Riffusion 是什么
Riffusion 是一个把实时音乐与音频生成做成开源库的项目,仓库说明里把它定义为一个面向实时音乐与音频生成的 Python 库。它的核心思路是先把声音转成声谱图图像,交给扩散模型按处理图像的方式去生成,再把结果转回音频:这样一来,原本擅长画图的模型就能被用来作曲。项目由 Seth Forsgren 与 Hayk Martiros 在 2022 年发起,代码以 MIT 协议开放,训练好的模型检查点也一并对外提供。仓库首页同时标注该项目已不再积极维护,官方建议把它当作研究与学习材料来使用。
Riffusion 的主要功能
- 扩散流水线:支持提示词插值与图像条件叠加,可以在两段提示之间平滑过渡,也能用一张图引导生成方向。
- 声谱图与音频互转:项目内置两类格式之间的转换能力,这是 Riffusion 能把画图模型用于作曲的关键环节。
- 命令行界面:提供 riffusion.cli 命令行工具,把常见任务封装成可直接调用的子命令。
- Streamlit 应用:自带一个交互式应用,用于本地试听与探索提示词效果。
- Flask 推理服务:可以当作服务端运行,通过 API 对外提供模型推理能力。
- 第三方集成:仓库列出若干外部集成方式,方便把生成能力接进其他工具。
- 配套仓库:网页应用单独放在 riffusion-app 仓库中,模型检查点单独发布。
- 多后端支持:CPU、CUDA 与 Apple Silicon 的 MPS 均可用于推理,其中 CUDA 是官方推荐且性能最好的后端。
如何使用 Riffusion
- 在本地准备 Python 3.9 或 3.10 环境,官方建议用 conda 或 virtualenv 建一个独立虚拟环境。
- 从仓库克隆代码并安装依赖,之后根据需要安装 ffmpeg,以便处理 WAV 之外的音频格式。
- 想直接试听效果,运行 Streamlit 版本的 Playground,在浏览器里打开本地地址开始探索。
- 想在脚本里调用,改用 Riffusion 命令行工具,例如把声谱图图片转成音频文件。
- 需要把生成能力接到其他程序时,以服务方式启动 Flask 推理服务,再通过接口调用。
- 追求实时效果时把后端切到 CUDA,官方说明这需要一块能在五秒内跑完约五十步扩散的显卡。
- 在 Apple Silicon 上使用 MPS 后端时需要额外设置环境变量,并且在音频处理环节会回退到 CPU。
Riffusion 的应用场景
- 音乐生成研究:把图像扩散模型的思路迁移到音频领域,作为跨模态生成的教学与研究案例。
- 提示词实验:在 Playground 里比较不同提示词对音色与旋律走向的影响。
- 本地部署:对隐私与成本敏感的团队可以完全本地运行,不依赖任何在线服务。
- 二次开发:MIT 协议下可以基于 Riffusion 改造出自己的音频生成工具。
- 服务集成:把 Flask 推理服务接进自己的应用,为产品补充音乐生成能力。
- 入门学习:想理解声谱图与音频之间如何互相转换的开发者,可以顺着仓库代码逐段阅读。
类似于 Riffusion 的工具
同类 AI 工具推荐,供对比参考

豆包
属于AI聊天助手·ai-writing-novel分类。豆包是一款AI聊天助手领域的免费增值AI工具,智能对话助手,办公创作全能!。支持免费、多场景。

Suno
属于AI音频工具·AI音乐生成分类。Suno是一款AI音频工具领域的免费增值AI工具,AI音乐生成,文字提示即可创作歌曲。支持音乐生成、AI作曲。

TRAE
属于AI聊天助手·ai-writing-article分类。TRAE是一款AI聊天助手领域的免费增值AI工具,字节跳动推出的 AI IDE 编程工具。支持IDE、免费。

网易天音
属于AI音频工具·AI音乐生成分类。网易天音是一款AI音频工具领域的免费AI工具,网易AI音乐创作工具。支持音乐、作曲。

Coze
属于AI聊天助手·ai-writing-article分类。Coze是一款AI聊天助手领域的免费增值AI工具,海量AI智能体免费用,一键复制同款。支持AI开发平。

Reecho
属于AI音频工具·AI声音克隆分类。Reecho是一款AI音频工具领域的免费增值AI工具,AI语音克隆与配音。支持配音、语音克隆。
Riffusion 常见问题
Riffusion 是免费的吗?
Riffusion 目前可免费使用,无需付费即可体验核心功能。具体额度与限制请以官网说明为准。
Riffusion 适合哪些场景?
Riffusion 属于AI音频工具类工具,主要覆盖 AI音乐、开源项目、音频生成 等使用场景。是否适合你的需求,可结合这些能力点与自己的工作流对照判断。
有哪些和 Riffusion 类似的工具?
与本页收录的同类工具相比,豆包、Suno、TRAE 等定位相近。可以对照各自的定价模式、能力侧重和使用场景再做选择。
信息最后更新于 2026-10-16。如信息有误,欢迎联系我们更正。
