LeVo模型重磅发布SongGeneration开启AI全曲创作新纪元支持4分30秒人声伴奏同步生成项目概述与核心功能SongGeneration作为NeurIPS 2025收录论文《LeVo: High-Quality Song Generation with Multi-Preference Alignment》的官方代码库首次实现了基于语言模型架构的专业级歌曲生成系统。该项目整合了LeLM多模态建模框架与音乐编解码技术提供从歌词到完整歌曲的端到端创作能力目前已开放模型权重、推理脚本及数据处理工具链开发者可通过GitCode仓库https://gitcode.com/tencent_hunyuan/SongGeneration获取全部资源。如上图所示项目logo通过卡通企鹅演奏吉他的形象直观传达了AI与音乐创作的融合理念。彩色波浪线与音乐符号的设计元素象征着模型生成的丰富音频波形与多元音乐风格为开发者提供了友好且富有科技感的视觉标识。技术架构解析SongGeneration创新性地采用双轨 token 并行建模架构LeLM模块同时处理混合 token人声与伴奏融合编码和分离 token独立编码 vocals 与 accompaniment 轨道通过音乐编解码器将这些高级语义 token 重构为48kHz高保真音频。这种设计既保证了人声与伴奏的和谐统一又实现了专业级的轨道分离输出解决了传统AI作曲中人声被伴奏淹没的行业痛点。技术流程图清晰展示了模型的三阶工作流程首先对歌词结构、音频参考、风格描述进行多模态 token 化接着通过 LeLM 进行跨模态融合建模最终生成的双轨 token 经编解码后输出高质量音频。这种端到端架构避免了传统 pipelines 的信息损耗为音乐生成质量带来质的飞跃。版本迭代与功能演进项目自2025年6月发布以来持续高频更新核心功能演进路线清晰可见7月实现10GB显存轻量化部署支持纯音乐/纯人声分离生成9月推出的智能数据处理 pipeline在SSLD-200测试集上实现超越Gemini-2.5的歌词时间戳定位精度10月密集发布base-new中英双语支持、base-full4分30秒超长生成及large性能旗舰版三个重要版本其中10月16日上线的Demo系统已支持完整歌曲创作。当前模型矩阵涵盖四大主力版本基础版2分30秒中文生成、增强版中英双语、全时长版4分30秒双语言及旗舰版RFT指标达1.51显存需求从10GB到28GB不等全面覆盖从个人开发者到企业级应用的多样化需求。即将推出的v1.5系列更将支持西班牙语、日语等多语言创作并引入强化学习奖励模型提升音乐性与歌词对齐度。快速上手指南环境配置开发者可通过两种方式部署环境基础方式需Python 3.8.12与CUDA 11.8环境执行pip install -r requirements.txt完成依赖安装建议额外安装Flash Attention加速库Docker用户可直接拉取预配置镜像juhayna/song-generation-levo:hf0613实现一键部署。Windows用户还可通过ComfyUI插件或专用安装包简化部署流程。模型下载通过huggingface-cli工具可快速获取各版本模型# 基础版中文2分30秒 huggingface-cli download lglg666/SongGeneration-base --local-dir ./songgeneration_base # 全时长增强版中英双语4分30秒 huggingface-cli download lglg666/SongGeneration-base-full --local-dir ./songgeneration_base_full推理实战使用JSON Lines格式准备输入文件需包含idx唯一标识、gt_lyric带结构标记的歌词等核心字段支持descriptions风格描述、prompt_audio_path参考音频等可选参数。执行以下命令启动生成# 基础生成命令 sh generate.sh ./songgeneration_base ./sample/lyrics.jsonl ./output # 低显存模式10GB显存设备 sh generate.sh ./songgeneration_large ./sample/lyrics.jsonl ./output --low_mem # 分离轨道生成人声伴奏单独输出 sh generate.sh ./songgeneration_base_full ./sample/lyrics.jsonl ./output --separate输入歌词需遵循特定格式规范例如[Verse] These faded memories of us. I cant erase the tears you cried before. ; [Chorus] Like a fool begs for supper...支持[Verse]、[Chorus]等结构化标记及纯音乐段落[intro-short]、[inst-medium]等。风格描述可指定性别、音色、 genre、情感等维度如female, dark, pop, sad, piano and drums。性能评估与行业定位在中文歌曲生成评测中SongGeneration-large版本实现5.1%的PER字错率、7.82的Audiobox美学评分及7.95的综合SongEval得分其中歌词对齐度CE 6.09、伴奏丰富度CU 8.46等核心指标已超越Suno、Mureka等闭源系统。英文生成任务中large版本PER达14.9%Audiobox评分7.85在开源模型中处于绝对领先地位。值得注意的是模型对输入质量敏感歌词格式错误会导致严重退化建议严格遵循[Structure] Text规范同时提供prompt_audio与descriptions可能引发指令冲突推荐单独使用一种引导方式。官方提供40组中英文示例输入涵盖流行、摇滚、中国风等12种音乐风格可作为创作参考。未来展望项目路线图显示团队计划在2025年底前完成五大核心模块升级多语言强化学习模型v1.5系列、全流程微调脚本、音乐VAE编解码器、交互式标注工具及专业级评估套件。随着技术迭代SongGeneration有望在音乐教育自动伴奏创作、广告制作定制主题曲、游戏开发动态配乐等领域产生颠覆性应用真正实现人人皆可创作专业歌曲的技术愿景。创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
