Gemini Lyria RealTime 快速上手5 分钟跑通第一个实时音乐生成 Demo【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbookGemini Lyria RealTime 是 Google Gemini API 生态里的实时音乐生成模型输入一句文字描述几秒后扬声器就开始放出对应的曲子你还能边听边下命令改速度、换配器。这篇 Lyria RealTime 教程面向新手带你用官方示例代码跑通一个可交互的 AI 实时音乐生成 Demo。 它到底能做什么先看一个具体流程脚本启动后先给模型一句 Piano设好 120 BPM 和降 A 大调然后播放。约 1 秒后你会听到一段以钢琴为主的曲子在持续生成这时在控制台输入bpm90音乐会按新速度重新生成。这就是实时的含义——生成和收听同时进行每条指令都直接作用于正在播放的音乐。它暂时做不到的事也说一下输出是边生成边播的音频流48kHz 立体声示例脚本不会自动存成 mp3 文件模型目前是实验版v1alpha参数和效果都可能调整你能控制的是风格文字、BPM、调式这类参数控制不了第 3 小节必须出现某个和弦这种细粒度结构。原理三句话讲完文字指令通过 WebSocket 实时会话发给模型WebSocket 可以理解为一条双向长连接模型按小块持续回传音频脚本用 PyAudio 直接播放中间留 1 秒缓冲吸收网络抖动低延迟就是这么来的。️ 环境准备两条命令装好依赖建议 Python 版本在 3.9 以上。克隆示例仓库再装依赖git clone https://gitcode.com/GitHub_Trending/coo/cookbook pip install -U google-genai pip install pyaudio websocketsgoogle-genai要 1.16 及以上版本才支持 Lyria RealTimepyaudio负责把音频送到扬声器。不想装环境的话直接在 Colab 里打开 quickstarts/Get_started_LyriaRealTime.ipynb 也能跑。 第一次生成最小可跑流程在 Google AI Studio 申请 API Key设为环境变量GOOGLE_API_KEY脚本启动时会检查它。运行脚本python quickstarts/Get_started_LyriaRealTime.py看到什么控制台先打印 Starting with some piano约 1 秒后扬声器响起一段 120 BPM、降 A 大调、以钢琴为主的音乐并且持续生成、不会放完就停。控制台出现Set new prompt提示后输入任意一行指令下一节有可抄的输入q结束会话退出。️ 控制音乐的手感BPM、调式和配器指令提示符支持的输入bpm数字或AUTO、scale调式名或AUTO、top_k数字、play、pause以及风格A:权重,风格B:权重的混合提示。可直接抄bpm90 爵士钢琴:0.7, 大提琴:0.3 pause q让输出更稳的几条经验风格描述用具体乐器 情绪如爵士钢琴电影感弦乐比好听一点这类模糊词有效。混合风格时权重加起来接近 1权重高的风格会更突出。scale后跟调式名或AUTO脚本初始值A_FLAT_MAJOR_F_MINOR就是降 A 大调。改bpm、scale、top_k都会重置上下文音乐会短暂停顿再按新参数继续这是预期行为。top_k控制采样时的候选数量数值越大生成越放飞。 三个真实玩法游戏动态配乐把游戏状态映射成指令——进入战斗发急促弦乐:1.0并跟一条bpm160回到安全区换成舒缓钢琴:1.0加bpm80。音乐是流式生成的切换时不需要预置音频文件和淡入淡出。视频定制 BGM按分镜逐段下指令开场清晨氛围钢琴:1.0冲突段落切紧张铜管:1.0边生成边用系统录音把扬声器输出录下来再剪进时间线。互动艺术装置把观众的声音或传感器信号转成提示词发进会话动作就会直接改变现场音乐。examples/iot/esp32/voice_led_controller/ 里的 ESP32 语音控制示例展示了麦克风到硬件采集这一段怎么搭照这个思路把输出端换成音乐会话即可。⚠️ 坑位清单现象、原因与处理现象原因处理启动时停在Please enter your API key或请求超时没设置GOOGLE_API_KEY或网络不通到 Google AI Studio 申请密钥设成环境变量后重跑音乐中途卡顿、断音1 秒缓冲吸收不了当时的网络抖动把脚本里的BUFFER_SECONDS调大代价是整体延迟变大指令发出后打印Prompt was filtered out描述触发了安全过滤换成更中性的音乐描述再发一次改完 BPM 或调式音乐停了一下才继续设置生效需要reset_context重置上下文预期行为等几秒即可 下一步学习入口与小结quickstarts/Get_started_LyriaRealTime.ipynb官方入门 notebook可直接在 Colab 打开quickstarts/websockets/Get_started_LyriaRealTime_websockets.ipynb想看 WebSocket 会话底层怎么收发看它quickstarts/Get_started_Lyria.ipynb非实时的 Lyria 3适合一次性生成结构完整的曲子。到这里你已经掌握了输入描述 → 听到音乐 → 边听边改的完整闭环。AI 实时音乐生成怎么用记住三件事就够开始了具体的乐器词、风格:权重混合语法、以及改参数会重置上下文这一条预期。【免费下载链接】cookbookExamples and guides for using the Gemini API项目地址: https://gitcode.com/GitHub_Trending/coo/cookbook创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
