如何在 TTS 中实现一个自定义模型【免费下载链接】TTS - a deep learning toolkit for Text-to-Speech, battle-tested in research and production项目地址: https://gitcode.com/GitHub_Trending/tt/TTS如果你想在 TTS 中实现自己的 TTS 模型架构自定义的编码器、解码器或时长预测模块关键不是写一个孤立的 PyTorch 网络而是让这个模型与项目里的Trainer、Synthesizer和ModelZoo三套 API 兼容。官方文档给出了一条九步路径从实现层、写损失函数到实现模型类、定义配置最后接入训练流程跑通验证。本文按这条路径展开所有代码位置与接口约定都来自仓库文档与源码。动手前先弄清模型必须满足的接口契约在 TTS 中模型类是自包含的实现负责协调与其他组件的全部交互。要兼容框架只需实现BaseModel提供的 API。两个基类分别是BaseTrainerModelTTS/model.py扩展自独立 Trainer 项目的TrainerModel是 TTS 所有模型必须继承的底层基类BaseTTSTTS/tts/models/base_tts.py定义 TTS 模型的通用功能文档要求Every newttsmodel must inherit this。接口上需要遵守几条硬性约定forward()和inference()都必须返回一个字典字典中必须包含model_outputs键它被视为Trainer和Synthesizer使用的主模型输出其余键可放辅助输出。inference()不使用*kwargs因为这在 TorchScript API 下有问题源码注释原话。模型输入/输出张量的形状约定3D 张量为batch x time x channels2D 为batch x channels1D 为batch x 1。模型通过Trainer API训练、通过Synthesizer API做推理和测试另外还有一个callback接口可以在训练过程中操纵模型和Trainer状态参见TTS.utils.callbacks。更完整的成员清单可以查看 Model API 文档其中列出了BaseTrainerModel、BaseTTS和BaseVocoder三个类的自动文档。第一步与第二步实现层并测试层层可以放在TTS/tts/layers/new_model.py也可以直接放在模型文件TTS/tts/models/new_model.py里已有的层如TTS/tts/layers/下的 transformer、gated_conv 等可以直接复用不必重造。层实现后要立刻测试。测试统一放在tests目录下tts层的测试放在tts_tests子目录例如 tests/tts_tests/。文档要求的基础测试是检查输入/输出张量的形状对给定输入检查输出数值测试极端情况——文档特别提到zero张量这类更可能出问题的输入。第三步与第四步实现损失函数并测试损失函数损失函数统一放在 TTS/tts/layers/losses.py也可以混搭该文件里已实现的损失如L1LossMasked、MSELossMasked。损失函数有一个格式要求forward返回的字典形如{loss: loss, loss1: loss1, ...}其中loss键是优化器实际使用的值字典里的每一项都会被自动记录到终端和 Tensorboard。测试损失函数与测试层同理检查输入/输出张量形状、给定输入下的期望输出值。文档还指出某些损失函数存在上下界应该构造恰好触发这些边界值的输入来测试。第五步实现 MyModel 模型类模型实现放在TTS/tts/models/new_model.py继承BaseTTS。官方文档提供了一个可直接复制的基础模板所有方法都给出了签名和契约说明from TTS.tts.models.base_tts import BaseTTS class MyModel(BaseTTS): Notes on input/output tensor shapes: Any input or output tensor of the model must be shaped as - 3D tensors batch x time x channels - 2D tensors batch x channels - 1D tensors batch x 1 def __init__(self, config: Coqpit): super().__init__() self._set_model_args(config) def _set_model_args(self, config: Coqpit): Set model arguments from the config. Override this. pass def forward(self, input: torch.Tensor, *args, aux_input{}, **kwargs) - Dict: Forward pass for the model mainly used in training. Returns: Dict: Model outputs. Main model output must be named as model_outputs. outputs_dict {model_outputs: None} ... return outputs_dict def inference(self, input: torch.Tensor, aux_input{}) - Dict: Forward pass for inference. We dont use *kwargs since it is problematic with the TorchScript API. outputs_dict {model_outputs: None} ... return outputs_dict def train_step(self, batch: Dict, criterion: nn.Module) - Tuple[Dict, Dict]: Perform a single training step. Run the model forward pass and compute losses. outputs_dict {} loss_dict {} # this returns from the criterion ... return outputs_dict, loss_dict def train_log(self, batch: Dict, outputs: Dict, logger: Logger, assets: Dict, steps: int) - None: Create visualizations and waveform examples for training. For example, plot spectrograms and generate sample waveforms for Tensorboard. pass def eval_step(self, batch: Dict, criterion: nn.Module) - Tuple[Dict, Dict]: Perform a single evaluation step. In most cases, you can call train_step() with no changes. outputs_dict {} loss_dict {} ... return outputs_dict, loss_dict def eval_log(self, batch: Dict, outputs: Dict, logger: Logger, assets: Dict, steps: int) - None: The same as train_log() pass def load_checkpoint(self, config: Coqpit, checkpoint_path: str, eval: bool False) - None: Load a checkpoint and get ready for training or inference. If eval is True, init model for inference else for training. ... def get_optimizer(self) - Union[Optimizer, List[Optimizer]]: Setup a return optimizer or optimizers. pass def get_lr(self) - Union[float, List[float]]: Return learning rate(s). pass def get_scheduler(self, optimizer: torch.optim.Optimizer): pass def get_criterion(self): pass def format_batch(self): pass两点需要注意模板中__init__(self, config)是文档给出的简化签名实际继承时BaseTTS.__init__接受config、apAudioProcessor、tokenizer、speaker_manager、language_manager五个参数见 base_tts.py 第 32-46 行format_batch等批量格式化逻辑基类已给出针对TTSDataset的通用实现自定义数据集时需要覆写。_set_model_args要求 config 的类型名以Config或Args结尾否则会抛出ValueError: config must be either a *Config or *Args。第六步可选定义 MyModelArgsMyModelArgs是一个 Coqpit 类用来承载实例化MyModel所需的全部架构参数。它必须包含实例化模型所需的所有字段。注意区分MyModelArgs只负责模型结构训练时要传给模型的是MyModelConfig后者会包含MyModelArgs。第七步测试 MyModel文档推荐的一个聪明测试方法创建两个权重完全相同的模型用其中一个跑一个训练循环然后把两者的权重逐一对比——通过的测试中所有权重都应当不同。如果某些参数没有变化说明这部分模型要么失效要么根本没有挂到计算图上。仓库里的 tests/tts_tests/test_tacotron_model.py 就是这套模式的现成范例model_ref copy.deepcopy(model)保存基准权重跑若干步forwardbackwardoptimizer.step()后断言(param ! param_ref).any()失败时打印参数序号和形状。第八步定义 MyModelConfig把MyModelConfig放在TTS/tts/configs/下文档原文写作TTS/models/configs当前仓库中的实际目录是 TTS/tts/configs/。兼容Trainer只需继承BaseTTSConfig定义在 TTS/tts/configs/shared_configs.py。如果定义了MyModelArgs应把它作为一个字段包含进配置其余字段定义模型专属的值和参数。现成的参照是 GlowTTSConfig一个dataclass类继承BaseTTSConfig包含model: str glow_tts这样的模型名标识以及编码器类型、通道数、优化器、学习率等字段。BaseTTSConfig已经提供数据集、分桶、优化器、test_sentences等所有 TTS 模型共享的字段你的配置类只需补充本模型的差异项。第九步写 Docstring文档原话We love you more when you document your code. 这是流程的最后一步也是提交代码前的收尾。接入训练并验证你的模型模型实现完成后验证路径和训练已有模型完全一致可参照 训练模型文档参照 recipes 写训练脚本。recipes 位于 recipes/官方说明它们是Nervous Beginners的良好起点不承诺完美模型。以 recipes/ljspeech/glow_tts/train_glowtts.py 为例核心流程是配置dataset_config匹配你的数据集 →load_tts_samples加载训练/验证样本 → 实例化模型model GlowTTS(config, ap, tokenizer, speaker_managerNone)→ 创建Trainer并调用trainer.fit()。你的自定义模型替换GlowTTS即可。运行训练CUDA_VISIBLE_DEVICES0 python train_glowtts.pyCUDA_VISIBLE_DEVICES指定训练 GPU可用nvidia-smi查看系统上的 GPU。多卡 DDP 训练CUDA_VISIBLE_DEVICES0, 1, 2 python -m trainer.distribute --script path_to_your_script/train_glowtts.py其中path_to_your_script需要替换为你自己的训练脚本路径。监控训练。启动 Tensorboard 指向训练输出目录tensorboard --logdirpath to your training directory训练开始时终端会打印实验目录、AudioProcessor 参数、模型参数量、DataLoader 初始化信息样本数、序列长度统计以及逐步的 loss、学习率等。文档中给出的 GlowTTS 训练日志开头含loss: 2.34670、log_mle: 1.61872等数值仅作为日志格式示例你的模型参数和 loss 数值不会与此相同。用tts命令做推理验证--model_path、--config_path、--out_path替换为你实际的 checkpoint 文件、config.json 和输出目录路径tts --text Text for TTS \ --model_path path/to/checkpoint_x.pth \ --config_path path/to/config.json \ --out_path folder/to/save/output.wav限制与后续Trainer是独立于本仓库的单独项目trainer包BaseTrainerModel即继承自其TrainerModelTrainer API 文档只给出了外部链接具体TrainerArgs、trainer.fit()的行为需要查阅 Trainer 项目本身。损失字典中每一项都会进 Tensorboard键名即图表名——给测试用的临时损失起名时留意这一点。模型跑通训练与推理之后若要支持多说话人BaseTTS已内置SpeakerManager相关逻辑use_speaker_embedding/use_d_vector_file两种模式可作为下一步扩展方向。【免费下载链接】TTS - a deep learning toolkit for Text-to-Speech, battle-tested in research and production项目地址: https://gitcode.com/GitHub_Trending/tt/TTS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
