lora_base_model疑问

[taylover-pei]

您好，感谢您们的开源工作。

我是一个初学者，有一个疑问，我发现 lora_base_model 好像只支持单个模块的lora微调，比如说 vace 或 dit。即我的训练脚本参数传入 --lora_base_model "vace" 或 --lora_base_model "dit" 都可以，但是传入 --lora_base_model "vace,dit" 就报错。

我想微调一个视频 inpainting 的任务，想尝试同时微调 dit 和 vace，当前框架貌似不支持，是出于什么考虑呢？还是说我仅仅微调 dit 或 vace 就够了呢？

期待您们的回答

[Artiprocher]

@taylover-pei 这是一个合理的需求，但会让我们的参数结构设计变得复杂，所以我们暂时只支持单个模型的 lora 训练。如果你想要实现这个功能，你可以自行调用这个函数：https://github.com/modelscope/DiffSynth-Studio/blob/main/diffsynth/diffusion/training_module.py#L29