两步训练中vq不一致的疑惑

[NiHaoUCAS]

有个疑惑请教一下， 我看在s1_train的数据处理中用到了预训练的vq，然后在s2_train里面会load预训练的vq模型，然后微调vq， 如果按照s1 --> s2的顺序来微调， 岂不是会发生两步的vq不匹配？

[ChasonJiang]

有个疑惑请教一下， 我看在s1_train的数据处理中用到了预训练的vq，然后在s2_train里面会load预训练的vq模型，然后微调vq， 如果按照s1 --> s2的顺序来微调， 岂不是会发生两步的vq不匹配？

在fine tuning的时候，vq是固定的，不产生loss。

[NiHaoUCAS]

有个疑惑请教一下， 我看在s1_train的数据处理中用到了预训练的vq，然后在s2_train里面会load预训练的vq模型，然后微调vq， 如果按照s1 --> s2的顺序来微调， 岂不是会发生两步的vq不匹配？

在fine tuning的时候，vq是固定的，不产生loss。

requires_grad_ 为False只能保证codebook不通过梯度来更新，在代码中，codebook是通过register_buffer来注册的，本身就没有梯度。 然而，codebook还可能通过类似batch norm中的running_mean类似的方式来更新，也就是用一个新的值来覆盖原来的值，事实上，这种情况也确实发生了，发生在这里https://github.com/RVC-Boss/GPT-SoVITS/blob/main/GPT_SoVITS/module/core_vq.py#L229 。

我对比了微调前后的quantizer.vq.layers.0._codebook.embed， 确实发生了变化。

[ChasonJiang]

有个疑惑请教一下， 我看在s1_train的数据处理中用到了预训练的vq，然后在s2_train里面会load预训练的vq模型，然后微调vq， 如果按照s1 --> s2的顺序来微调， 岂不是会发生两步的vq不匹配？

在fine tuning的时候，vq是固定的，不产生loss。

requires_grad_ 为False只能保证codebook不通过梯度来更新，在代码中，codebook是通过register_buffer来注册的，本身就没有梯度。 然而，codebook还可能通过类似batch norm中的running_mean类似的方式来更新，也就是用一个新的值来覆盖原来的值，事实上，这种情况也确实发生了，发生在这里https://github.com/RVC-Boss/GPT-SoVITS/blob/main/GPT_SoVITS/module/core_vq.py#L229 。

我对比了微调前后的quantizer.vq.layers.0._codebook.embed， 确实发生了变化。

当时我也有这个疑惑，不过我看到requires_grad_ 设置False就以为没有更新。目前看来你是对的👍

[RVC-Boss]

这问题看起来有点大。
就是说s1train完，再trains2的decoder，会出问题…

[NiHaoUCAS]

self.quentizer.eval()应该能解决，只有在self.training = true的时候才会更新权重。

[RVC-Boss]

self.quentizer.eval()

https://github.com/RVC-Boss/GPT-SoVITS/blob/main/GPT_SoVITS/module/models.py#L896
大佬看看现在还会变更吗@NiHaoUCAS

[edward-io]

Shouldn't this be self.quantizer.eval(), not self.quentizer.eval?

[NiHaoUCAS]

self.quentizer.eval()

https://github.com/RVC-Boss/GPT-SoVITS/blob/main/GPT_SoVITS/module/models.py#L896 大佬看看现在还会变更吗@NiHaoUCAS

这样应该不行，因为train_and_evaluate时，会执行net_g.train()，这样queantizer也会随之train(), 我临时解决办法是在SynthesizerTrn的forward中，添加if self.freeze_quantizer: self.quantizer.eval()。

[RVC-Boss]

@NiHaoUCAS #953 现在再看看呢

[RVC-Boss]

此案可结了，楼上修复后，commit_loss是0，修复前的微调，0<commit_loss<1