Qwen2和Qwen2.5的代码为什么在output之后加的是pad_token_id而不是eos_token_id，这有什么影响吗？

[zihao-ai]

[KMnO4-zx]

没有影响，Qwen2.5 的 pad_token_id 和 eos_token_id 是一样的

[HarryTMa]

没有影响，Qwen2.5 的 pad_token_id 和 eos_token_id 是一样的

您好！经查看发现，Qwen2.5的带instruct的模型的tokenizer的pad_token和eos_token不一样，前者是<|endoftext|>（id为151643），后者是<|im_end|>（id为151645）；不带instruct的模型的pad_token和eos_token是一样的，都是<|endoftext|>

[KMnO4-zx]

感谢您的提醒！我们会抓紧修改一下！

[Guncuke]

没有影响，Qwen2.5 的 pad_token_id 和 eos_token_id 是一样的

您好！经查看发现，Qwen2.5的带instruct的模型的tokenizer的pad_token和eos_token不一样，前者是<|endoftext|>（id为151643），后者是<|im_end|>（id为151645）；不带instruct的模型的pad_token和eos_token是一样的，都是<|endoftext|>

我觉得应该补一个<|im_end|> 然后后面接<|endoftext|>，不然最后一句用户的im没有闭合