MiniCPM-o-2_6数据处理问题

[jinzhuoran]

Reminder

• I have read the above rules and searched the existing issues.

System Info

当输入单张图片时，https://github.com/hiyouga/LLaMA-Factory/blob/main/src/llamafactory/data/mm_plugin.py#L555 会计算valid_image_nums=3，这可能是由于https://github.com/hiyouga/LLaMA-Factory/blob/main/src/llamafactory/data/mm_plugin.py#L551 中的 input_ids_ == processor.tokenizer.slice_end_id 导致的，一个图片会被分成多个slice

然而这会导致https://github.com/hiyouga/LLaMA-Factory/blob/main/src/llamafactory/data/mm_plugin.py#L519 计算错误，例如在一个batch中靠前的数据会分配多张图片，而靠后的样本则为空图片，可能是因为没有利用https://github.com/hiyouga/LLaMA-Factory/blob/main/src/llamafactory/data/mm_plugin.py#L538 这个参数。

想请教一下如何解决这个问题？

Reproduction

Put your message here.

Others

No response

[jinzhuoran]

问题感觉是出在 https://github.com/hiyouga/LLaMA-Factory/blob/main/src/llamafactory/data/mm_plugin.py#L492 这个函数

[hiyouga]

cc @BUAADreamer

[BUAADreamer]

参考这个pr改一下看看是不是正常了？ @jinzhuoran

#6801

[jinzhuoran]

感谢回复，问题已经解决

[jinzhuoran]

另外汇报一个问题，设置setattr(config, "init_audio", True)，当输入不包含audio数据的时候，似乎会报错

input_embeddings = input_embeddings + audio_embeddings[0].mean() * 0
IndexError: list index out of range

可能需要对audio输入做一些空输入的操作

[hiyouga]

@jinzhuoran 贴一下代码行数？

[jinzhuoran]

报错的代码在minicpm https://huggingface.co/openbmb/MiniCPM-o-2_6/blob/main/modeling_minicpmo.py#L615

[BUAADreamer]

更新最新的modeling_minicpmo.py 代码即可

[BUAADreamer]

@jinzhuoran 现在正常了嘛

[jinzhuoran]

感谢，现在已经正常了