如何进行图片中特定内容描述？

[Guangming92]

例如提供的traindata中的图片，如何微调训练，只对图片中狗进行描述？训练数据如何准备？
复现您给到的案例，有个问题，就是已经添加了torch_dtype=torch.bfloat16, attn_implementation='flash_attention_2'，我用的是4090，24G显存，迭代第一步以后，显存就不够用了~还有什么办法可以降低一下吗？

[zhangfaen]

还可以：

1. batch_size改为1
2. 把这句中的processor = AutoProcessor.from_pretrained("Qwen/Qwen2-VL-2B-Instruct", min_pixels=2562828, max_pixels=5122828, padding_side="right") 中的 min_pixes 和 max_pixels 都改的更小，比如 128 * 28 * 28