Qwen2-VL视频数据训练报错：cannot reshape array of size xxx into shape (xx,2,3,9,2,14,7,2,14)

[yunkchen]

Reminder

• I have read the README and searched the existing issues.

System Info

• llamafactory version: 0.9.1.dev0
• Platform: Linux-4.19.91-009.ali4000.alios7.x86_64-x86_64-with-glibc2.35
• Python version: 3.10.12
• PyTorch version: 2.3.0a0+ebedce2
• Transformers version: 4.45.2
• Datasets version: 2.21.0
• Accelerate version: 0.34.2
• PEFT version: 0.12.0
• TRL version: 0.9.6
• DeepSpeed version: 0.15.1

Reproduction

https://pai-aigc-photog-wlcb.oss-cn-wulanchabu.aliyuncs.com/TDS1M/video/335946748474.mp4

可用来复现的其中一个视频

Expected behavior

部分视频编码方式或最后帧出错问题，会导致total_frame与遍历的总数差一帧；
建议换成torchvision来解码；
此外希望能增加数据出错的try逻辑，来避免一些数据下载失败导致的训练中断。

Others

No response

[ApolloRay]

存在丢帧的问题？少一帧

[ApolloRay]

如果抽的帧数是奇数，在image_processing_qwen2_vl中grid_t = patches.shape[0] // self.temporal_patch_size整除会丢失信息，感觉加一个repeat首帧或者尾帧就好了。保证可以整除

[ApolloRay]

在mm_plugin.py中的_regularize_videos函数增加
if len(frames) % 2 != 0: frames.append(frames[-1])
可以解决这个问题。

[hiyouga]

关于这个问题，我们理应已经在 qwen2vl 的视频采样里面加了这个判断，是没有生效吗？
https://github.com/hiyouga/LLaMA-Factory/blob/22ee197a40566cec092f957dd81458bf00caf9fa/src/llamafactory/data/mm_plugin.py#L539-L543

[yunkchen]

关于这个问题，我们理应已经在 qwen2vl 的视频采样里面加了这个判断，是没有生效吗？

https://github.com/hiyouga/LLaMA-Factory/blob/22ee197a40566cec092f957dd81458bf00caf9fa/src/llamafactory/data/mm_plugin.py#L539-L543

这里只是确保视频抽帧前准备要取的帧数是偶数，但是真正用pyav库的那段代码并不一定能按期望的sample_frame数量来抽帧，一般发生错误时都是少了末尾一帧，导致最终真实的帧数是奇数，后面就会报错。

[hiyouga]

ok 回头我再修修

[MikeWangWZHL]

got the same issue, any updates? thank you so much!

[hiyouga]

fixed