多模态模型 KTO

[BITDDD]

Reminder

• I have read the above rules and searched the existing issues.

System Info

想问下现在支持 MLLM 模型的 KTO 训练吗，我使用 LLava-1.6-next KTO 目前会报错 0.0

Reproduction

Put your message here.

Others

No response

[hiyouga]

会报什么错？

[BITDDD]

DPO 报错，尝试了增加 cut_off_len 和减少 image_max_pixels 都无效

KTO 报错

[BITDDD]

会报什么错？

hello，感谢修复，拉了最新的分支 LLava 已经可以使用了，但是最后会报错下面这个错，但是我的脚本里并没有开启 val 相关的参数

`### model
model_name_or_path: /llava_short-1-6-20250407-ck3
report_to: wandb

method

stage: kto
do_train: true
finetuning_type: lora
lora_target: all
deepspeed: /LLaMA-Factory/examples/deepspeed/ds_z3_offload_config.json

dataset

dataset: kto_en_demo
template: llava_next
cutoff_len: 25600
max_samples: 30000
overwrite_cache: true
preprocessing_num_workers: 4

output

output_dir: /ckpt/llava1_6-short-1-6-kto
logging_steps: 10
save_strategy: epoch
plot_loss: true
overwrite_output_dir: true

train

per_device_train_batch_size: 1
gradient_accumulation_steps: 8
learning_rate: 1.0e-4
num_train_epochs: 3.0
lr_scheduler_type: cosine
warmup_ratio: 0.1
bf16: true
ddp_timeout: 180000000`

[hiyouga]

已修复：#7635

[BITDDD]

已修复：#7635

我再试下，感谢大佬👍🏻

[BITDDD]

已修复：#7635
hello 大佬，我试了下 DPO 已经没问题了，但是使用修复的分支运行 kto 时，会显示下述错误:

我的 KTO 数据集的样本是如下形式，想确定下是否正确，因为 examples 里当前只有 DPO 的 rlhf_v 的数据集，不太确定是否是我的数据样式不对:
{
"messages": [
{
"content": "Prompt",
"role": "user"
},
{
"content": "Response",
"role": "assistant"
}
],
"images": [
"1.jpg",
"2.jpg",
"3.jpg"
],
"label": false
}

[hiyouga]

对

[BITDDD]

对

我按照 KTO-EN demo 的数据设置了 kto_tag 的 key 是 label，这里 images 是按照 mllm 训练的样式给的，还有什么可能的问题呀 0.0