[Bad Case]: 使用LoRA微调后效果很差

[LiangYong1216]

Description / 描述

当使用你们提供的LoRA微调脚本和广告数据集进行微调后，输出效果很差（issue区大部分微调效果都不好），我不能确定是否自己写的调用代码有问题，所以请你们提供一个经过LoRA微调后的脚本，或者使用目前的广告数据集微调的话，需要修改那些参数？

Case Explaination / 案例解释

No response

[Ishiki-Iroha]

我lora微调的效果还可以，下面是参数

deepspeed --include localhost:0,1,2,3,4,5,6,7 finetune.py \
    --model_name_or_path /data01/models/open_source/MiniCPM-2B-sft-fp32 \
    --output_dir /data01/models/fine_tuned/MiniCPM/cr_6b/ \
    --train_data_path /home/MiniCPM/data/cr_6b_glm.json \
    --eval_data_path /home/MiniCPM/data/cr_ori_clean_glm3/markdown_2367.json \
    --learning_rate 1e-3 --per_device_train_batch_size 2 \
    --per_device_eval_batch_size 1 --fp16 --use_lora \
    --gradient_accumulation_steps 1 --warmup_steps 100 \
    --model_max_length 5000 \
    --max_steps 8000 --weight_decay 0.01 \
    --evaluation_strategy steps --eval_steps 500 \
    --save_strategy steps --save_steps 500 --seed 42 \
    --log_level info --logging_strategy steps --logging_steps 10 \
    --deepspeed configs/ds_config_zero2.json

我就改了per_device_train_batch_size，增加了model_max_length，修改了deepspeed的配置文件，改成了zero2

[LiangYong1216]

你用的什么数据集啊，没使用他提供的那个广告数据集吧？我用那个广告的就很差！！！

[Ishiki-Iroha]

你用的什么数据集啊，没使用他提供的那个广告数据集吧？我用那个广告的就很差！！！

我用的自己构造的下游任务数据集，没用广告的

[SwordFaith]

抱歉给您带来的不便，之前开源的代码中确实存在 bug，目前已经尝试修复，具体的性能测试还在跟进

[LiangYong1216]

好的，有消息的话及时通知，我还是挺看好这个模型的

[xdedmyyds]

你用的什么数据集啊，没使用他提供的那个广告数据集吧？我用那个广告的就很差！！！

我用的自己构造的下游任务数据集，没用广告的

你好，能否加一个联系方式，请教你一下微调minicpm，我也是微调下游数据集，比较急，谢谢

[Ishiki-Iroha]

你用的什么数据集啊，没使用他提供的那个广告数据集吧？我用那个广告的就很差！！！

我用的自己构造的下游任务数据集，没用广告的

你好，能否加一个联系方式，请教你一下微调minicpm，我也是微调下游数据集，比较急，谢谢

我没改过微调代码，说实话没啥经验可以交流；我这边的训练环境是8xH800 80G，包版本如下

accelerate                0.26.1
deepspeed                 0.13.1
peft                      0.7.1
torch                     2.1.2
transformers              4.39.0.dev0

[joyyang1215]

請問dataset的數量是多少?