Skip to content

Inference可以支持Batch处理吗?以及finetune.py是否可以支持自定义system prompt #25

Description

@WeitengHu

我看目前的infer.py是单样本处理的,可不可以考虑后续支持一下批量batch处理呢?
finetune.py目前写死了system id,可不可以考虑后续在数据集格式中加入system字段,然后可以自定义system?

Metadata

Metadata

Assignees

No one assigned

    Labels

    No labels
    No labels

    Type

    No type

    Projects

    No projects

    Milestone

    No milestone

    Relationships

    None yet

    Development

    No branches or pull requests

    Issue actions