File tree Expand file tree Collapse file tree 3 files changed +8
-2
lines changed
Expand file tree Collapse file tree 3 files changed +8
-2
lines changed Original file line number Diff line number Diff line change 3636** XVERSE-13B-2-Chat** 为 ** XVERSE-13B-2** 底座模型对齐后的版本。
3737
3838对齐阶段,不同能力类型数据的采样比例如下所示:
39+
3940<img src =" resources/chat_train_data.png " >
4041
4142## 评测结果
Original file line number Diff line number Diff line change 3636** XVERSE-13B-2-Chat** is the aligned version of model ** XVERSE-13B-2** .
3737
3838In the alignment, the sampling ratio of data of different capability types is as follows:
39- <img src =" resources/chat_train_data.png " >
39+ | | Code | Math | Chat | Role-Play | Agent | QA | Text-Gen | Security | Logic | NLU |
40+ | :-------:| :--------:| :--------:| :--------:| :--------:| :--------:| :--------:| :--------:| :--------:| :--------:| :--------:|
41+ | Ratio(%) | 21.2 | 18.6 | 12.4 | 11.3 | 9.8 | 6.8 | 5.4 | 5.1 | 4.8 | 4.6 |
4042
4143## Model Evaluation
4244
Original file line number Diff line number Diff line change 3434- ** トレーニングフレームワーク** : 効率的な演算子、メモリの最適化、並列スケジューリング戦略、データ-計算-通信のオーバーラップ、プラットフォームとフレームワーク間の相乗効果など、いくつかの重要な技術も独自に開発されています。これらの進歩により、トレーニング効率とモデルの安定性が向上しました。これらの技術により、1,000 枚クラスタのピーク演算能力利用率は 58.5% に達し、業界の最先端を走っています。
3535
3636** XVERSE-13B-2-Chat** は、** XVERSE-13B-2** ベース モデルの調整バージョンです。
37+
3738調整段階では、さまざまな機能タイプのデータのサンプリング率は次のとおりです:
38- <img src =" resources/chat_train_data.png " >
39+ | | Code | Math | Chat | Role-Play | Agent | QA | Text-Gen | Security | Logic | NLU |
40+ | :-------:| :--------:| :--------:| :--------:| :--------:| :--------:| :--------:| :--------:| :--------:| :--------:| :--------:|
41+ | Ratio(%) | 21.2 | 18.6 | 12.4 | 11.3 | 9.8 | 6.8 | 5.4 | 5.1 | 4.8 | 4.6 |
3942
4043## モデル評価
4144
You can’t perform that action at this time.
0 commit comments