同步操作将从 MindSpore/mindformers 强制同步,此操作会覆盖自 Fork 仓库以来所做的任何修改,且无法恢复!!!
确定后同步将在后台操作,完成时将刷新页面,请耐心等待。
MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件,提供业内主流的Transformer类预训练模型和SOTA下游任务应用,涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。
MindSpore Transformers套件基于MindSpore内置的并行技术和组件化设计,具备如下特点:
如果您对MindSpore Transformers有任何建议,请通过issue与我们联系,我们将及时处理。
MindFormers已支持大部分模型的LoRA微调以及LoRA权重合并功能,具体可参考各模型文档启动模型的LoRA微调任务。
当前MindFormers支持的模型列表如下:
模型 | 参数 | 序列 | 预训练 | 微调 | 推理 | LoRA | 对话 | 评估 |
---|---|---|---|---|---|---|---|---|
LLaMA2 | 7B | 4K | ✓ | ✓ | generate | ✓ | ✓ | PPL |
13B | 4K | ✓ | ✓ | generate | ✓ | ✓ | PPL | |
70B | 4K | ✓ | ✓ | generate | ✓ | ✓ | PPL | |
LLaMA3 | 8B | 8K | - | ✓ | generate | - | ✓ | - |
70B | 8K | ✓ | ✓ | generate | - | ✓ | - | |
Baichuan2 | 7B | 4K | - | ✓ | generate | ✓ | ✓ | PPL |
13B | 4K | - | ✓ | generate | ✓ | ✓ | PPL | |
GLM2 | 6B | 2K | - | ✓ | generate | ✓ | ✓ | PPL / Rouge |
GLM3 | 6B | 2K | - | ✓ | generate | - | ✓ | - |
GLM3-32K | 6B | 32K | - | ✓ | generate | - | ✓ | - |
Qwen | 7B | 8K | - | ✓ | docs | ✓ | ✓ | C-Eval |
14B | 8K | - | ✓ | docs | ✓ | ✓ | C-Eval | |
Qwen1.5 | 7B | 32K | ✓ | ✓ | docs | - | ✓ | - |
14B | 32K | ✓ | ✓ | docs | - | ✓ | - | |
72B | 32K | ✓ | ✓ | docs | - | ✓ | - | |
QwenVL | 9.6B | 2K | - | ✓ | generate | - | ✓ | - |
InternLM | 7B | 2K | - | ✓ | generate | ✓ | ✓ | PPL |
20B | 2K | - | ✓ | generate | ✓ | ✓ | PPL | |
InternLM2 | 7B | 2K | - | ✓ | generate | - | ✓ | - |
20B | 4K | - | - | generate | - | ✓ | - | |
Yi | 6B | 2K | - | ✓ | generate | ✓ | ✓ | - |
34B | 4K | ✓ | ✓ | generate | ✓ | ✓ | - | |
Mixtral | 8x7B | 32K | ✓ | ✓ | docs | ✓ | ✓ | - |
DeepSeek Coder | 33B | 4K | - | ✓ | docs | ✓ | ✓ | - |
CodeLlama | 34B | 4K | ✓ | ✓ | generate | ✓ | ✓ | HumanEval |
GPT2 | 13B | 2K | ✓ | ✓ | generate | ✓ | ✓ | PPL |
当前支持的硬件为Atlas 800T A2训练服务器。
当前套件建议使用的Python版本为3.10。
MindFormers | MindPet | MindSpore | CANN | 驱动固件 | 镜像链接 | 备注 |
---|---|---|---|---|---|---|
r1.2.0 | 1.0.4 | 2.3.0 | 8.0.RC2.beta1 aarch64 x86_64 |
driver | image | 版本分支 |
当前MindFormers仅支持如上的软件配套关系。其中CANN和固件驱动的安装需与使用的机器匹配,请注意识别机器型号,选择对应架构的版本。
MindFormers目前支持源码编译安装,用户可以执行如下命令进行安装。
git clone -b r1.2.0 https://gitee.com/mindspore/mindformers.git
cd mindformers
bash build.sh
MindFormers支持模型启动预训练、微调、推理、评测等功能,可点击支持模型中模型名称查看文档完成上述任务,以下为模型分布式启动方式的说明与示例。
MindFormers推荐使用分布式方式拉起模型训练、推理等功能,目前提供scripts/msrun_launcher.sh
分布式启动脚本作为模型的主要启动方式,msrun
特性说明可以参考msrun启动。
该脚本主要输入参数说明如下:
参数 | 单机是否必选 | 多机是否必选 | 默认值 | 说明 |
---|---|---|---|---|
WORKER_NUM | ✓ | ✓ | 8 | 所有节点中使用计算卡的总数 |
LOCAL_WORKER | - | ✓ | 8 | 当前节点中使用计算卡的数量 |
MASTER_ADDR | - | ✓ | 127.0.0.1 | 指定分布式启动主节点的ip |
MASTER_PORT | - | ✓ | 8118 | 指定分布式启动绑定的端口号 |
NODE_RANK | - | ✓ | 0 | 指定当前节点的rank id |
LOG_DIR | - | ✓ | output/msrun_log | 日志输出路径,若不存在则递归创建 |
JOIN | - | ✓ | False | 是否等待所有分布式进程退出 |
CLUSTER_TIME_OUT | - | ✓ | 600 | 分布式启动的等待时间,单位为秒 |
注:如果需要指定
device_id
启动,可以设置环境变量ASCEND_RT_VISIBLE_DEVICES
,如要配置使用2、3卡则输入export ASCEND_RT_VISIBLE_DEVICES=2,3
。
# 1. 单机多卡快速启动方式,默认8卡启动
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}"
# 2. 单机多卡快速启动方式,仅设置使用卡数即可
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" WORKER_NUM
# 3. 单机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" \
WORKER_NUM MASTER_PORT LOG_DIR JOIN CLUSTER_TIME_OUT
使用示例
# 单机多卡快速启动方式,默认8卡启动
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config path/to/xxx.yaml \
--run_mode finetune"
# 单机多卡快速启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config path/to/xxx.yaml \
--run_mode finetune" 8
# 单机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config path/to/xxx.yaml \
--run_mode finetune" \
8 8118 output/msrun_log False 300
多机多卡执行脚本进行分布式训练需要分别在不同节点运行脚本,并将参数MASTER_ADDR设置为主节点的ip地址, 所有节点设置的ip地址相同,不同节点之间仅参数NODE_RANK不同。
# 多机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" \
WORKER_NUM LOCAL_WORKER MASTER_ADDR MASTER_PORT NODE_RANK LOG_DIR JOIN CLUSTER_TIME_OUT
使用示例
# 节点0,节点ip为192.168.1.1,作为主节点,总共8卡且每个节点4卡
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" \
8 4 192.168.1.1 8118 0 output/msrun_log False 300
# 节点1,节点ip为192.168.1.2,节点0与节点1启动命令仅参数NODE_RANK不同
bash scripts/msrun_launcher.sh "run_mindformer.py \
--config {CONFIG_PATH} \
--run_mode {train/finetune/eval/predict}" \
8 4 192.168.1.1 8118 1 output/msrun_log False 300
MindFormers提供run_mindformer.py
脚本作为单卡启动方法,该脚本可以根据模型配置文件,完成支持模型的单卡训练、微调、评估、推理流程。
# 运行run_mindformer.py的入参会覆盖模型配置文件中的参数
python run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}
欢迎参与社区贡献,可参考MindSpore贡献要求Contributor Wiki。
此处可能存在不合适展示的内容,页面不予展示。您可通过相关编辑功能自查并修改。
如您确认内容无涉及 不当用语 / 纯广告导流 / 暴力 / 低俗色情 / 侵权 / 盗版 / 虚假 / 无价值内容或违法国家有关法律法规的内容,可点击提交进行申诉,我们将尽快为您处理。