1 Star 0 Fork 738

jiangchenglin3/mindformers

forked from MindSpore/mindformers 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
README.md 21.00 KB
一键复制 编辑 原始数据 按行查看 历史
Lin 提交于 5个月前 . update README.md.

欢迎来到MindSpore Transformers(MindFormers)

LICENSE Downloads PyPI PyPI - Python Version

一、介绍

MindSpore Transformers套件的目标是构建一个大模型训练、微调、评估、推理、部署的全流程开发套件,提供业内主流的Transformer类预训练模型和SOTA下游任务应用,涵盖丰富的并行特性。期望帮助用户轻松的实现大模型训练和创新研发。

MindSpore Transformers套件基于MindSpore内置的并行技术和组件化设计,具备如下特点:

  • 一行代码实现从单卡到大规模集群训练的无缝切换;
  • 提供灵活易用的个性化并行配置;
  • 能够自动进行拓扑感知,高效地融合数据并行和模型并行策略;
  • 一键启动任意任务的单卡/多卡训练、微调、评估、推理流程;
  • 支持用户进行组件化配置任意模块,如优化器、学习策略、网络组装等;
  • 提供Trainer、pipeline、AutoClass等高阶易用性接口;
  • 提供预置SOTA权重自动下载及加载功能;
  • 支持人工智能计算中心无缝迁移部署;

如果您对MindSpore Transformers有任何建议,请通过issue与我们联系,我们将及时处理。

支持模型

MindFormers已支持大部分模型的LoRA微调以及LoRA权重合并功能,具体可参考各模型文档启动模型的LoRA微调任务。

当前MindFormers支持的模型列表如下:

模型 参数 序列 预训练 微调 推理 LoRA 对话 评估
LLaMA2 7B 4K generate PPL
13B 4K generate PPL
70B 4K generate PPL
LLaMA3 8B 8K - generate - -
70B 8K generate - -
Baichuan2 7B 4K - generate PPL
13B 4K - generate PPL
GLM2 6B 2K - generate PPL / Rouge
GLM3 6B 2K - generate - -
GLM3-32K 6B 32K - generate - -
Qwen 7B 8K - docs C-Eval
14B 8K - docs C-Eval
Qwen1.5 7B 32K docs - -
14B 32K docs - -
72B 32K docs - -
QwenVL 9.6B 2K - generate - -
InternLM 7B 2K - generate PPL
20B 2K - generate PPL
InternLM2 7B 2K - generate - -
20B 4K - - generate - -
Yi 6B 2K - generate -
34B 4K generate -
Mixtral 8x7B 32K docs -
DeepSeek Coder 33B 4K - docs -
CodeLlama 34B 4K generate HumanEval
GPT2 13B 2K generate PPL

二、安装

版本匹配关系

当前支持的硬件为Atlas 800T A2训练服务器。

当前套件建议使用的Python版本为3.10。

MindFormers MindPet MindSpore CANN 驱动固件 镜像链接 备注
r1.2.0 1.0.4 2.3.0 8.0.RC2.beta1
aarch64
x86_64
driver image 版本分支

当前MindFormers仅支持如上的软件配套关系。其中CANN和固件驱动的安装需与使用的机器匹配,请注意识别机器型号,选择对应架构的版本。

源码编译安装

MindFormers目前支持源码编译安装,用户可以执行如下命令进行安装。

git clone -b r1.2.0 https://gitee.com/mindspore/mindformers.git
cd mindformers
bash build.sh

三、使用指南

MindFormers支持模型启动预训练、微调、推理、评测等功能,可点击支持模型中模型名称查看文档完成上述任务,以下为模型分布式启动方式的说明与示例。

MindFormers推荐使用分布式方式拉起模型训练、推理等功能,目前提供scripts/msrun_launcher.sh分布式启动脚本作为模型的主要启动方式,msrun特性说明可以参考msrun启动。 该脚本主要输入参数说明如下:

参数 单机是否必选 多机是否必选 默认值 说明
WORKER_NUM 8 所有节点中使用计算卡的总数
LOCAL_WORKER - 8 当前节点中使用计算卡的数量
MASTER_ADDR - 127.0.0.1 指定分布式启动主节点的ip
MASTER_PORT - 8118 指定分布式启动绑定的端口号
NODE_RANK - 0 指定当前节点的rank id
LOG_DIR - output/msrun_log 日志输出路径,若不存在则递归创建
JOIN - False 是否等待所有分布式进程退出
CLUSTER_TIME_OUT - 600 分布式启动的等待时间,单位为秒

注:如果需要指定device_id启动,可以设置环境变量ASCEND_RT_VISIBLE_DEVICES,如要配置使用2、3卡则输入export ASCEND_RT_VISIBLE_DEVICES=2,3

单机多卡

# 1. 单机多卡快速启动方式,默认8卡启动
bash scripts/msrun_launcher.sh "run_mindformer.py \
  --config {CONFIG_PATH} \
  --run_mode {train/finetune/eval/predict}"

# 2. 单机多卡快速启动方式,仅设置使用卡数即可
bash scripts/msrun_launcher.sh "run_mindformer.py \
  --config {CONFIG_PATH} \
  --run_mode {train/finetune/eval/predict}" WORKER_NUM

# 3. 单机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
  --config {CONFIG_PATH} \
  --run_mode {train/finetune/eval/predict}" \
  WORKER_NUM MASTER_PORT LOG_DIR JOIN CLUSTER_TIME_OUT
  • 使用示例

    # 单机多卡快速启动方式,默认8卡启动
    bash scripts/msrun_launcher.sh "run_mindformer.py \
      --config path/to/xxx.yaml \
      --run_mode finetune"
    
    # 单机多卡快速启动方式
    bash scripts/msrun_launcher.sh "run_mindformer.py \
      --config path/to/xxx.yaml \
      --run_mode finetune" 8
    
    # 单机多卡自定义启动方式
    bash scripts/msrun_launcher.sh "run_mindformer.py \
      --config path/to/xxx.yaml \
      --run_mode finetune" \
      8 8118 output/msrun_log False 300
    

多机多卡

多机多卡执行脚本进行分布式训练需要分别在不同节点运行脚本,并将参数MASTER_ADDR设置为主节点的ip地址, 所有节点设置的ip地址相同,不同节点之间仅参数NODE_RANK不同。

# 多机多卡自定义启动方式
bash scripts/msrun_launcher.sh "run_mindformer.py \
 --config {CONFIG_PATH} \
 --run_mode {train/finetune/eval/predict}" \
 WORKER_NUM LOCAL_WORKER MASTER_ADDR MASTER_PORT NODE_RANK LOG_DIR JOIN CLUSTER_TIME_OUT
  • 使用示例

    # 节点0,节点ip为192.168.1.1,作为主节点,总共8卡且每个节点4卡
    bash scripts/msrun_launcher.sh "run_mindformer.py \
      --config {CONFIG_PATH} \
      --run_mode {train/finetune/eval/predict}" \
      8 4 192.168.1.1 8118 0 output/msrun_log False 300
    
    # 节点1,节点ip为192.168.1.2,节点0与节点1启动命令仅参数NODE_RANK不同
    bash scripts/msrun_launcher.sh "run_mindformer.py \
      --config {CONFIG_PATH} \
      --run_mode {train/finetune/eval/predict}" \
      8 4 192.168.1.1 8118 1 output/msrun_log False 300
    

单卡启动

MindFormers提供run_mindformer.py脚本作为单卡启动方法,该脚本可以根据模型配置文件,完成支持模型的单卡训练、微调、评估、推理流程。

# 运行run_mindformer.py的入参会覆盖模型配置文件中的参数
python run_mindformer.py --config {CONFIG_PATH} --run_mode {train/finetune/eval/predict}

四、贡献

欢迎参与社区贡献,可参考MindSpore贡献要求Contributor Wiki

五、许可证

Apache 2.0许可证

Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
Python
1
https://gitee.com/jiangchenglin3/mindformers.git
git@gitee.com:jiangchenglin3/mindformers.git
jiangchenglin3
mindformers
mindformers
r1.2.0

搜索帮助