MindSpeed_GemmQ 标签

v1.0.RC3_core_r0.6.0

e2f87dc

2024-10-28 22:50

下载

v1.0.RC3_core_r0.7.0

be07955

2024-10-28 22:50

下载

v1.0.RC2

## Megatron-LM支持
- 对接 [NVIDIA Megatron Core 0.6.0](https://github.com/NVIDIA/Megatron-LM/tree/core_v0.6.0)
- 支持 Megatron-LM 原生并行策略，例如： EP + TP + DP + SP + PP
- 支持 Megatron-LM 分布式优化器

## 算法方案
- MoE
    - 支持 Megatron-LM token dropless及Top-K路由的MoE方案
    - 支持 DeepSpeed Capacity及Top1/Top2专家路由的MoE方案

## 并行策略
- 长序列
    - 支持负载均衡的RingAttention长序列并行
    - 支持Ulysses长序列并行
    - 支持Hybrid(RingAttention-Ulysses)混合长序列并行

## 内存优化
- BF16参数副本复用
- Flash Attention中atten_mask压缩及归一
- 激活函数重计算(Prototype)

## 通信优化
- Token-dropless-MoE AllgatherDispatcher/AlltoAllDispatcher通信掩盖
- RingAttention长序列并行send/recv多流掩盖
- 流水并行（PP）send/recv多流掩盖
- MC2 TP通信计算融合(Prototype)( **仅支持CANN 8.0.RC2和Ascend HDK 24.1.RC2及以上版本** )

## 计算优化
- Capacity MoE方案token重排性能优化
- 支持 rms_norm/swiglu/rotary_embedding算子融合
- Token-dropless-MoE token重排/反重排昇腾亲和优化

## 融合算子
- 新增 npu_rotary_position_embedding融合算子
- 新增 ffn 融合算子(Prototype)
- 新增 fusion_attention 融合算子(Prototype)
- 新增 npu_mm_all_reduce_add_rms_norm 融合算子(Prototype)
- 新增 npu_mm_all_reduce_add_rms_norm_ 融合算子(Prototype)
- 新增 npu_grouped_mat_mul 融合算子(Prototype)
- 新增 npu_grouped_mat_mul_all_reduce 融合算子(Prototype)

6ef21aa

2024-07-16 21:17

下载

v1.1.0

6ef21aa

2024-07-16 21:17

下载