Skip to content

OVERVIEW.zh.md

Latest commit

 

History

History
158 lines (122 loc) · 10 KB

OVERVIEW.zh.md

File metadata and controls

158 lines (122 loc) · 10 KB
Raw

Triton编译框架 Triton-Ascend

English | [中文]

快速参考

Triton-Ascend

Triton-Ascend是面向昇腾平台构建的Triton编译框架，旨在让Triton代码能够在昇腾硬件上高效运行。详见Triton-Ascend。

支持的Tags及Dockerfile链接

Tag 规范

Tag遵循以下格式：
{triton-ascend版本}-{CANN版本}-{torch_npu版本}-{适用产品}-<操作系统>-<python版本>

字段 示例值
triton-ascend版本 3.2.2
CANN版本 cann9.0.0, cann9.1.0
torch_npu版本 torch_npu2.7.1.post8
适用产品 910b、a3、950
操作系统 ubuntu24.04、openeuler24.03
python版本 py3.11

Triton-Ascend 镜像

Release 3.2.2

镜像内关键组件

组件 版本
Triton-Ascend 3.2.2
CANN 9.1.0
Torch-NPU 2.7.1.post8

镜像列表

镜像标签 Dockerfile 镜像下载命令
3.2.2-cann9.1.0-torch_npu2.7.1.post8-910b-debian12-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.2-cann9.1.0-torch_npu2.7.1.post8-910b-debian12-py3.11
3.2.2-cann9.1.0-torch_npu2.7.1.post8-910b-ubuntu24.04-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.2-cann9.1.0-torch_npu2.7.1.post8-910b-ubuntu24.04-py3.11
3.2.2-cann9.1.0-torch_npu2.7.1.post8-910b-openeuler24.03-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.2-cann9.1.0-torch_npu2.7.1.post8-910b-openeuler24.03-py3.11
3.2.2-cann9.1.0-torch_npu2.7.1.post8-a3-debian12-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.2-cann9.1.0-torch_npu2.7.1.post8-a3-debian12-py3.11
3.2.2-cann9.1.0-torch_npu2.7.1.post8-a3-ubuntu24.04-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.2-cann9.1.0-torch_npu2.7.1.post8-a3-ubuntu24.04-py3.11
3.2.2-cann9.1.0-torch_npu2.7.1.post8-a3-openeuler24.03-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.2-cann9.1.0-torch_npu2.7.1.post8-a3-openeuler24.03-py3.11
3.2.2-cann9.1.0-torch_npu2.7.1.post8-950-debian12-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.2-cann9.1.0-torch_npu2.7.1.post8-950-debian12-py3.11
3.2.2-cann9.1.0-torch_npu2.7.1.post8-950-ubuntu24.04-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.2-cann9.1.0-torch_npu2.7.1.post8-950-ubuntu24.04-py3.11
3.2.2-cann9.1.0-torch_npu2.7.1.post8-950-openeuler24.03-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.2-cann9.1.0-torch_npu2.7.1.post8-950-openeuler24.03-py3.11

Release 3.2.1

镜像内关键组件

组件 版本
Triton-Ascend 3.2.1
CANN 9.0.0
Torch-NPU 2.7.1.post4

镜像列表

镜像标签 Dockerfile 镜像下载命令
3.2.1-cann9.0.0-torch_npu2.7.1.post4-910b-debian12-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.1-cann9.0.0-torch_npu2.7.1.post4-910b-debian12-py3.11
3.2.1-cann9.0.0-torch_npu2.7.1.post4-910b-ubuntu22.04-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.1-cann9.0.0-torch_npu2.7.1.post4-910b-ubuntu22.04-py3.11
3.2.1-cann9.0.0-torch_npu2.7.1.post4-910b-openeuler24.03-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.1-cann9.0.0-torch_npu2.7.1.post4-910b-openeuler24.03-py3.11
3.2.1-cann9.0.0-torch_npu2.7.1.post4-a3-debian12-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.1-cann9.0.0-torch_npu2.7.1.post4-a3-debian12-py3.11
3.2.1-cann9.0.0-torch_npu2.7.1.post4-a3-ubuntu22.04-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.1-cann9.0.0-torch_npu2.7.1.post4-a3-ubuntu22.04-py3.11
3.2.1-cann9.0.0-torch_npu2.7.1.post4-a3-openeuler24.03-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.1-cann9.0.0-torch_npu2.7.1.post4-a3-openeuler24.03-py3.11
3.2.1-cann9.0.0-torch_npu2.7.1.post4-950-debian12-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.1-cann9.0.0-torch_npu2.7.1.post4-950-debian12-py3.11
3.2.1-cann9.0.0-torch_npu2.7.1.post4-950-ubuntu22.04-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.1-cann9.0.0-torch_npu2.7.1.post4-950-ubuntu22.04-py3.11
3.2.1-cann9.0.0-torch_npu2.7.1.post4-950-openeuler24.03-py3.11 Dockerfile docker pull quay.io/ascend/triton:3.2.1-cann9.0.0-torch_npu2.7.1.post4-950-openeuler24.03-py3.11

快速开始

运行Triton-Ascend容器

# 假设您的NPU设备型号是A3,且设备安装在/dev/davinci1上，并且您的NPU驱动程序安装在/usr/local/Ascend上：
docker run -u 0 -dit --shm-size=512g --name=triton-ascend_container \
--security-opt seccomp=unconfined \
--device=/dev/davinci0 \
--device=/dev/davinci1 \
--device=/dev/davinci2 \
--device=/dev/davinci3 \
--device=/dev/davinci4 \
--device=/dev/davinci5 \
--device=/dev/davinci6 \
--device=/dev/davinci7 \
--device=/dev/davinci_manager \
--device=/dev/devmm_svm \
--device=/dev/hisi_hdc \
-v /usr/local/dcmi:/usr/local/dcmi \
-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \
-v /usr/local/sbin/npu-smi:/usr/local/sbin/npu-smi \
-v /usr/local/Ascend/driver:/usr/local/Ascend/driver \
-v /etc/ascend_install.info:/etc/ascend_install.info \
-v /home:/home \
quay.io/ascend/triton:3.2.2-cann9.1.0-torch_npu2.7.1.post8-a3-ubuntu24.04-py3.11 \
/bin/bash

如何本地构建

arm64架构

docker build \
--network host \
--build-arg TARGETPLATFORM=linux/arm64 \
-t triton:3.2.2-cann9.1.0-torch_npu2.7.1.post8-a3-ubuntu24.04-py3.11-aarch64 \
-f Dockerfile .

amd64架构

docker build \
--network host \
--build-arg TARGETPLATFORM=linux/amd64 \
-t triton:3.2.2-cann9.1.0-torch_npu2.7.1.post8-a3-ubuntu24.04-py3.11-x86_64 \
-f Dockerfile .

如何二次开发

# 以triton-ascend镜像为基础镜像，叠加用户软件
FROM quay.io/ascend/triton:3.2.2-cann9.1.0-torch_npu2.7.1.post8-a3-ubuntu24.04-py3.11
RUN apt update -y && \
    apt install wget \
    ...

支持的硬件

芯片系列 产品示例 架构
昇腾910b Atlas 800T A2、Atlas 900 A2 PoD arm64、amd64
昇腾A3 Atlas 800T A3 arm64、amd64
昇腾950 950PR系列 arm64、amd64

许可证

查看镜像中包含的CANN、Torch-NPU、Triton-Ascend软件的许可证信息。
与所有容器镜像一样，预装软件包（Python、系统库等）可能受其自身许可证约束。