跳转到文档内容
版本:下一个

为容器分配设备核心和显存资源

要分配设备核心资源的一部分,你只需在容器中使用 mthreads.com/vgpu 请求的摩尔线程 GPU 数量的同时,分配 mthreads.com/sgpu-memory 和 mthreads.com/sgpu-core。

下面的示例申请 16 GiB 显存 / 50% 算力的切片,该取值在 MTT S4000 和 MTT S5000 上均有效:

apiVersion: v1
kind: Pod
metadata:
name: gpushare-pod-default
spec:
restartPolicy: OnFailure
containers:
- image: core.harbor.zlidc.mthreads.com:30003/mt-ai/lm-qy2:v17-mpc
imagePullPolicy: IfNotPresent
name: gpushare-pod-1
command: ["sleep"]
args: ["100000"]
resources:
limits:
mthreads.com/vgpu: 1
mthreads.com/sgpu-memory: 32
mthreads.com/sgpu-core: 8

在 MTT S5000 上,可以申请最大至整卡 80 GiB 的更大切片(需要安装 HAMi 时将 devices.mthreads.memoryPerCard 设置为 [160]):

apiVersion: v1
kind: Pod
metadata:
name: gpushare-pod-s5000
spec:
restartPolicy: OnFailure
containers:
- image: core.harbor.zlidc.mthreads.com:30003/mt-ai/lm-qy2:v17-mpc
imagePullPolicy: IfNotPresent
name: gpushare-pod-1
command: ["sleep"]
args: ["100000"]
resources:
limits:
mthreads.com/vgpu: 1
mthreads.com/sgpu-memory: 128 # 128 x 512 MiB = 64 GiB,仅 MTT S5000 支持
mthreads.com/sgpu-core: 8
CNCFHAMi 是 CNCF 孵化项目