股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

基于Atlas 150加速卡的MiniMax-H3音视频生成性能实践

音视频生成需要在多轮迭代中完成密集计算、大量张量读写与多卡数据交换,对算力、内存带宽和互联能力都有很高要求。Atlas 150 加速 卡采用 Ascend 950PR 处理器,以标卡形态提供多精度高计算高带宽能力, 在单机四卡配置下,基于 MiniMax-H3 模型,针对 BF16 与 MXFP8 两种精度配置优化 DiT 推理性能,加速音视频生成。


实测:MiniMax-H3 四卡T2VA

以下四组均为4卡、USP4、1344×768的文生音视频任务测试结果,主要是5秒、15秒两种输出规格的无损与有损方案结果。 

相比采用 BF16 精度、50 步去噪的无损方案,当前有损方案结合 FlashGen 蒸馏 LoRA 与 MXFP8 低精度计算,将去噪迭代减少至 4 步,同时降低矩阵运算和数据读写开销,进一步缩短生成耗时:

  • 5 秒 T2VA:有损方案耗时约 14 秒,较无损方案的约 3 分 27 秒降低约 93%,吞吐量约为原来的 15 倍。

  • 15 秒 T2VA:有损方案耗时约 54 秒,较无损方案的约 22 分 17 秒降低约 96%,吞吐量约为原来的 25 倍。


[视频] 请前往原文观看

5秒无损生成视频

[视频] 请前往原文观看

5秒有损生成视频

[视频] 请前往原文观看

15秒无损生成视频

[视频] 请前往原文观看

15秒有损生成视频

Atlas 150 加速卡:以大内存与高速互联加速音视频生成

Atlas 150加速卡面向互联网及国计民生等行业的 AI 推理场景,采用 Ascend 950PR 处理器,以标卡形态满足服务器部署需求。针对音视频生成中的密集计算、大量张量读写与频繁跨卡通信,Atlas 150 从计算、内存和互联三个方面提供硬件支撑,让四卡推理更好地发挥整体性能。

多精度大算力,支撑 DiT 密集迭代

音视频生成需要在多轮去噪中反复执行注意力与前馈网络计算,单步耗时会随迭代累积。Atlas 150 单卡理论算力达到 425 TFLOPS FP16/BF16、804 TFLOPS MXFP8,并支持 1561 TFLOPS MXFP4,为不同精度需求提供计算基础。在本次 MiniMax-H3实践中,BF16 与 MXFP8 分别支撑无损和低精度加速配置,配合融合算子等优化,提升 DiT 推理效率。

84GB大容量内存,让模型与中间数据拥有更充足的驻留空间

随着视频时长、分辨率增加,激活与中间张量会占用更多内存。Atlas 150 单卡配备 84 GB 内存,为权重、激活和通信缓冲区预留空间,有助于减少容量不足引入的 CPU 内存卸载与反复搬运。同时,1.4 TB/s 内存带宽为高频张量读写提供支撑,减少计算单元等待数据的时间。

四卡灵衢全互联,让多卡算力更有效地协同

序列并行将计算任务分配到多张卡,也带来了跨卡数据交换问题。Atlas 150 通过专属灵衢(UnifiedBus,UB)连接器支持四卡全互联,每卡双向互联带宽达到 318 GB/s,为 USP4 并行提供专用高速数据通路,减少同步等待,将多卡计算能力转化为生成效率。


实践部署指南

下表为4卡、USP4的两套部署配置,完整命令见下文。无损方案采用BF16;有损方案采用FlashGen蒸馏LoRA与MXFP8量化,注意力后端使用RAINFUSION_ATTN。当前有损方案并非极致优化配置,用户还可按需开启MXFP4量化。实际输出效果需结合相同输入与随机种子的样片评估。

以BF16配置开展质量评估时,可先使用无损方案;更关注响应时间时,可结合样片评估有损方案。持续生产还需结合并发能力与批量吞吐安排资源。

创建推理容器官方Docker镜像

本文使用官方Docker镜像quay.io/ascend/vllm-omni:v0.33.0rc1-a5,镜像已集成MindIE-SD 3.2.0,为vLLM-Omni提供昇腾优化算子与注意力加速能力。容器参数沿用官方示例,按本文四卡场景映射设备0—3,并增加Ascend 950所需的驱动拓扑目录挂载。模型目录/home/models/MiniMax-H3由宿主机与容器共享。

# 拉取官方A5镜像docker pull quay.io/ascend/vllm-omni:v0.33.0rc1-a5# 创建容器export IMAGE=quay.io/ascend/vllm-omni:v0.33.0rc1-a5export CONTAINER_NAME=h3docker run -it -u root --name ${CONTAINER_NAME} \  --privileged=true \  --shm-size=2000g \  --net=host \  --device /dev/davinci0 \  --device /dev/davinci1 \  --device /dev/davinci2 \  --device /dev/davinci3 \  --device /dev/davinci_manager \  --device /dev/devmm_svm \  --device /dev/hisi_hdc \  -v /home:/home \  -v /usr/local/dcmi:/usr/local/dcmi \  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \  -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \  -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \  -v /etc/ascend_install.info:/etc/ascend_install.info \  -v /usr/local/Ascend/driver/topo:/usr/local/Ascend/driver/topo \  -v /root/.cache:/root/.cache \  ${IMAGE} \  /bin/bash

获取模型权重

进入容器后下载模型;T2VA使用其中的FL2VA权重。

export MODEL=/home/models/MiniMax-H3hf download MiniMaxAI/MiniMax-H3 --local-dir "${MODEL}"

进入容器后下载LoRA权重,通过 vLLM-Omni 运行时加载,无需 merge 进基座。

pip install modelscopeexport FLASHGEN_DIR=/path/to/minimax-h3-flashgen-loraexport FLASHGEN_FILE=minimax_h3_t2va_flashgen_4step_v1.0_768p_bf16.safetensorsmodelscope download FlashGen/Minimax-H3-4step-lora-flashgen \  --local_dir "${FLASHGEN_DIR}" \  --include "${FLASHGEN_FILE}"export FLASHGEN_LORA="${FLASHGEN_DIR}/${FLASHGEN_FILE}"

按任务启动服务

在容器中选择以下一套配置启动服务。两套配置均使用端口9098,切换时先停止前一个服务。无损配置保留官方DLO逐层卸载;有损配置采用FlashGen蒸馏LoRA与在线MXFP8量化,生成请求需配套使用4步去噪并传入LoRA参数。

推荐无损优化配置 Ascend 950PR&950DT系列产品

export MODEL=/home/models/MiniMax-H3export PORT=9098export VLLM_WORKER_MULTIPROC_METHOD=spawnexport VLLM_OMNI_VIDEO_SYNC_TIMEOUT=4000export PYTHONDONTWRITEBYTECODE=1export HF_HUB_OFFLINE=1export TRANSFORMERS_OFFLINE=1export PYTORCH_NPU_ALLOC_CONF=expandable_segments:Trueexport HCCL_NPU_SOCKET_PORT_RANGE="auto"vllm serve "${MODEL}" \  --omni \  --host 0.0.0.0 \  --port "${PORT}" \  --trust-remote-code \  --task-type fl2va \  --num-gpus 4 \  --usp 4 \  --ring 1 \  --text-encoder-tp-size 4 \  --vae-parallel-mode tile \  --vae-use-tiling \  --vae-patch-parallel-size 4 \  --enable-distributed-layerwise-offload \  --diffusion-attention-backend FLASH_ATTN

推荐有损优化配置 Ascend 950PR&950DT系列产品

export MODEL=/home/models/MiniMax-H3export PORT=9098export VLLM_WORKER_MULTIPROC_METHOD=spawnexport VLLM_OMNI_VIDEO_SYNC_TIMEOUT=4000export PYTHONDONTWRITEBYTECODE=1export HF_HUB_OFFLINE=1export TRANSFORMERS_OFFLINE=1export PYTORCH_NPU_ALLOC_CONF=expandable_segments:Trueexport HCCL_NPU_SOCKET_PORT_RANGE="auto"export LORA_PATH="${LORA_DIR}/minimax_h3_t2va_flashgen_4step_v1.0_768p_bf16.safetensors"vllm serve "${MODEL}" \  --omni \  --host 0.0.0.0 \  --port "${PORT}" \  --trust-remote-code \  --task-type fl2va \  --lora-backend peft \  --lora-path "${LORA_PATH}" \  --num-gpus 4 \  --usp 4 \  --ring 1 \  --text-encoder-tp-size 4 \  --vae-parallel-mode tile \  --vae-use-tiling \  --vae-patch-parallel-size 4 \  --diffusion-attention-config '{"default":{"backend":"RAINFUSION_ATTN","block_sparse":{"sparsity":0.8,"precision":"mix","start_step":1}}}' \  --diffusion-quantization-config '{"transformer":{"method":"mxfp8"}}'

发送生成请求

服务启动后,在另一终端发送与当前服务配置对应的T2VA请求。两套请求使用相同的PROMPT、分辨率、帧率与随机种子。

无损方案请求

export API_URL="http://127.0.0.1:${PORT}/v1/videos/sync"export PROMPT="At night, three cats march into a bedroom playing tiny brass instruments, then abruptly file out, with synchronized room ambience."HDR_FILE=$(mktemp)curl -sS -D "$HDR_FILE" -X POST "${API_URL}" \  -F "prompt=${PROMPT}" \  -F 'width=1344' \  -F 'height=768' \  -F 'aspect_ratio=16:9' \  -F 'fps=24' \  -F 'num_inference_steps=50' \  -F "flow_shift=12.0" \  -F "audio_flow_shift=3.0" \  -F "seed=1101" \  -F 'extra_params={"task":"t2va","duration":5.0}' \  -o "t2va.mp4"

有损方案请求

export PORT=9098export API_URL="http://127.0.0.1:${PORT}/v1/videos/sync"export PROMPT="At night, three cats march into a bedroom playing tiny brass instruments, then abruptly file out, with synchronized room ambience."export LORA_DIR=/workspace/loras/flashgen-4stepexport LORA_PATH="${LORA_DIR}/minimax_h3_t2va_flashgen_4step_v1.0_768p_bf16.safetensors"HDR_FILE=$(mktemp)curl -sS -D "$HDR_FILE" -X POST "${API_URL}" \  -F "prompt=${PROMPT}" \  -F 'width=1344' \  -F 'height=768' \  -F 'aspect_ratio=16:9' \  -F 'fps=24' \  -F 'num_inference_steps=4' \  -F 'seed=1101' \  -F 'extra_params={"task":"t2va","duration":5.0}' \  -F "lora={\"name\":\"h3-flashgen-v1.0\",\"path\":\"${LORA_PATH}\",\"scale\":1.0}" \  -o "t2va_lossy_4step.mp4"

生成15秒视频时,将对应请求中的“duration”:5.0改为“duration”:15.0,并将输出文件名分别改为t2va_15s.mp4(无损)或t2va_lossy_4step_15s.mp4(有损)。无损请求保留50步;有损请求保留4步及lora字段,分别保存样片。

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。