音视频生成需要在多轮迭代中完成密集计算、大量张量读写与多卡数据交换,对算力、内存带宽和互联能力都有很高要求。Atlas 150 加速 卡采用 Ascend 950PR 处理器,以标卡形态提供多精度高计算高带宽能力, 在单机四卡配置下,基于 MiniMax-H3 模型,针对 BF16 与 MXFP8 两种精度配置优化 DiT 推理性能,加速音视频生成。
实测:MiniMax-H3 四卡T2VA
以下四组均为4卡、USP4、1344×768的文生音视频任务测试结果,主要是5秒、15秒两种输出规格的无损与有损方案结果。
相比采用 BF16 精度、50 步去噪的无损方案,当前有损方案结合 FlashGen 蒸馏 LoRA 与 MXFP8 低精度计算,将去噪迭代减少至 4 步,同时降低矩阵运算和数据读写开销,进一步缩短生成耗时:
5 秒 T2VA:有损方案耗时约 14 秒,较无损方案的约 3 分 27 秒降低约 93%,吞吐量约为原来的 15 倍。
15 秒 T2VA:有损方案耗时约 54 秒,较无损方案的约 22 分 17 秒降低约 96%,吞吐量约为原来的 25 倍。
[视频] 请前往原文观看
5秒无损生成视频
[视频] 请前往原文观看
5秒有损生成视频
[视频] 请前往原文观看
15秒无损生成视频
[视频] 请前往原文观看
15秒有损生成视频
Atlas 150 加速卡:以大内存与高速互联加速音视频生成
Atlas 150加速卡面向互联网及国计民生等行业的 AI 推理场景,采用 Ascend 950PR 处理器,以标卡形态满足服务器部署需求。针对音视频生成中的密集计算、大量张量读写与频繁跨卡通信,Atlas 150 从计算、内存和互联三个方面提供硬件支撑,让四卡推理更好地发挥整体性能。
多精度大算力,支撑 DiT 密集迭代
音视频生成需要在多轮去噪中反复执行注意力与前馈网络计算,单步耗时会随迭代累积。Atlas 150 单卡理论算力达到 425 TFLOPS FP16/BF16、804 TFLOPS MXFP8,并支持 1561 TFLOPS MXFP4,为不同精度需求提供计算基础。在本次 MiniMax-H3实践中,BF16 与 MXFP8 分别支撑无损和低精度加速配置,配合融合算子等优化,提升 DiT 推理效率。
84GB大容量内存,让模型与中间数据拥有更充足的驻留空间
随着视频时长、分辨率增加,激活与中间张量会占用更多内存。Atlas 150 单卡配备 84 GB 内存,为权重、激活和通信缓冲区预留空间,有助于减少容量不足引入的 CPU 内存卸载与反复搬运。同时,1.4 TB/s 内存带宽为高频张量读写提供支撑,减少计算单元等待数据的时间。
四卡灵衢全互联,让多卡算力更有效地协同
序列并行将计算任务分配到多张卡,也带来了跨卡数据交换问题。Atlas 150 通过专属灵衢(UnifiedBus,UB)连接器支持四卡全互联,每卡双向互联带宽达到 318 GB/s,为 USP4 并行提供专用高速数据通路,减少同步等待,将多卡计算能力转化为生成效率。
实践部署指南
下表为4卡、USP4的两套部署配置,完整命令见下文。无损方案采用BF16;有损方案采用FlashGen蒸馏LoRA与MXFP8量化,注意力后端使用RAINFUSION_ATTN。当前有损方案并非极致优化配置,用户还可按需开启MXFP4量化。实际输出效果需结合相同输入与随机种子的样片评估。
以BF16配置开展质量评估时,可先使用无损方案;更关注响应时间时,可结合样片评估有损方案。持续生产还需结合并发能力与批量吞吐安排资源。
创建推理容器官方Docker镜像
本文使用官方Docker镜像quay.io/ascend/vllm-omni:v0.33.0rc1-a5,镜像已集成MindIE-SD 3.2.0,为vLLM-Omni提供昇腾优化算子与注意力加速能力。容器参数沿用官方示例,按本文四卡场景映射设备0—3,并增加Ascend 950所需的驱动拓扑目录挂载。模型目录/home/models/MiniMax-H3由宿主机与容器共享。
#拉取官方A5镜像docker pull quay.io/ascend/vllm-omni:v0.33.0rc1-a5#创建容器export IMAGE=quay.io/ascend/vllm-omni:v0.33.0rc1-a5export CONTAINER_NAME=h3docker run -it -u root --name ${CONTAINER_NAME} \--privileged=true \--shm-size=2000g \--net=host \--device /dev/davinci0 \--device /dev/davinci1 \--device /dev/davinci2 \--device /dev/davinci3 \--device /dev/davinci_manager \--device /dev/devmm_svm \--device /dev/hisi_hdc \-v /home:/home \-v /usr/local/dcmi:/usr/local/dcmi \-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \-v /etc/ascend_install.info:/etc/ascend_install.info \-v /usr/local/Ascend/driver/topo:/usr/local/Ascend/driver/topo \-v /root/.cache:/root/.cache \${IMAGE} \/bin/bash
获取模型权重
进入容器后下载模型;T2VA使用其中的FL2VA权重。
export MODEL=/home/models/MiniMax-H3hf download MiniMaxAI/MiniMax-H3 --local-dir "${MODEL}"
进入容器后下载LoRA权重,通过 vLLM-Omni 运行时加载,无需 merge 进基座。
pip install modelscopeexport FLASHGEN_DIR=/path/to/minimax-h3-flashgen-loraexport FLASHGEN_FILE=minimax_h3_t2va_flashgen_4step_v1.0_768p_bf16.safetensorsmodelscope download FlashGen/Minimax-H3-4step-lora-flashgen \--local_dir "${FLASHGEN_DIR}" \--include "${FLASHGEN_FILE}"export FLASHGEN_LORA="${FLASHGEN_DIR}/${FLASHGEN_FILE}"
按任务启动服务
在容器中选择以下一套配置启动服务。两套配置均使用端口9098,切换时先停止前一个服务。无损配置保留官方DLO逐层卸载;有损配置采用FlashGen蒸馏LoRA与在线MXFP8量化,生成请求需配套使用4步去噪并传入LoRA参数。
推荐无损优化配置 Ascend 950PR&950DT系列产品
export MODEL=/home/models/MiniMax-H3export PORT=9098export VLLM_WORKER_MULTIPROC_METHOD=spawnexport VLLM_OMNI_VIDEO_SYNC_TIMEOUT=4000export PYTHONDONTWRITEBYTECODE=1export HF_HUB_OFFLINE=1export TRANSFORMERS_OFFLINE=1export PYTORCH_NPU_ALLOC_CONF=expandable_segments:Trueexport HCCL_NPU_SOCKET_PORT_RANGE="auto"vllm serve "${MODEL}" \--omni \--host 0.0.0.0 \--port "${PORT}" \--trust-remote-code \--task-type fl2va \--num-gpus 4 \--usp 4 \--ring 1 \--text-encoder-tp-size 4 \--vae-parallel-mode tile \--vae-use-tiling \--vae-patch-parallel-size 4 \--enable-distributed-layerwise-offload \--diffusion-attention-backend FLASH_ATTN
推荐有损优化配置 Ascend 950PR&950DT系列产品
export MODEL=/home/models/MiniMax-H3export PORT=9098export VLLM_WORKER_MULTIPROC_METHOD=spawnexport VLLM_OMNI_VIDEO_SYNC_TIMEOUT=4000export PYTHONDONTWRITEBYTECODE=1export HF_HUB_OFFLINE=1export TRANSFORMERS_OFFLINE=1export PYTORCH_NPU_ALLOC_CONF=expandable_segments:Trueexport HCCL_NPU_SOCKET_PORT_RANGE="auto"export LORA_PATH="${LORA_DIR}/minimax_h3_t2va_flashgen_4step_v1.0_768p_bf16.safetensors"vllm serve "${MODEL}" \--omni \--host 0.0.0.0 \--port "${PORT}" \--trust-remote-code \--task-type fl2va \--lora-backend peft \--lora-path "${LORA_PATH}" \--num-gpus 4 \--usp 4 \--ring 1 \--text-encoder-tp-size 4 \--vae-parallel-mode tile \--vae-use-tiling \--vae-patch-parallel-size 4 \--diffusion-attention-config '{"default":{"backend":"RAINFUSION_ATTN","block_sparse":{"sparsity":0.8,"precision":"mix","start_step":1}}}' \--diffusion-quantization-config '{"transformer":{"method":"mxfp8"}}'
发送生成请求
服务启动后,在另一终端发送与当前服务配置对应的T2VA请求。两套请求使用相同的PROMPT、分辨率、帧率与随机种子。
无损方案请求
export API_URL="http://127.0.0.1:${PORT}/v1/videos/sync"export PROMPT="At night, three cats march into a bedroom playing tiny brass instruments, then abruptly file out, with synchronized room ambience."HDR_FILE=$(mktemp)curl -sS -D "$HDR_FILE" -X POST "${API_URL}" \-F "prompt=${PROMPT}" \-F 'width=1344' \-F 'height=768' \-F 'aspect_ratio=16:9' \-F 'fps=24' \-F 'num_inference_steps=50' \-F "flow_shift=12.0" \-F "audio_flow_shift=3.0" \-F "seed=1101" \-F 'extra_params={"task":"t2va","duration":5.0}' \-o "t2va.mp4"
有损方案请求
export PORT=9098export API_URL="http://127.0.0.1:${PORT}/v1/videos/sync"export PROMPT="At night, three cats march into a bedroom playing tiny brass instruments, then abruptly file out, with synchronized room ambience."export LORA_DIR=/workspace/loras/flashgen-4stepexport LORA_PATH="${LORA_DIR}/minimax_h3_t2va_flashgen_4step_v1.0_768p_bf16.safetensors"HDR_FILE=$(mktemp)curl -sS -D "$HDR_FILE" -X POST "${API_URL}" \-F "prompt=${PROMPT}" \-F 'width=1344' \-F 'height=768' \-F 'aspect_ratio=16:9' \-F 'fps=24' \-F 'num_inference_steps=4' \-F 'seed=1101' \-F 'extra_params={"task":"t2va","duration":5.0}' \-F "lora={\"name\":\"h3-flashgen-v1.0\",\"path\":\"${LORA_PATH}\",\"scale\":1.0}" \-o "t2va_lossy_4step.mp4"
生成15秒视频时,将对应请求中的“duration”:5.0改为“duration”:15.0,并将输出文件名分别改为t2va_15s.mp4(无损)或t2va_lossy_4step_15s.mp4(有损)。无损请求保留50步;有损请求保留4步及lora字段,分别保存样片。
◆往期推荐◆
TorchTitan Ascend开源:插件化支持TorchTitan,实现Kimi K3.1 Pro的昇腾适配与训练实践
股票
板块
用户
资讯
评论 (0)