股票
板块
用户
资讯
首页
天眼
自选
发现
开户
首页
天眼
自选
发现
我的

昇腾基于vLLM-Omni x MindIE SD支持Minimax H3-Image,4K生图进入秒级时代

11月10日,MiniMax 发布 MiniMax H3-Image 并开源权重。这款衍生自 H3 的图像生成模型,将文生图、参考图生图与图像编辑整合到同一个模型中,能够在 10 秒内生成一张 4096 x 4096 像素、约 16 MP(4K)的高分辨率图像,同时呈现丰富、真实的细节,并具备优秀的指令遵循和多参考图理解能力。

昇腾基于vLLM-Omni推理框架和MindIE SD 加速库完成MiniMax H3-Image的快速适配,用户及开发者可在昇腾Atlas 800 A2/A3系列产品、Atlas 950系列超节点和Atlas 350加速卡上部署该模型。


模型介绍

MiniMax H3-Image 沿用 MiniMax-H3 的架构,图像生成部分采用50 层稠密单流 DiT,参数量为33.1B 。文本编码器复用MiniMax-H3的Qwen3-VL,VAE 采用 CNN 编码器 + 24 层 2D ViT 解码器。模型经蒸馏压缩至6步推理,无需CFG。文生图与参考图编辑共用同一份权重。

在 H3 预训练赋予的广泛图像能力基础上,H3-Image 进一步强化了整个后训练链路,在数据、强化学习、步数压缩、PE、部署优化等方面做了许多扎实的工作,使得 MiniMax H3-image 同时具备了速度、画面质量、指令遵循三个方面的竞争力:

速度:相比于主流的100万或400万像素,1600万像素(4K,4096×4096)的图片在细节上具备显著优势。MiniMax H3-Image 可以在 10s 内生成 4K 的高规格图像,速度可达市面主流水平的 5 倍,使得 4K 的日常创作成为可能。

画面质量:画面细节和真实感可以显著拓宽模型的使用范围。有别于常见的“AI 感”,H3-Image 能够提供丰富的画面细节和极强的真实感,进一步缩小 AI 生成图像与真实视觉世界之间的距离。

指令遵循:高质量的图像生成,不只是让画面好看,更重要的是让创作者能够表达和实现自己的意图。H3-Image提供了开源模型中最强的指令遵循能力并最多支持 16 张参考图片。

MiniMax-H3-Image官方示例


基于昇腾的模型部署指导

接下来,将结合环境准备、权重下载和实际案例,介绍MiniMax H3-Image模型基于昇腾的部署与使用方法。欢迎通过MindIE SD开源社区(https://gitcode.com/Ascend/MindIE-SD/blob/dev/examples/minimax-h3-image/infer.md)了解MiniMax H3-Image的最新优化进展 。

准备运行环境

本文采用以下Python与PyTorch配套:

软件

版本

Python

3.12.13

PyTorch

2.10.0


获取 vLLM-Omni镜像

推理设备:昇腾Atlas 350加速卡,最低支持单卡部署。

通过vllm-omni镜像仓库(https://quay.io/repository/ascend/vllm-omni?tab=tags) 选择适用于 Atlas 350 的官方镜像作为基础环境。镜像中已携带MindIE-SD,无需单独安装。

export IMAGE=quay.io/ascend/vllm-omni:v0.33.0rc1-a5docker pull "$IMAGE"


创建容器

export IMAGE=quay.io/ascend/vllm-omni:v0.33.0rc1-a5export CONTAINER_NAME=h3-imagedocker run -it -u root --name ${CONTAINER_NAME} \  --privileged=true \  --shm-size=2000g \  --net=host \  --device /dev/davinci0 \  --device /dev/davinci1 \  --device /dev/davinci2 \  --device /dev/davinci3 \  --device /dev/davinci4 \  --device /dev/davinci5 \  --device /dev/davinci6 \  --device /dev/davinci7 \  --device /dev/davinci_manager \  --device /dev/hisi_hdc \  -v /home:/home \  -v /usr/local/dcmi:/usr/local/dcmi \  -v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \  -v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \  -v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \-v /usr/local/Ascend/driver/topo:/usr/local/Ascend/driver/topo \  -v /etc/ascend_install.info:/etc/ascend_install.info \  -v /root/.cache:/root/.cache \  ${IMAGE} \  /bin/bash


安装最新Vllm-Omni

git clone https://github.com/vllm-project/vllm-omni.gitcd vllm-omniVLLM_OMNI_TARGET_DEVICE=npu pip install -e . --no-build-isolation -i https://mirrors.aliyun.com/pypi/simple

下载模型权重

MiniMax H3-Image模型权重已在Hugging Face和ModelScope开放下载。

Hugging Face:

https://huggingface.co/MiniMaxAI/MiniMax-H3-Image

ModelScope:

https://www.modelscope.cn/models/MiniMax/MiniMax-H3-Image

以下使用Hugging Face CLI,将完整模型下载到 /models/MiniMax-H3-Image :

python -m pip install huggingface_hubexport MODEL=/models/MiniMax-H3-Image hf download MiniMaxAI/MiniMax-H3-Image --local-dir "$MODEL"

MiniMax H3-Image开箱体验

MiniMax H3-Image 使用同一个模型同时支持文生图与图像编辑。输入文字描述即可生成图像;增加参考图片后,即可根据编辑指令调整画面内容。


服务拉起

以下是单卡服务启动命令:

export MODEL=/models/MiniMax-H3-Image export PYTHONDONTWRITEBYTECODE=1export HF_HUB_OFFLINE=1export TRANSFORMERS_OFFLINE=1export PYTORCH_NPU_ALLOC_CONF=expandable_segments:Trueexport HCCL_NPU_SOCKET_PORT_RANGE="auto"vllm serve "${MODEL}" --omni \  --host 127.0.0.1 --port 18089 \  --served-model-name MiniMaxAI/MiniMax-H3-Image \  --enforce-eager --num-gpus 1 \  --diffusion-offload-config '{"mode":"layer","components":["dit"]}'


文生图示例

服务启动后,可通过以下请求生成图像:

curl -fsS http://127.0.0.1:18089/v1/images/generations \  -H 'Content-Type: application/json' \  -d '{    "model":"MiniMaxAI/MiniMax-H3-Image",    "prompt":"Documentary photograph of a lighthouse keeper on a cliff at dawn, Kodak Portra 400",    "size":"2048x2048",    "seed":42,    "response_format":"b64_json"  }' | jq -er '.data[0].b64_json' | base64 -d > t2i-2048.png


参考图像编辑示例

通过 /v1/images/edits 传入参考图像。以下示例输入一张参考图像,ASSETS为请求客户端上的实际输入数据存放目录:

export ASSETS=/path/to/MiniMax-H3-Image/examplescurl -fsS http://127.0.0.1:18089/v1/images/edits \  -F 'model=MiniMaxAI/MiniMax-H3-Image' \  -F "image=@$ASSETS/reference1.png;type=image/png" \  -F "prompt=<$ASSETS/prompt.edit.txt" \  -F 'size=4096x4096' \  -F 'seed=1234' -F 'generator_device=cpu' \  -F 'response_format=b64_json' -F 'output_format=png' \  | jq -er '.data[0].b64_json' | base64 -d > edit-4096.png

请求参数说明

欢迎关注MindIE SD 开源社区(https://gitcode.com/Ascend/MindIE-SD),获取MiniMax H3-Image模型适配与使用指南,分享实践经验,共同完善昇腾多模态推理生态。

MiniMax H3-Image使用指南:

https://gitcode.com/Ascend/MindIE-SD/blob/dev/examples/minimax-h3-image/infer.md

MiniMax H3-Image官方模型与示例:

https://huggingface.co/MiniMaxAI/MiniMax-H3-Image

vLLM-Omni开源仓库:

https://github.com/vllm-project/vllm-omni

MindIE SD开源社区:

https://gitcode.com/Ascend/MindIE-SD

原文链接
多空观点 观点仅供交流,不构成投资建议
点赞
踩一踩
收藏
分享

评论 (0)

0/200
声明:社区内容仅代表用户个人观点,不构成任何投资建议。投资有风险,入市需谨慎。