11月10日,MiniMax 发布 MiniMax H3-Image 并开源权重。这款衍生自 H3 的图像生成模型,将文生图、参考图生图与图像编辑整合到同一个模型中,能够在 10 秒内生成一张 4096 x 4096 像素、约 16 MP(4K)的高分辨率图像,同时呈现丰富、真实的细节,并具备优秀的指令遵循和多参考图理解能力。
昇腾基于vLLM-Omni推理框架和MindIE SD 加速库完成MiniMax H3-Image的快速适配,用户及开发者可在昇腾Atlas 800 A2/A3系列产品、Atlas 950系列超节点和Atlas 350加速卡上部署该模型。
模型介绍
MiniMax H3-Image 沿用 MiniMax-H3 的架构,图像生成部分采用50 层稠密单流 DiT,参数量为33.1B 。文本编码器复用MiniMax-H3的Qwen3-VL,VAE 采用 CNN 编码器 + 24 层 2D ViT 解码器。模型经蒸馏压缩至6步推理,无需CFG。文生图与参考图编辑共用同一份权重。
在 H3 预训练赋予的广泛图像能力基础上,H3-Image 进一步强化了整个后训练链路,在数据、强化学习、步数压缩、PE、部署优化等方面做了许多扎实的工作,使得 MiniMax H3-image 同时具备了速度、画面质量、指令遵循三个方面的竞争力:
速度:相比于主流的100万或400万像素,1600万像素(4K,4096×4096)的图片在细节上具备显著优势。MiniMax H3-Image 可以在 10s 内生成 4K 的高规格图像,速度可达市面主流水平的 5 倍,使得 4K 的日常创作成为可能。
画面质量:画面细节和真实感可以显著拓宽模型的使用范围。有别于常见的“AI 感”,H3-Image 能够提供丰富的画面细节和极强的真实感,进一步缩小 AI 生成图像与真实视觉世界之间的距离。
指令遵循:高质量的图像生成,不只是让画面好看,更重要的是让创作者能够表达和实现自己的意图。H3-Image提供了开源模型中最强的指令遵循能力并最多支持 16 张参考图片。
MiniMax-H3-Image官方示例
基于昇腾的模型部署指导
接下来,将结合环境准备、权重下载和实际案例,介绍MiniMax H3-Image模型基于昇腾的部署与使用方法。欢迎通过MindIE SD开源社区(https://gitcode.com/Ascend/MindIE-SD/blob/dev/examples/minimax-h3-image/infer.md)了解MiniMax H3-Image的最新优化进展 。
准备运行环境
本文采用以下Python与PyTorch配套:
软件 | 版本 |
Python | 3.12.13 |
PyTorch | 2.10.0 |
获取 vLLM-Omni镜像
推理设备:昇腾Atlas 350加速卡,最低支持单卡部署。
通过vllm-omni镜像仓库(https://quay.io/repository/ascend/vllm-omni?tab=tags) 选择适用于 Atlas 350 的官方镜像作为基础环境。镜像中已携带MindIE-SD,无需单独安装。
export IMAGE=quay.io/ascend/vllm-omni:v0.33.0rc1-a5docker pull "$IMAGE"
创建容器
export IMAGE=quay.io/ascend/vllm-omni:v0.33.0rc1-a5export CONTAINER_NAME=h3-imagedocker run -it -u root --name ${CONTAINER_NAME} \--privileged=true \--shm-size=2000g \--net=host \--device /dev/davinci0 \--device /dev/davinci1 \--device /dev/davinci2 \--device /dev/davinci3 \--device /dev/davinci4 \--device /dev/davinci5 \--device /dev/davinci6 \--device /dev/davinci7 \--device /dev/davinci_manager \--device /dev/hisi_hdc \-v /home:/home \-v /usr/local/dcmi:/usr/local/dcmi \-v /usr/local/bin/npu-smi:/usr/local/bin/npu-smi \-v /usr/local/Ascend/driver/lib64/:/usr/local/Ascend/driver/lib64/ \-v /usr/local/Ascend/driver/version.info:/usr/local/Ascend/driver/version.info \-v /usr/local/Ascend/driver/topo:/usr/local/Ascend/driver/topo \-v /etc/ascend_install.info:/etc/ascend_install.info \-v /root/.cache:/root/.cache \${IMAGE} \/bin/bash
安装最新Vllm-Omni
git clone https://github.com/vllm-project/vllm-omni.gitcd vllm-omniVLLM_OMNI_TARGET_DEVICE=npu pip install -e . --no-build-isolation -i https://mirrors.aliyun.com/pypi/simple
下载模型权重
MiniMax H3-Image模型权重已在Hugging Face和ModelScope开放下载。
Hugging Face:
https://huggingface.co/MiniMaxAI/MiniMax-H3-Image
ModelScope:
https://www.modelscope.cn/models/MiniMax/MiniMax-H3-Image
以下使用Hugging Face CLI,将完整模型下载到 /models/MiniMax-H3-Image :
python -m pip install huggingface_hubexport MODEL=/models/MiniMax-H3-Imagehf download MiniMaxAI/MiniMax-H3-Image --local-dir "$MODEL"
MiniMax H3-Image开箱体验
MiniMax H3-Image 使用同一个模型同时支持文生图与图像编辑。输入文字描述即可生成图像;增加参考图片后,即可根据编辑指令调整画面内容。
服务拉起
以下是单卡服务启动命令:
export MODEL=/models/MiniMax-H3-Imageexport PYTHONDONTWRITEBYTECODE=1export HF_HUB_OFFLINE=1export TRANSFORMERS_OFFLINE=1export PYTORCH_NPU_ALLOC_CONF=expandable_segments:Trueexport HCCL_NPU_SOCKET_PORT_RANGE="auto"vllm serve "${MODEL}" --omni \--host 127.0.0.1 --port 18089 \--served-model-name MiniMaxAI/MiniMax-H3-Image \--enforce-eager --num-gpus 1 \--diffusion-offload-config '{"mode":"layer","components":["dit"]}'
文生图示例
服务启动后,可通过以下请求生成图像:
curl -fsS http://127.0.0.1:18089/v1/images/generations \-H 'Content-Type: application/json' \-d '{"model":"MiniMaxAI/MiniMax-H3-Image","prompt":"Documentary photograph of a lighthouse keeper on a cliff at dawn, Kodak Portra 400","size":"2048x2048","seed":42,"response_format":"b64_json"}' | jq -er '.data[0].b64_json' | base64 -d > t2i-2048.png
参考图像编辑示例
通过 /v1/images/edits 传入参考图像。以下示例输入一张参考图像,ASSETS为请求客户端上的实际输入数据存放目录:
export ASSETS=/path/to/MiniMax-H3-Image/examplescurl -fsS http://127.0.0.1:18089/v1/images/edits \-F 'model=MiniMaxAI/MiniMax-H3-Image' \-F "image=@$ASSETS/reference1.png;type=image/png" \-F "prompt=<$ASSETS/prompt.edit.txt" \-F 'size=4096x4096' \-F 'seed=1234' -F 'generator_device=cpu' \-F 'response_format=b64_json' -F 'output_format=png' \| jq -er '.data[0].b64_json' | base64 -d > edit-4096.png
请求参数说明
欢迎关注MindIE SD 开源社区(https://gitcode.com/Ascend/MindIE-SD),获取MiniMax H3-Image模型适配与使用指南,分享实践经验,共同完善昇腾多模态推理生态。
MiniMax H3-Image使用指南:
https://gitcode.com/Ascend/MindIE-SD/blob/dev/examples/minimax-h3-image/infer.md
MiniMax H3-Image官方模型与示例:
https://huggingface.co/MiniMaxAI/MiniMax-H3-Image
vLLM-Omni开源仓库:
https://github.com/vllm-project/vllm-omni
MindIE SD开源社区:
https://gitcode.com/Ascend/MindIE-SD
股票
板块
用户
资讯
评论 (0)