什么是扩散模型diffusion models?
果得到一张噪声少了一点点的、略微能看出模糊轮廓的图片。循环往复把上一步得到的、稍微清晰一点的图片作为新的输入再次让模型预测并减去噪声。终点重复几十步后噪声被逐步移除干净一张清晰的、符合你描述的图片就诞生了。这个一步步预测并减去噪声的循环从方向上看是前向加噪的“反向”从动作上看就是在“去噪”。vllm旗下的子项目vllm-omni提供了简单、快速且低成本的多模态模型服务。Z-Image是阿里开源的完整版本、未经蒸馏的的 Transformer 文生图模型 10.26B权重参数 20.55GB GPU显存 专为高质量、强生成多样性、广泛的风格覆盖能力以及精准的提示词遵循而设计。启动推理服务器vllm serve Tongyi-MAI/Z-Image --omni --port 8000 --tensor-parallel-size 2注意 不是用原生vllm(对应的docker镜像是vllm-openai)带omni参数 而是要一个包含omni扩展的多模态vllm (对应的docker镜像是vllm-omni)。支持两种接口 都是兼容openai的接口Diffusion Chat Completions API 希望在类似聊天机器人的多模态、多轮对话中集成图像生成能力curl -s http://localhost:8000/v1/chat/completions \-H Content-Type: application/json \-d {messages: [{role: user, content: A beautiful landscape painting}],extra_body: {num_inference_steps: 50,seed: 42}}Image Generation API 稳定、专注于图像生成输出的二进制图片被base64 编码解码可得图片。curl -X POST http://localhost:8000/v1/images/generations \-H Content-Type: application/json \-d {prompt: a dragon laying over the spine of the Green Mountains of Vermont,size: 1024x1024,seed: 42} | jq -r .data[0].b64_json | base64 -d dragon.pngjq 是json格式化和取值工具 从json响应体字段中取值。