华为云多模态大模型对接使用完全指南：从部署到API调用

apphuang2026年07月14日 09:14:233

前言

多模态大模型正在重塑人工智能的应用边界。与传统的单模态模型不同，多模态大模型能够同时处理文本、图像、视频等多种数据类型，实现跨模态的语义理解与生成。华为云盘古多模态大模型正是这一技术浪潮中的代表性产品，它融合了文本、图像、视频等数据，利用深度学习实现跨模态语义对齐。无论是图像描述、视觉问答、物体定位，还是自动化视频内容审核、智能监控分析，多模态大模型都展现出了强大的能力。

本文将从零开始，系统性地讲解华为云多模态大模型的对接使用方法。无论你是初次接触多模态AI的开发者，还是希望将多模态能力集成到现有业务系统中的技术负责人，本文都将提供从模型部署到API调用的完整指南。

一、认识华为云多模态大模型

1.1 什么是多模态大模型

多模态是集成和处理两种或两种以上不同类型信息或数据的方法和技术。在机器学习和人工智能领域，多模态涉及的数据类型通常包括文本、图像、视频、音频和传感器数据。华为云盘古多模态大模型正是基于这一理念构建——它不仅能够理解文字，还能看懂图片、分析视频，实现真正意义上的跨模态智能。

华为云盘古大模型体系分为多个参数规模版本，包括10亿级参数的Pangu E端侧模型、百亿级参数的Pangu P、千亿级的Pangu U，以及万亿级的Pangu S版本。盘古大模型5.0可以与物理世界结合，理解包括文本、图片、视频、雷达、红外、遥感等多种模态的信息。

1.2 盘古多模态大模型规格

华为云ModelArts Studio平台为用户提供了多种规格的多模态大模型。以下是当前支持的主要模型清单：

  • Pangu-MM-M2-Text2Video-1.0.0：2025年4月发布，支持16:9、9:16、1:1、4:3、3:4等5种长宽比、时长5秒的视频生成，需要8个推理单元部署。
  • Pangu-MM-M2-AIGVideo-1.0.0：2025年4月发布，图生视频支持6种长宽比，时长5秒的视频生成，视频续写支持96帧（约4秒），需要8个推理单元部署。
  • Pangu-MM-M1-Txt2Img-1.0.0：2025年4月发布，支持1024×1024分辨率的图像生成，支持写实、油画、动漫等数十种生成风格，需要8个推理单元部署。
  • Pangu-MM-M2-Img2Txt-16K-V5.0.4.2：2026年2月发布的多模态理解大模型，具有百亿级参数量，支持图像理解，支持预训练和微调。

不同模型在预训练、微调、模型评测、模型压缩、在线推理和体验中心能力调测等方面的支持程度各不相同。开发者应根据自身需求选择合适的模型。

1.3 应用场景

华为云多模态大模型的应用场景非常广泛。在营销、电商、媒体领域，可通过API调用多模态模型批量产出文案、海报、短视频脚本，快速进行A/B测试，提升创作效率。在智能客服领域，企业可直接调用云端大模型，秒级理解用户意图，7×24小时回答咨询。此外，在智能安防、体育赛事分析、媒体内容管理等领域，多模态大模型可用于自动化视频内容审核、智能监控分析等任务。盘古大模型已应用于30多个行业、500余个场景，覆盖政务、金融、制造、医疗、气象、能源等领域。

需要先登录华为云控制台，点击：华为云控制台，还没有账号，点击：注册并关联，已有账号点击：登录后关联

二、部署多模态大模型

2.1 平台概述

ModelArts Studio平台是盘古大模型服务推出的集数据管理、模型训练和模型部署为一体的一站式大模型开发平台。平台提供了数据处理、模型训练、模型部署、应用开发等功能，帮助开发者充分利用盘古大模型的能力。ModelArts支持本地IDE加插件远程开发，内置了多种主流机器学习框架的镜像，支持大模型分布式部署及推理。

2.2 创建部署任务

部署多模态大模型的第一步是在ModelArts Studio平台创建部署任务。具体操作步骤如下：

  1. 登录ModelArts Studio平台，在"我的空间"模块单击进入所需空间。
  2. 在左侧导航栏中选择"模型开发 > 模型部署"，单击界面右上角"创建部署"。
  3. 在"选择模型"页面，选择"模型广场 > 多模态大模型"，选择所需模型及版本，单击"确定"进入"创建部署"页面。也可以选择"我的资产"中的用户自定义模型。

2.3 部署参数配置

在"创建部署"页面需要完成以下参数设置：

  • 部署配置：选择模型来源（"模型广场"为预置模型，"我的资产"为训练发布的用户模型），类型选择"多模态模型"，并选择具体的模型和版本。
  • 部署方式：选择"云上部署"，将算法部署至平台提供的资源池中。
  • 安全护栏：开启并同意授权，保障模型调用安全。当前支持安全护栏基础版，内置了默认的内容审核规则。
  • 资源配置：计费模式可选择限时免费或按需计费。实例数建议不大于10，否则可能触发限流导致部署失败。
  • 订阅提醒：开启后支持预置通知和SMN通知两种订阅类型，系统将在任务状态运行、失败或告警时通过短信或邮件发送提醒。
  • 基本信息：设置服务名称、描述和标签。

参数填写完成后，单击"立即部署"即可启动模型部署。

2.4 模型对资源池的依赖

不同模型对资源池有不同的依赖要求。盘古多模态大模型各版本均支持ARM+Snt9B3的云上部署，每个模型需要8个推理单元部署。在使用公共资源池时，仅部署模型服务状态为运行中及告警时才收费。使用专属资源池时，部署模型服务不进行单独计费，由专属资源池统一收费。

三、获取API调用信息

3.1 API请求地址

模型部署成功后，即可通过API调用多模态大模型。API请求地址由API接口域名和API访问路径（URI）拼接形成。

API接口域名格式为https://ip:port，具体获取方式可参考《API参考》文档中"获取大模型推理API接口域名"章节。

API访问路径（URI）为：

POST /v1/{project_id}/deployments/{deployment_id}/chat/completions

其中：

  • project_id：项目ID，可在华为云控制台"我的凭证"中获取。
  • deployment_id：模型的部署ID，在模型部署完成后，单击模型部署列表中的模型进入详情页获取。

3.2 认证鉴权方式

调用华为云多模态大模型API有两种认证方式：

3.2.1 Token认证

Token认证是最常用的认证方式。通过在调用API时将Token加到请求消息头中，从而通过身份认证，获得操作API的权限。Token的有效期为24小时，需要使用同一个Token鉴权时可以缓存起来，避免频繁调用。

获取Token需要调用IAM服务的获取用户Token接口。Token认证适用于快速开发和测试场景。

3.2.2 API Key认证

当用户部署的模型服务期望开放给其他用户调用时，使用原有的Token认证需要进行动态认证鉴权和凭证管理，操作较为繁杂。此时可使用API Key认证。API Key认证通过AK（Access Key ID）和SK（Secret Access Key）加密调用请求。

四、调用多模态大模型API

4.1 使用Postman调用

最简单的调用方式是通过Postman等API调试工具。具体步骤：

  1. 在Postman中新建POST请求，填入API请求地址。
  2. 填写2个请求Header参数：
    • Content-Type：值为application/json。
    • X-Auth-Token：值为获取到的Token。
  3. 在Postman中选择"Body > raw"选项，填写请求Body。
  4. 单击"Send"按钮发送请求。

4.2 请求Body详解

请求Body采用JSON格式，核心结构如下：

  • messages（必选）：多轮对话问答对，数组长度1-20。
  • user（可选）：代表用户的唯一标识符，字符串长度最大64。
  • stream（可选）：流式调用的开关，true为开启，false为关闭，默认为false。

messages数组中的每个元素包含role和content字段。content是一个数组，可以包含多种类型的内容。

4.3 单图调用示例

以下是一个单图调用的请求Body示例：

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "图中请简要描述下图片，说明其中对象的位置关系以及有趣之处"
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "data:image/jpg;base64,{base64_str}"
          }
        }
      ]
    }
  ],
  "model": "pangu_mllm",
  "max_tokens": 520,
  "temperature": 0,
  "stream": "false"
}

另一种单图调用的格式：

{
  "messages": [
    {
      "content": [
        {
          "type": "image",
          "image": {
            "image_base64": "图片的base64字符串"
          }
        },
        {
          "type": "text",
          "text": "图中有什么？"
        }
      ]
    }
  ],
  "presence_penalty": 0.5,
  "frequency_penalty": 0.5,
  "max_tokens": 2048
}

两种格式的主要区别在于图片的传递方式：第一种使用image_url字段配合Data URL，第二种使用image字段配合image_base64。推荐使用第一种方式，因为它更符合OpenAI兼容的API规范。

4.4 多图调用示例

多模态大模型支持同时输入多张图片进行分析：

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "请识别图1中的车牌号码"
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "data:image/jpg;base64,{base64_str4}"
          }
        },
        {
          "type": "text",
          "text": "图2中从左往右分别是谁？请简要介绍下名字"
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "data:image/jpg;base64,{base64_str1}"
          }
        },
        {
          "type": "text",
          "text": "图3中请简要描述下图片，说明其中对象的位置关系以及有趣之处"
        },
        {
          "type": "image_url",
          "image_url": {
            "url": "data:image/jpg;base64,{base64_str}"
          }
        }
      ]
    }
  ],
  "model": "pangu_mllm",
  "max_tokens": 520,
  "temperature": 0,
  "stream": "false"
}

在多图场景中，可以在content数组中交替插入文本和图片，实现图文混合的对话式交互。图片按顺序编号，模型会按照输入顺序理解每张图片。

4.5 纯文本调用示例

多模态大模型也支持纯文本的对话调用：

{
  "messages": [
    {
      "role": "user",
      "content": [
        {
          "type": "text",
          "text": "请简单介绍一下黄山"
        }
      ]
    }
  ],
  "model": "pangu_mllm",
  "max_tokens": 520,
  "temperature": 0,
  "stream": "false"
}

4.6 推理参数说明

以下是对请求Body中主要推理参数的详细说明：

  • temperature（温度）：用于控制生成文本的多样性和创造力。调高温度会使模型的输出更多样化和创新性。
  • 核采样（top_p）：控制生成文本的多样性和质量。调高核采样可以使输出结果更加多样化。
  • max_tokens（输出最大token长度）：控制模型生成回复的长度。较大的值可以生成更完整的回复，但也可能增加生成无关或重复内容的风险；较小的值可以生成更简洁的回复，但可能导致内容不完整。
  • 话题重复度控制：控制生成文本中的重复程度。调高参数会使模型更频繁地切换话题，避免生成重复内容。
  • 词汇重复度控制：调整模型对频繁出现Token的处理方式。调高参数会使模型减少相同词汇的重复使用。
  • 历史对话保留轮数：表示系统能够记忆的历史对话数。

五、使用体验中心调测

除了API调用外，华为云还提供了"体验中心"功能，支持用户直接调用订购的预置模型或经过训练的模型。

在体验模型功能前，需要先完成多模态大模型的部署任务。体验中心支持图像问答能力，在选择好订购的模型后，上传需要分析的图片并在输入框中输入问题，模型就会基于图片内容回答问题。

体验中心提供了可视化的参数调节界面，包括温度、核采样、输出最大token长度、话题重复度控制、词汇重复度控制、历史对话保留轮数等。这对于快速验证模型效果、进行原型开发非常有帮助。

六、模型运维与管理

6.1 模型更新

部署任务创建后，如果需要修改模型部署信息，可以在详情页面单击右上角"模型更新"或"修改部署"进行修改。更新模型时可以替换模型、修改环境变量。修改部署时模型无法进行替换。

模型更新和修改部署后，可以选择两种升级方式：

  • 全量升级：旧版本和新版本的服务会同时运行，直到新版本完全替代旧版本。在新版本部署完成前旧版本仍然可以使用。
  • 滚动升级：逐步替换旧版本的实例，实现平滑升级，减少服务中断时间。

6.2 扩缩容

当业务负载发生变化时，可以对模型服务进行扩缩容操作。在模型详情页面单击右上角"扩缩容"，进入扩缩容页面修改实例数，单击"确定"即可。

6.3 监控与告警

通过订阅提醒功能，系统可以在任务状态运行、失败或告警时通过短信或邮件将提醒发送给用户。用户也可以在SMN云服务中创建主题并维护订阅信息。

七、计费与成本优化

7.1 计费模式

华为云多模态大模型支持两种计费模式：

  • 包年/包月：预付费模式，按照订单的购买周期进行结算。模型推理资源按推理单元订购数量和时长预付费，提供1个月到1年供客户选择。
  • 按需计费：后付费模式，先使用再付费。按需计费资源按秒计费，每一个小时整点结算一次费用。模型训练资源按需订购按单元使用数量和时长后付费，时长精确到秒。

7.2 计费项

主要计费项包括：

  • 模型训练资源：支持包周期和按需两种方式。
  • 模型推理资源：按推理单元订购数量和时长计费。
  • 存储资源：在ModelArts创建模型不收费，但通过OBS导入模型时OBS会产生费用。

7.3 成本优化建议

  • 使用公共资源池时，仅部署模型服务状态为运行中及告警时才收费，停止服务可节省费用。
  • 使用专属资源池时，部署模型服务不进行单独计费，由专属资源池统一收费，适合长期大规模使用。
  • 合理规划实例数量，避免过度配置导致资源浪费。
  • 利用包年/包月模式获得更优惠的单价。

八、完整Python调用示例

以下是一个完整的Python代码示例，展示如何调用华为云多模态大模型API进行图像理解：

import requests
import base64
import json

def encode_image(image_path):
    """将图片编码为base64字符串"""
    with open(image_path, "rb") as image_file:
        return base64.b64encode(image_file.read()).decode("utf-8")

def call_multimodal_model(image_path, question, token, project_id, deployment_id):
    """
    调用华为云多模态大模型
    :param image_path: 图片路径
    :param question: 提问文本
    :param token: X-Auth-Token
    :param project_id: 项目ID
    :param deployment_id: 部署ID
    :return: API响应结果
    """
    # 编码图片
    base64_str = encode_image(image_path)
    
    # 构建请求URL
    url = f"https://ip:port/v1/{project_id}/deployments/{deployment_id}/chat/completions"
    
    # 构建请求Header
    headers = {
        "Content-Type": "application/json",
        "X-Auth-Token": token
    }
    
    # 构建请求Body
    payload = {
        "messages": [
            {
                "role": "user",
                "content": [
                    {
                        "type": "text",
                        "text": question
                    },
                    {
                        "type": "image_url",
                        "image_url": {
                            "url": f"data:image/jpg;base64,{base64_str}"
                        }
                    }
                ]
            }
        ],
        "model": "pangu_mllm",
        "max_tokens": 520,
        "temperature": 0.5,
        "stream": "false"
    }
    
    # 发送请求
    response = requests.post(url, headers=headers, json=payload)
    return response.json()

# 使用示例
if __name__ == "__main__":
    # 请替换为实际值
    TOKEN = "your_token_here"
    PROJECT_ID = "your_project_id_here"
    DEPLOYMENT_ID = "your_deployment_id_here"
    IMAGE_PATH = "./test.jpg"
    QUESTION = "请描述这张图片的内容"
    
    result = call_multimodal_model(IMAGE_PATH, QUESTION, TOKEN, PROJECT_ID, DEPLOYMENT_ID)
    print(json.dumps(result, ensure_ascii=False, indent=2))

上述代码涵盖了图片Base64编码、请求构建、API调用和结果解析的完整流程。在实际使用中，需要将ip:port替换为实际的API接口域名，并将Token、Project ID和Deployment ID替换为真实值。

结语

华为云多模态大模型为企业级AI应用提供了强大的多模态理解与生成能力。通过ModelArts Studio平台，开发者可以快速完成模型的部署与调测；通过标准化的REST API，可以轻松将多模态能力集成到各类业务系统中。从图像描述、视觉问答到视频理解、图像生成，多模态大模型正在不断拓展AI的应用边界。随着盘古大模型5.0的发布以及昇腾算力的持续升级，华为云多模态大模型将在更多行业场景中发挥关键作用。

常见问题解答

问1：华为云多模态大模型支持哪些输入模态？
答：华为云多模态大模型支持文本、图像、视频等多种输入模态。具体支持的模态组合取决于所选模型规格，例如Pangu-MM-M2-Img2Txt-16K-V5.0.4.2支持图像理解，Pangu-MM-M2-Text2Video-1.0.0支持文本生成视频。

问2：调用多模态大模型API需要哪些认证信息？
答：调用API需要Project ID、Deployment ID和认证凭证（Token或API Key）。Project ID可在华为云控制台"我的凭证"中获取，Deployment ID在模型部署详情页获取。Token有效期为24小时，建议缓存使用。

问3：图片如何传递给多模态大模型？
答：图片需要通过Base64编码后传递。在请求Body的content数组中，使用type: "image_url"或type: "image"字段，将Base64编码的图片数据放入url或image_base64字段中。

问4：多模态大模型部署需要多少推理单元？
答：盘古多模态大模型各版本均需要8个推理单元进行部署。实例数建议不大于10，否则可能触发限流导致部署失败。

问5：如何控制模型输出的长度和质量？
答：可以通过max_tokens控制输出长度，通过temperature和核采样控制输出的多样性和创造性，通过话题重复度控制和词汇重复度控制避免生成重复内容。

问6：多模态大模型的计费方式有哪些？
答：支持包年/包月和按需计费两种模式。包年/包月是预付费模式，按推理单元订购数量和时长计费；按需计费是先使用再付费，按秒计费，每小时结算一次。使用公共资源池时仅服务运行中及告警时才收费。

相关文章

华为云服务器购买怎么便宜？小公司省钱攻略来了！这样买立省好几千​

华为云服务器购买怎么便宜？小公司省钱攻略来了！这样买立省好几千​

很多朋友都在吐槽：“华为云服务器太贵了，预算有限实在买不起！” 其实，买华为云服务器贵不贵，关键看你会不会选、会不会买。今天就来给大家分享一套超实用的省钱攻略，小公司、创业团队也能轻松用得起稳定又安全…

华为云服务器采购总嫌贵？30%华为云返点返佣 + 旗舰级代理保障，这波省钱操作别错过！

华为云服务器采购总嫌贵？30%华为云返点返佣 + 旗舰级代理保障，这波省钱操作别错过！

最近不少做 IT 运维或企业采购的朋友跟我吐槽，公司要上华为云服务器，去官网一看报价直接犯了难 —— 按年付费算下来，比预期预算高出不少。要是赶上业务扩张需要多台服务器，这笔开支更是让财务部门直皱眉。…

2026华为云返点返佣政策深度解析：头部代理返佣优势与企业合作指南

2026华为云返点返佣政策深度解析：头部代理返佣优势与企业合作指南

上海汪远信息科技有限所在公司年销华为云产品3亿+，属于头部代理梯队，可为合作客户提供最高30%的返佣优惠，直接帮助企业降低30%的云资源成本。…

华为云代理商有哪些？华为云代理返点是真的么？

华为云代理商有哪些？华为云代理返点是真的么？

一，华为云代理商简介华为云代理商，顾名思义就是替华为云做华为云服务器数据库等公有云产品推广的代理商，每推广出一单华为云服务器，华为云会跟这个代理商结算佣金，佣金比例分为月度佣金，季度佣金和年度佣金，华…

2026华为云返点返佣政策深度解析：头部代理返佣优势与企业合作指南

2026华为云返点返佣政策深度解析：头部代理返佣优势与企业合作指南

一、华为云代理商的核心价值定位1. 代理商的角色与职责华为云代理商作为华为云生态的核心合作伙伴，承担着三重核心职能：•产品推广销售：负责推广销售华为云全系列云产品，包括云服务器ECS、云数据…

上海汪远信息：年销1.5亿+的头部华为云代理商，10年深耕为企业上云保驾护航

上海汪远信息：年销1.5亿+的头部华为云代理商，10年深耕为企业上云保驾护航

核心摘要本文深度解析华为云代理商行业现状，揭示小代理商生存困境的核心原因（业绩压力大、垫资周期长、资金链脆弱），重点推荐上海汪远信息科技有限公司——一家拥有10年华为云代理经验、年销量超1.5亿的全国…

上海汪远信息科技有限所在公司从事多年公有云和电子签代理，能持续为用户提供商务价值和技术支持，目前从事的代理有：阿里云，腾讯云，华为云，火山云，天翼云，移动云，亚马逊云，谷歌云，微软云，腾讯电子签，法大大电子签，爱签电子签等！

网站备案号：沪ICP备15020509号-2 公安备案号：沪公网安备31011202008721号