1. 模型质量监控
听云Network
  • 中文版
    • Release Notes
      • 2026年
      • 2025年
      • 2024年
    • 产品介绍
      • 产品概述
        • 产品概述
      • 工作原理
        • 监测原理
        • 监测点部署
      • 产品架构
        • 产品架构
      • 典型场景
        • CDN加速评估及选型
        • 网站对标分析
        • 网站应用压力测试分析
        • 对网站进行性能评估和优化
        • 具备可观测混合压测场景
        • DNS劫持监测-CNAME监测
        • VPN质量监控
        • WIFI质量监控
        • 短信服务质量监控
        • API主动监控
        • 证书监控
        • MTR网络链路监控
        • 企业业务质量监控
        • 端到端场景监测
        • whois域名监控场景
        • IPV6支持率监控
        • 模型质量监控
      • 核心优势
        • 端到端监测
        • 市场地位
        • 数据保障
        • 本土化服务
      • 功能模块
        • 即时监测
          • 即时监测
        • 持续监测
          • 持续监测介绍
          • 监测任务类型
          • 监测结果分析
        • 私有节点监测
          • 私有节点监测
        • 域名分析
          • 域名分析
        • CDN调优
          • CDN调优
        • 劫持监测
          • 劫持监测
        • 警报通知
          • 警报通知
        • 报告服务
          • 报告服务
        • API服务
          • API服务
    • 使用指南
      • 持续监测图表
        • 公共操作
        • 概览
        • 趋势图
        • 地域图
        • 地图
        • 主机图
        • 错误图
        • 散点图
        • 元素
      • 任务类型
        • 监测任务类型介绍
        • 固网业务监测
        • 移动业务监测
        • 模型质量监控业务监测
      • 持续监测
        • 持续监测介绍
        • 新建任务
        • 查询任务
        • 管理任务
        • 绑定任务
        • 节点组管理
      • 即时监测
        • 即时监测介绍
        • 配置即时监测
        • 查看监测结果
      • 系统管理
        • 系统管理介绍
        • 自有点监测
        • 用户管理
        • 使用量查询
        • 授权码管理
        • 地图参数
      • 域名分析
        • 域名分析
      • CDN调优
        • CDN调优介绍
        • CDN评估
        • 算法建议
        • 策略调优
      • 警报
        • 警报介绍
        • 性能警报
        • 错误警报
        • 智能警报
        • 警报日志
        • 警报推送
      • 报告
        • 报告介绍
        • 创建快速报告
        • 创建智能报告
        • 导出报告
        • 图表池
      • API服务
        • API服务
      • MCP 服务
        • 听云 Network MCP 接入指南
        • 听云 Network MCP 工具
      • 其他功能
        • 分享当前页面
        • 移动端快速访问
      • WebRecorder脚本录制器(插件版)
        • 介绍
        • 安装
        • 创建项目及界面展示
        • 脚本录制
        • 配置任务
        • 注意事项
        • 脚本录制器支持的命令
        • 脚本录制器对事务验证码的支持
    • 指标说明
      • PC监控
        • 页面指标
        • 文件指标
        • 事务指标
        • 流媒体指标
        • Ping指标
        • MTR指标
        • 模型质量监控指标
        • 私有协议指标
          • 私有协议指标解释概述
          • Websocket 插件配置说明
          • DIG 插件配置说明
          • Socket(TCP/UDP) 插件配置说明
          • Telnet 插件配置说明
          • FTP 插件配置说明
          • SMTP/IMAP/POP3 插件配置说明
          • MTR 插件配置说明
          • Traceroute 插件配置说明
          • DeepSeek 插件配置说明
          • TCP Send 插件配置说明
          • UDP 插件配置说明
          • HTTP(SM) 插件配置说明
          • HTTP3 插件配置说明
          • OCSP 插件配置说明
          • WIFI 插件配置说明
          • VPN 插件配置说明
      • 移动(H5)监控
        • 页面指标
        • 文件指标
        • 事务指标
        • 流媒体指标
        • Ping指标
        • 短信指标
    • 脚本录制器
      • NBR脚本录制器工具的下载
      • NBR脚本录制器的使用-----简版
    • 常见问题
      • 功能分析
        • 创建任务
        • 创建节点组
        • 高级参数----结束条件
        • 高级参数----诊断
        • 报表无数据之校验节点DNS功能
        • 流媒体监测,配置任务后无数据
        • 平台是否支持查看“指定Cname是否生效”
        • 真机单文件任务下载崩溃
        • 听云检测和浏览器实际访问数据对不上
        • 监测地址写不全导致的报错
        • 绑定Host未生效,出现了列表之外的主机IP
        • 绑定Host未生效,出现了列表之外的主机IP
        • 不同任务类型,相同IP解析结果不同
        • 复制任务,无法做绑定
        • 即时监测IPV6页面级别解释
        • 私有协议Socket(TCP/UDP)
      • 错误分析
        • 打开流媒体失败
        • 打开流媒体失败
        • 打开流媒体失败
        • 页面任务元素出现阻塞时间的分析思路
        • 无法解析域名和服务器地址
        • 无法解析服务器名称或地址
        • 无法解析服务器名称或地址
        • 无法解析服务器名称或地址
        • 无法解析服务器名称或地址
        • 无法与服务器建立连接
        • 无法与服务器建立连接
        • 无法与服务器建立连接
        • 无法与服务器建联连接
        • 与服务器建立连接失败
        • 操作超时
        • 操作超时之Chrome90
        • 任务超时
        • 任务超时
        • 服务器连接被重置
        • 与服务器连接被重置
        • 与服务器连接被重置
        • 应用的证书无效
        • 应用证书无效
        • 应用证书无效
        • 安全频道支持出错
        • 安全频道支持出错
        • 安全频道支持出错
        • 证书错误
        • 私有化平台页面访问报-100错误
        • 404 - Not Found错误
        • HTTP/1.1 403 Forbidden
        • HTTP412错误
        • 元素报表数值对不上
      • 数据分析
        • 如何区分HLS格式是直播还是点播
        • 报表数据与客户服务器端统计不一致
        • DNS时间过长的分析思路
        • 绑定对比任务的消耗点数不同
        • 4G真机监测下客户反馈http via不正确
        • 节点IP定位不准确
        • 私有化平台任务无数据
        • CDN厂商CNAME无响应问题
        • 单文件下载任务, 创建后无数据
        • SSL握手时间长
        • 监控数据量少,和节点组频率对应不上
        • 跨省跨运营商现象分析
        • 流媒体任务,三个任务数据量相差较大
        • 相同文件下载,不同厂商字节数下载不同
        • 单文件下载,配置MD5,下载不全未报错。
        • DNS时间较长问题分析
        • PING任务警告,Request timed out
        • PING任务丢包百分之百
        • 元素瀑布图中有重复元素加载
        • 散点数据和抓包数据对不上
        • 抓包中如何查看传输的内容
        • 任务无数据/数据少
        • 相同URL,额外等待时间影响onload时间
        • 听云监测数据和浏览器访问数据总下载字节数相差较大
        • DNS时间较长
        • 跨运营商访问
        • 页面任务元素出现阻塞时间
        • 抓包中出现TCP ZERO window
      • 报表权限
      • 节点分析
        • 数据访问发现有跨区访问
        • 节点劫持
      • 告警分析
        • 运营商链路故障引起告警
        • 客户应用500,平台未告警
      • 问题百问
        • Network问题Q&A
        • 模型质量监控相关问题Q&A
        • 拨测任务被 Cloudflare 人机验证拦截的处理方法
    • 专题使用指南
      • 模型质量监控
        • 概述
        • 专题使用指南
  • English
    • Release Notes
      • 2026
      • 2025
      • 2024
    • Product Introduction
      • Product Overview
        • Product Overview
      • How It Works
        • Monitoring Principles
        • Probe Deployment
      • Product Architecture
        • Product Architecture
      • Typical Scenarios
        • CDN Acceleration Evaluation and Selection
        • Website Benchmarking Analysis
        • Website Application Stress Test Analysis
        • Website Performance Evaluation and Optimization
        • Observable Hybrid Load Testing Scenario
        • DNS Hijacking Monitoring - CNAME Monitoring
        • VPN Quality Monitoring
        • WIFI Quality Monitoring
        • SMS Service Quality Monitoring
        • API Active Monitoring
        • Certificate Monitoring
        • MTR Network Link Monitoring
        • Enterprise Business Quality Monitoring
        • End-to-End Scenario Monitoring
        • Whois Domain Monitoring Scenario
        • IPv6 Support Rate Monitoring
        • Model Quality Monitoring
      • Core Advantages
        • End-to-End Monitoring
        • Market Position
        • Data Protection
        • Localized Service
      • Feature Modules
        • Instant Testing
          • Instant Testing
        • Synthetic Monitoring
          • Synthetic Monitoring Introduction
          • Monitoring Task Types
          • Monitoring Result Analysis
        • Private Probe Monitoring
          • Private Probe Monitoring
        • Domain Analysis
          • Domain Analysis
        • CDN Tuning
          • CDN Tuning
        • Hijacking Monitoring
          • Hijacking Monitoring
        • Alert Notifications
          • Alert Notifications
        • Report Service
          • Report Service
        • API Service
          • API Service
    • User Guide
      • Synthetic Monitoring Charts
        • Common Operations
        • Overview
        • Trend Chart
        • Region Chart
        • Map
        • Host Chart
        • Error Chart
        • Scatter Plot
        • Elements
      • Task Types
        • Monitoring Task Types Introduction
        • Fixed Network Service Monitoring
        • Mobile Service Monitoring
        • Model Quality Monitoring Service Monitoring
      • Synthetic Monitoring
        • Synthetic Monitoring Introduction
        • Create Task
        • Query Tasks
        • Manage Tasks
        • Bind Task
        • Probe Group Management
      • Instant Testing
        • Instant Testing Introduction
        • Configure Instant Testing
        • View Monitoring Results
      • System Management
        • System Management Introduction
        • Private Probe Monitoring
        • User Management
        • Usage Query
        • Authorization Code Management
        • Map Parameters
      • Domain Analysis
        • Domain Analysis
      • CDN Tuning
        • CDN Tuning Introduction
        • CDN Assessment
        • Algorithm Recommendations
        • Policy Tuning
      • Alerts
        • Alert Introduction
        • Performance Alert
        • Error Alert
        • Intelligent Alert
        • Alert Log
        • Alert Push
      • Reports
        • Report Introduction
        • Create Quick Report
        • Create Smart Report
        • Export Report
        • Chart Pool
      • API Service
        • API Service
      • WebRecorder Script Recorder (Plugin Version)
        • Configure Task
        • Create Project and Interface Display
        • Introduction
        • Script Recording
        • Commands Supported by Script Recorder
        • Script Recorder Support for Transaction Verification Codes
        • Notes
        • Installation
      • Other Features
        • Share Current Page
        • Quick Mobile Access
      • MCP Service
        • Tingyun Network MCP Access Guide
        • Tingyun Network MCP Tools
    • Metric Descriptions
      • PC Monitoring
        • Page Metrics
        • File Metrics
        • Transaction Metrics
        • Streaming Media Metrics
        • Ping Metrics
        • MTR Metrics
        • Model Quality Monitoring Metrics
        • Private Protocol Metrics
          • Private Protocol Metrics Overview
          • WebSocket Plugin Configuration Guide
          • DIG Plugin Configuration Guide
          • Socket(TCP/UDP) Plugin Configuration Guide
          • Telnet Plugin Configuration Guide
          • FTP Plugin Configuration Guide
          • SMTP/IMAP/POP3 Plugin Configuration Guide
          • MTR Plugin Configuration Guide
          • Traceroute Plugin Configuration Guide
          • DeepSeek Plugin Configuration Guide
          • TCP Send Plugin Configuration Guide
          • UDP Plugin Configuration Guide
          • HTTP(SM) Plugin Configuration Guide
          • HTTP3 Plugin Configuration Guide
          • OCSP Plugin Configuration Guide
          • WIFI Plugin Configuration Guide
          • VPN Plugin Configuration Guide
      • Mobile (H5) Monitoring
        • Page Metrics
        • File Metrics
        • Transaction Metrics
        • Streaming Media Metrics
        • Ping Metrics
        • SMS Metrics
    • Script Recorder
      • Download the NBR Script Recorder Tool
      • Using the NBR Script Recorder - Short Version
    • FAQs
      • Feature Analysis
        • Create Task
        • Create Probe Group
        • Advanced Parameters - End Conditions
        • Advanced Parameters - Diagnostics
        • Verify Probe DNS When Report Has No Data
        • No Data After Configuring a Streaming Media Monitoring Task
        • Does the Platform Support Checking Whether a Specified CNAME Takes Effect
        • Real Device Single File Task Download Crash
        • Tingyun Monitoring Does Not Match Actual Browser Access Data
        • Error Caused by Incomplete Monitoring Address
        • Bound Host Does Not Take Effect and Host IP Outside List Appears
        • Bound Host Does Not Take Effect and Host IP Outside List Appears
        • Same IP Has Different Resolution Results Across Task Types
        • Copied Task Cannot Be Bound
        • Instant Testing IPv6 Page-Level Explanation
        • Private Protocol Socket (TCP/ UDP)
      • Error Analysis
        • Failed to open streaming media
        • Failed to open streaming media (2)
        • Failed to open streaming media (3)
        • Troubleshooting Blocking Time for Page Task Elements
        • Unable to Resolve Server Name or Address
        • Unable to Resolve Server Name or Address (2)
        • Unable to Resolve Server Name or Address (3)
        • Unable to Resolve Server Name or Address (4)
        • Unable to Resolve Server Name or Address (5)
        • Unable to Establish Connection with Server
        • Unable to Establish Connection with Server (2)
        • Unable to Establish Connection with Server (3)
        • Unable to Establish Connection with Server (4)
        • Failed to establish connection with server
        • Operation Timeout
        • Chrome 90 Operation Timeout
        • Task timeout
        • Task timeout (2)
        • Server Connection Reset
        • The connection to the server was reset
        • The connection to the server was reset (2)
        • Invalid Application Certificate
        • Invalid Application Certificate (2)
        • Invalid Application Certificate (3)
        • Secure channel support error
        • Secure channel support error (2)
        • Secure channel support error (3)
        • Certificate Error
        • -100 Error When Accessing Private Platform Page
        • 404 - Not Found error
        • HTTP/1.1 403 Forbidden
        • HTTP412 error
        • Element Report Values Do Not Match
      • Data Analysis
        • How to Distinguish Live and VOD HLS Formats
        • Report Data Does Not Match Customer Server Statistics
        • Troubleshooting Long DNS Time
        • Different Point Consumption for Bound Comparison Tasks
        • Incorrect HTTP Via Reported in 4G Real Device Monitoring
        • Inaccurate Probe IP Location
        • No Data for Tasks on Private Platform
        • CDN Vendor CNAME No Response Issue
        • No Data After Creating Single File Download Task
        • Long SSL Handshake Time
        • Low Monitoring Data Volume Does Not Match Probe Group Frequency
        • Cross-Province and Cross-Carrier Phenomenon Analysis
        • Large Data Volume Difference Across Three Streaming Media Tasks
        • Different Vendors Download Different Byte Counts for Same File
        • Single File Download with MD5 Configured Does Not Report Incomplete Download
        • Long DNS Time Analysis
        • Ping Task Warning - Request Timed Out
        • Ping Task 100 Percent Packet Loss
        • Duplicate Elements Loaded in Element Waterfall Chart
        • Scatter Data Does Not Match Packet Capture Data
        • How to View Transmitted Content in Packet Capture
        • No or Insufficient Task Data
        • Additional Wait Time Affects Onload Time for Same URL
        • Large Difference Between Tingyun Monitoring and Browser Total Download Bytes
        • Long DNS Time
        • Cross-Carrier Access
        • Blocking Time Appears for Page Task Elements
        • TCP Zero Window Appears in Packet Capture
      • Probe Analysis
        • Cross-Region Access Found in Data Access
        • Probe Hijacking
      • Alert Analysis
        • Alert Caused by Carrier Link Failure
        • Customer Application 500 with No Platform Alert
      • Q&A
        • Network Q&A
        • Model Quality Monitoring Q&A
        • How to Handle Synthetic Tasks Blocked by Cloudflare Human Verification
      • Report Permissions
    • Topic User Guides
      • Model Quality Monitoring
        • Overview
        • Model Quality Monitoring Guide
  1. 模型质量监控

专题使用指南

更新日期:2026-09-11
本手册帮助任务创建者与配置管理员完成平台预置、自定义接入、自定义模型服务商及测试集的操作。重点说明字段联动、提交入口、列表按钮关系和操作后的核对方法。

目录#

1 使用前准备
2 使用平台预置创建任务
3 使用自定义接入创建任务
4 维护自定义模型服务商
5 维护自定义测试集
6 常见问题与操作核对
界面示例中的服务商、模型记录、验证时间与测试集时间用于说明操作,不是新账号的默认配置承诺。

1 使用前准备#

本手册面向模型监控任务创建者和配置管理员,说明如何使用平台预置模型、接入自定义模型,以及维护模型服务商和测试集。完成服务商配置和测试集准备后,即可在同一套任务创建流程中使用模型服务质量或模型输出质量监控。
开始前确认需要准备的内容
账号与功能入口使用能够访问任务管理、全局设置及模型质量监控配置的账号。看不到入口或操作按钮时,联系管理员核对权限。
套餐与节点确认有可用的模型监控套餐,并能选择所需节点组。
平台预置提前确定目标模型服务商、模型厂商和模型名称。任务页无需填写 API Key。
自定义接入准备接口协议、服务商名称、模型厂商、模型名称、API 地址和对应 API Key;已有配置可直接选择。
自定义测试集按目标指标下载并填写当前模板。未上传自定义测试集时,使用平台提供的公共测试集。

1.1 选择监控任务类型#

任务类型适用目的测试集关系
模型服务质量观察模型接口的服务表现。全部服务质量指标共用一个测试集。
模型输出质量评估模型输出的正确性、一致性和结构化输出准确率。三个指标分别使用各自的测试集。
两种任务类型均支持「平台预置」和「自定义接入」。当前「模型成本效率」标记为待发布,不能选择。

1.2 找到功能入口#

需要完成的操作进入路径
创建模型监控任务「任务管理 → 任务维护 → 新建任务 → 模型质量监控」
维护自定义模型服务商「系统管理 → 全局设置 → 模型质量监控配置 → 自定义模型服务商维护」
维护自定义测试集「系统管理 → 全局设置 → 模型质量监控配置 → 自定义测试集维护」

2 使用平台预置创建任务#

2.1 创建模型服务质量任务#

1.
进入「任务管理 → 任务维护」,单击「新建任务」。
2.
在「基本信息」中,将网络类型选为「模型质量监控」,任务类型选为「模型服务质量」,使用「手动创建」。
3.
在「必要参数」中选择可用套餐,填写便于识别的任务名称。
4.
将「接入方式」保持为「平台预置」。接口协议默认选择「OpenAI 协议」,「Anthropic 协议」置灰。
5.
依次选择「模型服务商」「模型厂商」和「模型名称」,核对自动带出的 API 地址。
6.
继续设置监测周期、节点范围及需要调整的高级参数,然后单击页面底部「保存」。以页面成功提示和任务列表结果确认任务已创建。
image1.jpeg
图 1 平台预置创建模型服务质量任务界面示例
平台预置下的模型信息由平台提供。不要把自定义接口地址或密钥填入其他字段;需要使用自有服务时,切换至「自定义接入」。

2.2 创建模型输出质量任务#

1.
在同一创建入口,将任务类型改为「模型输出质量」。
2.
保持「平台预置」,重新核对套餐、任务名称、服务商、厂商、模型名称与 API 地址。
3.
如需使用自定义题库,先在全局设置中分别维护正确性、一致性和结构化输出准确率测试集。三个指标的文件分别上传,不能以一个文件替代全部指标。
4.
设置监测周期和节点范围,并核对高级参数中的任务超时时间。模型输出质量当前默认 300 秒,模型服务质量默认 150 秒。
5.
单击「保存」,检查页面反馈。遇到字段校验提示时,按提示修改对应字段后重新提交。
image2.jpeg
图 2 平台预置创建模型输出质量任务界面示例

2.3 理解必要参数的联动关系#

字段填写或选择方式切换后的核对点
套餐选择当前账号可用的模型监控套餐。确认套餐状态及可用期限。
任务名称手工输入。使用可以区分服务商、模型和监控目的的名称。
接入方式平台预置或自定义接入。切换后重新确认协议和三级模型选项。
接口协议平台预置固定 OpenAI 协议。Anthropic 置灰属于该模式的正常状态。
模型服务商从平台预置下拉列表选择。可选厂商和模型名称随服务商变化。
模型厂商从当前服务商支持的厂商中选择。同一服务商可能包含多个模型厂商。
模型名称从当前厂商的模型列表中选择。以完整模型标识为准,不用相似名称代替。
API 地址由选中的平台配置自动带出。服务商或模型变化后再次核对地址,不手动覆盖。
必要参数在 API 地址处结束。「监测周期」「节点范围」「高级参数」是后续独立分组。当前必要参数中没有「测试文本长度」,也不展示 API Key。

2.4 平台预置服务商范围#

深度求索(DeepSeek)、月之暗面、MiniMax、百度、阿里巴巴、字节跳动、智谱 AI 和腾讯。

2.5 设置监测周期和节点范围#

1.
在「监测周期」中选择按套餐有效期执行或指定时间范围,并选择监测频率。
2.
需要限制执行时段时,启用自定义执行计划并填写允许执行的时段。
3.
在「节点范围」选择节点组,通过「查看」确认组内节点;需要新增节点组时,使用该区域对应入口。
4.
在「高级参数」按需查看结束条件、诊断、节点筛选、客户端行为和 HTTP 参数。确认后再保存任务。
频率、有效期、执行计划和节点组共同决定任务何时、从哪些节点发起。改变任务类型或接入配置后,应重新检查这些设置,避免只确认必要参数就提交。

3 使用自定义接入创建任务#

3.1 选择协议和已有模型配置#

1.
进入模型质量监控的新建任务页面,选择「模型服务质量」或「模型输出质量」,填写套餐和任务名称。
2.
将「接入方式」切换为「自定义接入」。
3.
根据目标接口选择「OpenAI 协议」或「Anthropic 协议」。接口协议会影响可选的模型服务商。
4.
依次选择「模型服务商 → 模型厂商 → 模型名称」。下一级选项基于上一级筛选,不应跳过父级选择。
5.
核对自动带出的 API 地址。任务参数区不显示 API Key,无需在任务创建时重复填写密钥。
6.
完成监测周期、节点范围和高级参数后,单击任务页面底部「保存」,根据页面反馈确认结果。
image3.jpeg
图 3 自定义接入选择 OpenAI 协议界面示例

3.2 切换 Anthropic 协议#

1.
在自定义接入下选择「Anthropic 协议」。
2.
重新展开「模型服务商」,选择支持该协议的配置,再选择厂商和模型名称。
3.
检查 API 地址已切换为所选配置对应的地址。若目标服务商未出现,先检查维护记录使用的接口协议。
image4.jpeg
图 4 自定义接入选择 Anthropic 协议界面示例
同一个服务商可能分别维护不同协议、模型厂商或模型名称的记录。切换协议后,原来选中的记录可能不再属于当前列表,应重新核对全部联动字段。

3.3 在创建任务时新建模型服务商#

1.
在自定义接入的「模型服务商」下拉框右侧,单击「新建模型服务商」。
2.
在弹层中依次填写接口协议、模型服务商、模型厂商、模型名称、API 地址和 API Key。
3.
检查模型名称与目标服务实际支持的标识一致,API 地址与协议对应,API Key 属于可访问该模型的凭据。
4.
单击弹层底部「保存」。该入口在当前版本使用「保存」,与全局设置中的「测试并保存」名称不同。表单未完整填写时,主按钮可能处于禁用状态。
5.
根据保存反馈返回任务表单,在模型服务商、厂商和模型名称下拉中确认新配置。若未自动选中,手工选择后核对 API 地址。
6.
继续完成任务配置并单击任务页面自身的「保存」。保存服务商配置不等同于保存模型监控任务。
image5.jpeg
图 5 任务创建中的新建模型服务商弹层界面示例
API Key 仅在新建弹层中输入,不在任务参数区或维护列表中明文展示。关闭或取消弹层不会替代保存动作;不要把密钥写进任务名称、服务商名称、模型名称或备注性文字。

3.4 找不到配置时的处理顺序#

1.
先确认当前接口协议正确,清楚区分 OpenAI 与 Anthropic 配置。
2.
到全局设置中的自定义模型服务商维护页面,检索目标服务商、厂商或模型名称,核对记录是否存在。
3.
检查记录的验证状态、API 地址和模型名称,按需要执行验证或编辑。
4.
返回任务创建页面,重新选择协议与三级模型字段,检查地址后再保存任务。
出现接口错误或保存失败时,以本次返回的错误提示为准。模型名称错误、接口地址与协议不匹配、权限不足等问题,应分别到相应配置或服务商侧核对;不要仅根据下拉中能够选择就认定接口已验证通过。

4 维护自定义模型服务商#

4.1 查看列表和搜索配置#

1.
进入「系统管理 → 全局设置」。
2.
展开「模型质量监控配置」,选择「自定义模型服务商维护」。
3.
在搜索框中输入服务商、模型厂商、模型名称或 API 地址关键词;需要时同时选择验证状态。
4.
检查筛选后的记录及数量。没有匹配结果时,清空关键词或恢复「全部状态」,再确认记录是否存在。
image6.jpeg
图 6 自定义模型服务商维护列表界面示例
列表字段用途
复选框选择需要批量验证的记录。
模型服务商识别提供接口的一方;可能同时提供多个厂商的模型。
模型厂商识别当前模型所属厂商。
模型名称识别实际调用的完整模型标识。
API 地址核对模型请求的目标接口地址。
接口协议区分 OpenAI 与 Anthropic 协议。
验证状态查看最近一次验证结果,并结合验证时间判断时效。
操作编辑或删除对应记录。
API Key 不属于列表展示字段。不要通过截图、共享表格或导出的说明文档传播密钥。

4.2 组合使用搜索和验证状态#

验证状态选项筛选含义使用建议
全部状态显示符合关键词条件的所有验证状态。首次查找或排查记录缺失时使用。
验证通过仅查看符合关键词条件的通过记录。同时检查最近验证时间,避免将历史结果当作持续有效承诺。
验证未通过仅查看符合关键词条件的未通过记录。核对配置后重新验证;空结果表示当前条件下没有匹配记录。
image7.jpeg
图 7 验证状态筛选界面示例
验证状态筛选只改变列表显示,不执行验证。当前选项名称为「验证通过 / 验证未通过」,不是旧原型中的「有效 / 无效」。

4.3 验证选中的记录#

1.
先使用关键词和验证状态定位需要检查的记录。
2.
勾选对应行。需要多选时逐条勾选;使用表头复选框后,应核对当前已勾选范围。
3.
勾选后,工具栏显示「验证选中项」。单击该按钮开始验证,并等待结果返回。
4.
逐条查看「验证状态」及本次验证时间。对于未通过记录,按页面提供的详情或错误反馈核对原因;修改后再验证。
5.
取消勾选后,确认不再误选其他记录,尤其在切换筛选条件或分页前后。
image8.jpeg
图 8 勾选记录后显示验证选中项界面示例
「验证选中项」用于检查已经存在的配置,不会替代新建、导入或编辑。历史「验证通过」表示该次验证结果;变更服务商侧权限、模型或接口后,应再次验证。不同部署版本的失败详情展示形式可能不同,以本次返回信息为准。

4.4 新建模型服务商#

1.
单击搜索行右侧「新建模型服务商」。
2.
填写以下 6 个字段,检查接口协议、API 地址和模型标识相互匹配。
3.
单击「测试并保存」,等待页面反馈。存在缺项或错误时,按提示修改后重新提交;不要仅因弹层关闭就跳过列表核对。
4.
返回列表检索新记录,核对厂商、模型名称、API 地址和验证状态。
字段填写说明
接口协议选择目标接口实际支持的 OpenAI 协议或 Anthropic 协议。
模型服务商自定义输入便于识别的服务商名称。
模型厂商填写模型所属厂商,不与服务商字段混淆。
模型名称填写服务端可识别的完整模型标识。
API 地址填写与接口协议及目标服务相对应的完整接口地址。
API Key填写可访问该接口和模型的密钥。新建后不明文回显。
image9.jpeg
图 9 全局设置新建模型服务商界面示例
「测试并保存」是该弹层的主操作。列表批量验证为另一入口;新建后仍应查看记录的实际验证状态,不根据按钮名称推断列表状态一定已更新。

4.5 编辑已有配置#

1.
检索并确认目标记录,在操作列单击「编辑」。
2.
弹层显示接口协议、模型服务商、模型厂商、模型名称和 API 地址。接口协议锁定,不能在编辑状态切换;API Key 不显示。
3.
修改需要调整的字段。API 地址下方提示「编辑配置信息会自动同步至任务。」,因此修改前应确认受影响任务,修改后检查相关任务配置和运行结果。
4.
单击「测试并保存」,根据页面结果确认是否成功。返回列表后再次核对字段与验证状态。
image10.jpeg
图 10 编辑模型服务商时锁定协议并隐藏 API Key 界面示例
当前编辑弹层无法修改 API Key,也不能切换接口协议。需要更换密钥或协议时,应先与管理员确认适用的维护方式,不要把密钥写入其他可编辑字段。配置同步至运行中任务的具体生效时点,以实际部署和运行反馈为准。

4.6 使用模板批量导入#

1.
单击工具栏「模板导入」,再单击「下载模板」。
2.
保留模板表头,逐行填写模型服务商、模型厂商、模型名称、API 地址、API Key、接口协议。
3.
将接口协议填写为数字 0 或 1:0 表示 OpenAI,1 表示 Anthropic。不要把界面的中文协议名称直接当作模板编码。
4.
检查文件类型、数据行数、单行大小和文件大小,然后单击「选择文件」。
5.
确认文件名后单击「开始导入」,按返回结果处理错误。不要把文件选择成功当作导入成功。
6.
导入结束后,检索本次配置并核对条目;需要验证时勾选目标记录并执行「验证选中项」。
image11.jpeg
图 11 模型服务商模板导入界面示例
限制项要求
文件格式.xlsx、.xls、.csv
数据条数最多 50 条,不含表头
单行内容不超过 32 KB
单个文件不超过 1 MB
模板结构不调整表头名称;接口协议使用 0 或 1。
上传文件包含 API Key,应限制文件的存储和共享范围。处理导入错误时,按返回提示定位行与字段;不要直接重传整个文件而忽略是否已有记录导入成功。出现「本次导入」标记时,可将其作为定位辅助,同时核对记录内容与导入结果。

4.7 删除记录#

1.
找到目标记录,在操作列单击「删除」。
2.
检查确认浮层中的操作对象。暂不删除时单击「取消」或关闭浮层;只有确认无误后才单击「确定」。
3.
以页面反馈和列表结果确认删除是否成功,并核对关联任务是否需要调整。
删除不是停用或撤销验证。删除前应确认配置是否被任务引用。若页面提示不能删除,应根据依赖或权限提示处理(删除前需要先删除关联的任务,否则删除不成功),不反复提交;被引用配置的删除规则及关联任务影响以当前部署的校验结果为准。

5 维护自定义测试集#

5.1 选择目标测试集#

1.
进入「系统管理 → 全局设置 → 模型质量监控配置 → 自定义测试集维护」。
2.
先确定任务类型和指标,再定位相应记录。页面固定列出四类测试集,操作按行执行。
3.
查看「最近创建时间」和「状态」,确认准备上传、下载、启停或重置的对象。
image12.jpeg
图 12 自定义测试集维护列表界面示例
指标名称测试集范围
模型服务质量(全部指标共用)所有服务质量指标共用该测试集。
模型输出质量 · 正确性只用于正确性指标。
模型输出质量 · 一致性只用于一致性指标。
模型输出质量 · 结构化输出准确率只用于结构化输出准确率指标。
服务质量指标共用测试集,输出质量指标分别维护独立测试集。如未上传,则使用官方公共测试集。列表中已有的创建时间和启用状态属于当前配置,不表示新账号一定预置自定义测试集。

5.2 上传或替换目标测试集#

1.
在目标指标行单击「上传」。页面不再使用顶部「新增测试集」入口。
2.
检查弹层中的指标名称。该目标由当前行带入;如果选择了错误指标,取消并从正确行重新打开。
3.
单击「下载模板」,按模板填写题目名称、测试输入、预期结果和正则说明,不改变表头。
4.
检查最多 50 条、单行不超过 32 KB、文件不超过 1 MB,保存为支持的 .xlsx、.xls 或 .csv 文件。
5.
单击「选择文件」,确认文件名、指标及上传内容,再单击「确认上传」。
6.
根据页面结果处理校验错误。上传完成后回到列表,核对最近创建时间和状态;如仍为停用状态,按需要执行启用。
image13.jpeg
图 13 按指标上传测试集及模板限制界面示例
模板列填写时需要核对
题目名称用于识别单条测试题,避免仅使用难以辨认的编号。
测试输入填写需要发送给模型的测试内容。
预期结果按所选指标和下载模板的填写规则提供预期输出。
正则说明保留当前模板列名,按模板说明填写。页面未给出统一正则语法与判定规则时,不自行约定表达式含义。
上传限制中,50 条不包含表头,32 KB 是单行内容大小而不是字符数。多字节文字和换行也会占用空间。上传内容不应包含隐私、商业机密或其他不应发送给模型服务的信息。
四类测试集分别维护。替换正确性测试集不会替代一致性或结构化输出准确率的配置。对于既有文件,上传前建议先下载备份;上传后逐项检查目标指标和状态,不只检查文件上传进度。

5.3 下载当前测试集#

1.
在目标指标行确认已有自定义测试集。
2.
单击该行「下载」,保存文件并核对内容。下载按钮不可用时,先确认该行是否已有上传数据。
3.
区分「下载模板」与「下载」:上传弹层中的下载模板用于填写新文件,列表下载用于取得当前测试集。
下载不会改变测试集的启用或停用状态。成功下载也不表示其他操作已完成。

5.4 启用和停用的按钮关系#

当前状态下载启用停用重置
未上传自定义测试集通常不可用不可用不可用无自定义内容可重置
已上传且启用可下载置灰可操作可操作
已上传且停用仍可下载可操作置灰可操作
1.
需要开始使用已上传的停用测试集时,单击该行「启用」,以状态更新确认结果。
2.
需要暂停使用自定义测试集时,单击「停用」,阅读确认提示并确认,以状态更新检查结果。暂不操作时取消。停用与清空数据不同;需要再次使用时可重新启用。
3.
按钮置灰时,先查看当前状态。已启用记录不需要重复启用,已停用记录不需要重复停用。
表中说明帮助识别常见按钮关系,具体可用性以当前界面为准。停用后的回退方式、正在执行的任务是否立即换用其他测试集及生效时点,不应仅根据按钮名称判断;完成切换后需核对任务结果或按管理员确认的运行规则使用。

5.5 重置并恢复平台测试集#

1.
需要清空自定义测试集时,先下载备份,再在目标指标行单击「重置」。
2.
阅读确认提示:「重置后,已上传的测试集将被清空,默认使用平台提供的测试集。」
3.
不执行清空时单击「取消」。只有确认需要清除该指标的自定义内容时,才单击「确定」。
4.
根据页面返回结果确认清空,并检查该行最近创建时间、状态和按钮可用性。后续需要使用自定义内容时,从同一指标行重新上传。
image14.jpeg
图 14 重置测试集的二次确认界面示例
重置与停用不同:重置会清空已上传的测试集,提示明确说明恢复平台提供的测试集;停用只表达当前自定义测试集不启用。对运行中任务的切换时点仍应结合实际运行结果核对。

6 常见问题与操作核对#

现象先核对什么建议处理
平台预置无法选择 Anthropic当前接入方式是否为平台预置。平台预置固定 OpenAI。使用 Anthropic 配置时切换自定义接入。
自定义服务商下拉中找不到记录接口协议、服务商配置是否匹配。切换正确协议,检查全局维护记录,再依次选择厂商和模型。
模型名称列表比预期少当前服务商和厂商,以及长列表是否已滚动。重新确认上级选项,按完整名称查找,不将首屏当作完整目录。
API 地址不符合预期三级模型选择和维护记录。核对选择;需要修改自定义配置时到维护页编辑。
编辑时找不到 API Key当前弹层是否为编辑状态。这是当前界面的正常规则;密钥变更请与管理员确认专用处理方式。
验证选中项没有显示是否已勾选列表记录。先勾选目标记录;筛选或翻页后重新核对选中范围。
验证未通过本次错误提示、协议、模型名称、地址及服务商侧权限。修正对应配置后重试。旧的通过时间不能替代本次验证。
模板导入或测试集上传被拒绝格式、表头、50 条限制、32 KB 单行和 1 MB 文件大小。按错误返回定位记录并修正,不改模板列名。
测试集的启用或停用置灰当前行状态和是否已有自定义文件。已启用只需停用,已停用只需启用;无文件时先上传。
需要恢复平台测试集是否需要保留已有自定义文件。先下载备份,再按目标指标执行重置并确认。

6.1 完成操作后的检查清单#

1.
任务侧:任务类型正确;接入方式与协议正确;服务商、厂商、模型名称及 API 地址一致;周期与节点范围符合预期。
2.
服务商侧:新建或编辑成功后能够检索到目标记录;需要时重新验证并检查时间;未在列表或说明文件中暴露 API Key。
3.
测试集侧:操作的是正确指标;文件限制符合要求;上传后核对状态;重置前已备份,并理解清空后的平台测试集回退提示。
4.
退出前:核对页面结果与任务列表。仍有错误提示时,先完成处理,不把弹层关闭或文件选择完成视为业务成功。
上一页
概述
下一页
2026
Built with