1. PC监控
听云Network
  • 中文版
    • Release Notes
      • 2026年
      • 2025年
      • 2024年
    • 产品介绍
      • 产品概述
        • 产品概述
      • 工作原理
        • 监测原理
        • 监测点部署
      • 产品架构
        • 产品架构
      • 典型场景
        • CDN加速评估及选型
        • 网站对标分析
        • 网站应用压力测试分析
        • 对网站进行性能评估和优化
        • 具备可观测混合压测场景
        • DNS劫持监测-CNAME监测
        • VPN质量监控
        • WIFI质量监控
        • 短信服务质量监控
        • API主动监控
        • 证书监控
        • MTR网络链路监控
        • 企业业务质量监控
        • 端到端场景监测
        • whois域名监控场景
        • IPV6支持率监控
        • 模型质量监控
      • 核心优势
        • 端到端监测
        • 市场地位
        • 数据保障
        • 本土化服务
      • 功能模块
        • 即时监测
          • 即时监测
        • 持续监测
          • 持续监测介绍
          • 监测任务类型
          • 监测结果分析
        • 私有节点监测
          • 私有节点监测
        • 域名分析
          • 域名分析
        • CDN调优
          • CDN调优
        • 劫持监测
          • 劫持监测
        • 警报通知
          • 警报通知
        • 报告服务
          • 报告服务
        • API服务
          • API服务
    • 使用指南
      • 持续监测图表
        • 公共操作
        • 概览
        • 趋势图
        • 地域图
        • 地图
        • 主机图
        • 错误图
        • 散点图
        • 元素
      • 任务类型
        • 监测任务类型介绍
        • 固网业务监测
        • 移动业务监测
        • 模型质量监控业务监测
      • 持续监测
        • 持续监测介绍
        • 新建任务
        • 查询任务
        • 管理任务
        • 绑定任务
        • 节点组管理
      • 即时监测
        • 即时监测介绍
        • 配置即时监测
        • 查看监测结果
      • 系统管理
        • 系统管理介绍
        • 自有点监测
        • 用户管理
        • 使用量查询
        • 授权码管理
        • 地图参数
      • 域名分析
        • 域名分析
      • CDN调优
        • CDN调优介绍
        • CDN评估
        • 算法建议
        • 策略调优
      • 警报
        • 警报介绍
        • 性能警报
        • 错误警报
        • 智能警报
        • 警报日志
        • 警报推送
      • 报告
        • 报告介绍
        • 创建快速报告
        • 创建智能报告
        • 导出报告
        • 图表池
      • API服务
        • API服务
      • MCP服务
        • 听云 Network MCP 设置
        • 听云 Network MCP 工具
      • 其他功能
        • 分享当前页面
        • 移动端快速访问
      • WebRecorder脚本录制器(插件版)
        • 介绍
        • 安装
        • 创建项目及界面展示
        • 脚本录制
        • 配置任务
        • 注意事项
        • 脚本录制器支持的命令
        • 脚本录制器对事务验证码的支持
    • 指标说明
      • PC监控
        • 页面指标
        • 文件指标
        • 事务指标
        • 流媒体指标
        • Ping指标
        • MTR指标
        • 模型质量监控指标
        • 私有协议指标
          • 私有协议指标解释概述
          • Websocket 插件配置说明
          • DIG 插件配置说明
          • Socket(TCP/UDP) 插件配置说明
          • Telnet 插件配置说明
          • FTP 插件配置说明
          • SMTP/IMAP/POP3 插件配置说明
          • MTR 插件配置说明
          • Traceroute 插件配置说明
          • DeepSeek 插件配置说明
          • TCP Send 插件配置说明
          • UDP 插件配置说明
          • HTTP(SM) 插件配置说明
          • HTTP3 插件配置说明
          • OCSP 插件配置说明
          • WIFI 插件配置说明
          • VPN 插件配置说明
      • 移动(H5)监控
        • 页面指标
        • 文件指标
        • 事务指标
        • 流媒体指标
        • Ping指标
        • 短信指标
    • 脚本录制器
      • NBR脚本录制器工具的下载
      • NBR脚本录制器的使用-----简版
    • 常见问题
      • 功能分析
        • 创建任务
        • 创建节点组
        • 高级参数----结束条件
        • 高级参数----诊断
        • 报表无数据之校验节点DNS功能
        • 流媒体监测,配置任务后无数据
        • 平台是否支持查看“指定Cname是否生效”
        • 真机单文件任务下载崩溃
        • 听云检测和浏览器实际访问数据对不上
        • 监测地址写不全导致的报错
        • 绑定Host未生效,出现了列表之外的主机IP
        • 绑定Host未生效,出现了列表之外的主机IP
        • 不同任务类型,相同IP解析结果不同
        • 复制任务,无法做绑定
        • 即时监测IPV6页面级别解释
        • 私有协议Socket(TCP/UDP)
      • 错误分析
        • 打开流媒体失败
        • 打开流媒体失败
        • 打开流媒体失败
        • 页面任务元素出现阻塞时间的分析思路
        • 无法解析域名和服务器地址
        • 无法解析服务器名称或地址
        • 无法解析服务器名称或地址
        • 无法解析服务器名称或地址
        • 无法解析服务器名称或地址
        • 无法与服务器建立连接
        • 无法与服务器建立连接
        • 无法与服务器建立连接
        • 无法与服务器建联连接
        • 与服务器建立连接失败
        • 操作超时
        • 操作超时之Chrome90
        • 任务超时
        • 任务超时
        • 服务器连接被重置
        • 与服务器连接被重置
        • 与服务器连接被重置
        • 应用的证书无效
        • 应用证书无效
        • 应用证书无效
        • 安全频道支持出错
        • 安全频道支持出错
        • 安全频道支持出错
        • 证书错误
        • 私有化平台页面访问报-100错误
        • 404 - Not Found错误
        • HTTP/1.1 403 Forbidden
        • HTTP412错误
        • 元素报表数值对不上
      • 数据分析
        • 如何区分HLS格式是直播还是点播
        • 报表数据与客户服务器端统计不一致
        • DNS时间过长的分析思路
        • 绑定对比任务的消耗点数不同
        • 4G真机监测下客户反馈http via不正确
        • 节点IP定位不准确
        • 私有化平台任务无数据
        • CDN厂商CNAME无响应问题
        • 单文件下载任务, 创建后无数据
        • SSL握手时间长
        • 监控数据量少,和节点组频率对应不上
        • 跨省跨运营商现象分析
        • 流媒体任务,三个任务数据量相差较大
        • 相同文件下载,不同厂商字节数下载不同
        • 单文件下载,配置MD5,下载不全未报错。
        • DNS时间较长问题分析
        • PING任务警告,Request timed out
        • PING任务丢包百分之百
        • 元素瀑布图中有重复元素加载
        • 散点数据和抓包数据对不上
        • 抓包中如何查看传输的内容
        • 任务无数据/数据少
        • 相同URL,额外等待时间影响onload时间
        • 听云监测数据和浏览器访问数据总下载字节数相差较大
        • DNS时间较长
        • 跨运营商访问
        • 页面任务元素出现阻塞时间
        • 抓包中出现TCP ZERO window
      • 报表权限
      • 节点分析
        • 数据访问发现有跨区访问
        • 节点劫持
      • 告警分析
        • 运营商链路故障引起告警
        • 客户应用500,平台未告警
      • 问题百问
        • Network问题Q&A(1)
        • Network问题Q&A(2)
        • 模型质量监控相关问题Q&A
  • English
    • Release Notes
      • 2026
      • 2025
      • 2024
    • Product Introduction
      • Product Overview
        • Product Overview
      • How It Works
        • Monitoring Principles
        • Probe Deployment
      • Product Architecture
        • Product Architecture
      • Typical Scenarios
        • CDN Acceleration Evaluation and Selection
        • Website Benchmarking Analysis
        • Website Application Stress Test Analysis
        • Website Performance Evaluation and Optimization
        • Observable Hybrid Load Testing Scenario
        • DNS Hijacking Monitoring - CNAME Monitoring
        • VPN Quality Monitoring
        • WIFI Quality Monitoring
        • SMS Service Quality Monitoring
        • API Active Monitoring
        • Certificate Monitoring
        • MTR Network Link Monitoring
        • Enterprise Business Quality Monitoring
        • End-to-End Scenario Monitoring
        • Whois Domain Monitoring Scenario
        • IPv6 Support Rate Monitoring
        • Model Quality Monitoring
      • Core Advantages
        • End-to-End Monitoring
        • Market Position
        • Data Protection
        • Localized Service
      • Feature Modules
        • Instant Testing
          • Instant Testing
        • Synthetic Monitoring
          • Synthetic Monitoring Introduction
          • Monitoring Task Types
          • Monitoring Result Analysis
        • Private Probe Monitoring
          • Private Probe Monitoring
        • Domain Analysis
          • Domain Analysis
        • CDN Tuning
          • CDN Tuning
        • Hijacking Monitoring
          • Hijacking Monitoring
        • Alert Notifications
          • Alert Notifications
        • Report Service
          • Report Service
        • API Service
          • API Service
    • User Guide
      • Synthetic Monitoring Charts
        • Common Operations
        • Overview
        • Trend Chart
        • Region Chart
        • Map
        • Host Chart
        • Error Chart
        • Scatter Plot
        • Elements
      • Task Types
        • Monitoring Task Types Introduction
        • Fixed Network Service Monitoring
        • Mobile Service Monitoring
        • Model Quality Monitoring Service Monitoring
      • Synthetic Monitoring
        • Synthetic Monitoring Introduction
        • Create Task
        • Query Tasks
        • Manage Tasks
        • Bind Task
        • Probe Group Management
      • Instant Testing
        • Instant Testing Introduction
        • Configure Instant Testing
        • View Monitoring Results
      • System Management
        • System Management Introduction
        • Private Probe Monitoring
        • User Management
        • Usage Query
        • Authorization Code Management
        • Map Parameters
      • Domain Analysis
        • Domain Analysis
      • CDN Tuning
        • CDN Tuning Introduction
        • CDN Assessment
        • Algorithm Recommendations
        • Policy Tuning
      • Alerts
        • Alert Introduction
        • Performance Alert
        • Error Alert
        • Intelligent Alert
        • Alert Log
        • Alert Push
      • Reports
        • Report Introduction
        • Create Quick Report
        • Create Smart Report
        • Export Report
        • Chart Pool
      • API Service
        • API Service
      • WebRecorder Script Recorder (Plugin Version)
        • Configure Task
        • Create Project and Interface Display
        • Introduction
        • Script Recording
        • Commands Supported by Script Recorder
        • Script Recorder Support for Transaction Verification Codes
        • Notes
        • Installation
      • Other Features
        • Share Current Page
        • Quick Mobile Access
      • MCP Service
        • Tingyun Network MCP Setup
        • Tingyun Network MCP Tools
    • Metric Descriptions
      • PC Monitoring
        • Page Metrics
        • File Metrics
        • Transaction Metrics
        • Streaming Media Metrics
        • Ping Metrics
        • MTR Metrics
        • Model Quality Monitoring Metrics
        • Private Protocol Metrics
          • Private Protocol Metrics Overview
          • WebSocket Plugin Configuration Guide
          • DIG Plugin Configuration Guide
          • Socket(TCP/UDP) Plugin Configuration Guide
          • Telnet Plugin Configuration Guide
          • FTP Plugin Configuration Guide
          • SMTP/IMAP/POP3 Plugin Configuration Guide
          • MTR Plugin Configuration Guide
          • Traceroute Plugin Configuration Guide
          • DeepSeek Plugin Configuration Guide
          • TCP Send Plugin Configuration Guide
          • UDP Plugin Configuration Guide
          • HTTP(SM) Plugin Configuration Guide
          • HTTP3 Plugin Configuration Guide
          • OCSP Plugin Configuration Guide
          • WIFI Plugin Configuration Guide
          • VPN Plugin Configuration Guide
      • Mobile (H5) Monitoring
        • Page Metrics
        • File Metrics
        • Transaction Metrics
        • Streaming Media Metrics
        • Ping Metrics
        • SMS Metrics
    • Script Recorder
      • Download the NBR Script Recorder Tool
      • Using the NBR Script Recorder - Short Version
    • FAQs
      • Feature Analysis
        • Create Task
        • Create Probe Group
        • Advanced Parameters - End Conditions
        • Advanced Parameters - Diagnostics
        • Verify Probe DNS When Report Has No Data
        • No Data After Configuring a Streaming Media Monitoring Task
        • Does the Platform Support Checking Whether a Specified CNAME Takes Effect
        • Real Device Single File Task Download Crash
        • Tingyun Monitoring Does Not Match Actual Browser Access Data
        • Error Caused by Incomplete Monitoring Address
        • Bound Host Does Not Take Effect and Host IP Outside List Appears
        • Bound Host Does Not Take Effect and Host IP Outside List Appears
        • Same IP Has Different Resolution Results Across Task Types
        • Copied Task Cannot Be Bound
        • Instant Testing IPv6 Page-Level Explanation
        • Private Protocol Socket (TCP/ UDP)
      • Error Analysis
        • Failed to open streaming media
        • Failed to open streaming media (2)
        • Failed to open streaming media (3)
        • Troubleshooting Blocking Time for Page Task Elements
        • Unable to Resolve Server Name or Address
        • Unable to Resolve Server Name or Address (2)
        • Unable to Resolve Server Name or Address (3)
        • Unable to Resolve Server Name or Address (4)
        • Unable to Resolve Server Name or Address (5)
        • Unable to Establish Connection with Server
        • Unable to Establish Connection with Server (2)
        • Unable to Establish Connection with Server (3)
        • Unable to Establish Connection with Server (4)
        • Failed to establish connection with server
        • Operation Timeout
        • Chrome 90 Operation Timeout
        • Task timeout
        • Task timeout (2)
        • Server Connection Reset
        • The connection to the server was reset
        • The connection to the server was reset (2)
        • Invalid Application Certificate
        • Invalid Application Certificate (2)
        • Invalid Application Certificate (3)
        • Secure channel support error
        • Secure channel support error (2)
        • Secure channel support error (3)
        • Certificate Error
        • -100 Error When Accessing Private Platform Page
        • 404 - Not Found error
        • HTTP/1.1 403 Forbidden
        • HTTP412 error
        • Element Report Values Do Not Match
      • Data Analysis
        • How to Distinguish Live and VOD HLS Formats
        • Report Data Does Not Match Customer Server Statistics
        • Troubleshooting Long DNS Time
        • Different Point Consumption for Bound Comparison Tasks
        • Incorrect HTTP Via Reported in 4G Real Device Monitoring
        • Inaccurate Probe IP Location
        • No Data for Tasks on Private Platform
        • CDN Vendor CNAME No Response Issue
        • No Data After Creating Single File Download Task
        • Long SSL Handshake Time
        • Low Monitoring Data Volume Does Not Match Probe Group Frequency
        • Cross-Province and Cross-Carrier Phenomenon Analysis
        • Large Data Volume Difference Across Three Streaming Media Tasks
        • Different Vendors Download Different Byte Counts for Same File
        • Single File Download with MD5 Configured Does Not Report Incomplete Download
        • Long DNS Time Analysis
        • Ping Task Warning - Request Timed Out
        • Ping Task 100 Percent Packet Loss
        • Duplicate Elements Loaded in Element Waterfall Chart
        • Scatter Data Does Not Match Packet Capture Data
        • How to View Transmitted Content in Packet Capture
        • No or Insufficient Task Data
        • Additional Wait Time Affects Onload Time for Same URL
        • Large Difference Between Tingyun Monitoring and Browser Total Download Bytes
        • Long DNS Time
        • Cross-Carrier Access
        • Blocking Time Appears for Page Task Elements
        • TCP Zero Window Appears in Packet Capture
      • Probe Analysis
        • Cross-Region Access Found in Data Access
        • Probe Hijacking
      • Alert Analysis
        • Alert Caused by Carrier Link Failure
        • Customer Application 500 with No Platform Alert
      • Q&A
        • Network Q&A (1)
        • Network Q&A (2)
        • Model Quality Monitoring Q&A
      • Report Permissions
  1. PC监控

模型质量监控指标

模型服务质量#

监控名称指标定义
推理 Token 数指模型在正式输出答案前,用于内部思考、推理和中间计算所消耗的 Token 数量。
内容 Token 数指模型最终实际输出给用户的正文内容所消耗的 Token 数量,内容 Token 数 = 输出 Token 数 - 推理 Token 数。
输入 Token 数指一次请求中,用户输入内容以及系统附加上下文一共消耗的 Token 数量。
输出 Token 数指一次请求中,模型返回结果所消耗的 Token 总数,输出 Token 数 = 推理 Token 数 + 内容 Token 数。
总 Token 数指一次请求完整处理过程中消耗的 Token 总量,总 Token 数 = 输入 Token 数 + 输出 Token 数。
首 Token 时间指从请求发送完成,到客户端收到模型返回的第一个有效 Token 为止所经历的时间,首 Token 时间 = 第一个有效 Token 到达时间 - 请求发送完成时间。
推理时间指模型开始返回第一个 Token 之后,到推理阶段结束所经历的时间,用于反映模型“思考”阶段的耗时,推理时间 = 最后一个推理内容到达时间 - 首 Token 时间,若只有一个推理内容 Token,则推理时间为 0。
内容生成时间指模型开始输出正文内容后,到正文内容全部生成完成所经历的时间,内容生成时间 = 最后一个正文内容到达时间 - 第一个正文内容到达时间,若只有一个正文内容 Token,则内容生成时间为 0。
完整响应时间指从请求发送完成,到模型全部返回结束所经历的总时间,完整响应时间 = 最后一个有效 Token 到达时间 - 请求发送完成时间。
每 Token 平均耗时指在首 Token 返回之后,模型后续平均生成 1 个输出 Token 所消耗的时间,每 Token 平均耗时 = (完整响应时间 - 首 Token 时间)/(输出 Token 数 - 1)。
推理速度指模型在推理阶段,平均每秒可生成的推理 Token 数量,推理速度 = 推理 Token 数 / 推理时间,向上取整。
内容速度指模型在正文输出阶段,平均每秒可生成的内容 Token 数量,内容速度 = 内容 Token 数 / 内容生成时间,向上取整。
平均速度指模型在整次响应过程中,平均每秒可生成的 Token 数量,平均速度 = 总 Token 数 / 完整响应时间,向上取整。
成功率指在统计时间范围内,模型请求成功返回有效结果的次数占总请求次数的比例,成功率 = 成功请求数 / 总请求数 × 100%。
HTTP 错误率指在统计时间范围内,返回 HTTP 错误状态码的请求次数占总请求次数的比例,HTTP 错误率 = 返回 HTTP 状态码 > 400 的请求数 / 总请求数 × 100%。
超时率指在统计时间范围内,请求在规定时间内未收到完整响应的次数占总请求次数的比例,超时率 = 超时请求数 / 总请求数 × 100%。
中断率指在统计时间范围内,请求已经开始响应,但在返回过程中异常中断的次数占总请求次数的比例,中断率 = 中断请求数 / 总请求数 × 100%。以下情况也视为中断:1. 已经响应首包,但未收到 usage 数据;2. 没有 content 内容,只有 usage 数据。
缓存命中率指请求复用了已有缓存结果或缓存上下文的比例,用于衡量缓存机制的生效情况,缓存 Token 数 / 输入 Token 数 × 100%。

模型输出质量监控#

监控名称指标定义
正确性指模型输出结果是否与预期答案一致,用于衡量模型回答是否正确。判断方式为:根据预先设定的标准答案或标准规则,对模型输出结果进行匹配校验;当输出结果满足预设答案规则时,判定为正确,否则判定为错误。
一致性指模型在相同问题、相同输入条件下,多次回答时结果是否保持稳定一致,用于衡量模型输出波动情况。判断方式为:对同一问题进行多次提问,并根据预设答案规则分别校验各次回答;当多次回答结果一致且均符合预期时,判定为一致,否则判定为不一致。
结构化输出准确率指模型按照指定结构、格式或字段要求输出结果的准确程度,用于衡量模型生成结构化结果的能力。判断方式为:先获取模型第一轮结构化回答结果,再将第一轮回答内容作为下一轮问题输入继续校验,并根据预设答案规则检查输出结构、字段和值是否符合要求;当结构和内容均满足预期时,判定为通过,否则判定为未通过。
上一页
MTR指标
下一页
私有协议指标解释概述
Built with