模型质量监控

监控背景

在大模型应用逐步进入生产环境后，企业关注的不再只是模型是否能够完成调用，更需要持续了解模型调用过程是否稳定、响应是否及时、Token 消耗是否可控，以及输出结果是否符合预期。实际业务中，模型可能出现响应变慢、请求超时、返回中断、HTTP 错误、Token 消耗异常增长等问题，也可能在相同输入下输出结果不一致，或未按预期结构返回内容。
如果缺少统一的模型监控能力，研发和运维人员只能依赖日志或用户反馈被动排查，难以及时发现模型服务质量波动，也无法量化不同模型、不同场景、不同 Prompt 下的输出质量差异。

解决方案

针对模型质量监控，可以从模型服务质量和模型输出质量两个维度进行持续监测。服务质量方面，系统可采集输入 Token 数、输出 Token 数、推理 Token 数、内容 Token 数、总 Token 数、首 Token 时间、推理时间、内容生成时间、完整响应时间、每 Token 平均耗时、推理速度、内容速度、平均速度等指标，用于衡量模型调用成本、响应效率和生成性能。
同时，系统可监控成功率、HTTP 错误率、超时率、中断率、重复调用稳定性和缓存命中率，帮助定位请求失败、响应异常、缓存未命中或重复调用结果不稳定等问题。输出质量方面，可基于预设标准答案或校验规则，对模型回答的正确性、一致性和结构化输出准确率进行评估，判断模型结果是否符合预期答案、是否在多次调用中保持稳定，以及是否按指定结构、字段和值返回内容。

一、任务创建

基本信息

在“任务管理中”新增“模型质量监控”网络类型，在任务类型里新增“模型服务质量”和“模型输出质量”以及“模型成本效率（待发布）”

必要参数

套餐：默认模型监测套餐（需要开通）

任务名称：自定义创建任务名称

模型服务商：目前提供八家模型服务商的模型进行测评：深度求索 DeepSeek、百度、阿里巴巴、腾讯、智谱 AI、字节跳动、MiniMax、月之暗面。

模型服务商和模型版本：模型版本会跟随模型服务商自动联动。

API 地址：默认值，无需编辑。

二、持续监测

概览数据

概览数据可以展示当前任务的概览数据，指标包含：成功率（%）、首 Token 时间（s）、完整响应时间（s）、每 Token 平均耗时（s）、HTTP 错误率（%）、超时率（%）、中断率（%）、重复调用稳定性(%)、缓存命中率（%）

可根据任务维度进行查看：趋势、地域、地图、主机、错误和散点数据

散点数据

散点页头部展示核心指标：首 Token 时间、推理时间、内容生成时间、每 Token 平均耗时、推理 Token 数。

在Bar 图里新增：首 Token 时间、推理时间和内容生产时间

在诊断数据中，如展示当前问题所使用的测试问题集（模型输出质量中，一个指标对应一个测试问题）

场景价值

通过模型质量监控，企业可以从“模型是否可用”进一步判断“模型是否稳定、是否高效、输出是否可靠”。研发和运维团队能够及时发现模型调用链路中的性能异常、错误异常和稳定性问题，并通过 Token、时延、速度、成功率等指标定位问题发生环节。
同时，输出质量指标可以帮助团队评估不同模型、Prompt 或业务场景下的回答效果，为模型选型、Prompt 调优、缓存策略优化、结构化输出验证和上线回归测试提供量化依据，降低模型输出不稳定带来的业务风险。

监控背景#

解决方案#

场景价值#

监控背景

解决方案

场景价值