模型服务质量#
模型服务质量监控是通过监测节点对指定模型服务接口发起调用,采集模型服务在调用过程中的响应状态和性能数据,并对数据进行汇总分析。常用指标包括:成功率、首 Token 时间、完整响应时间、每 Token 平均耗时、HTTP 错误率、超时率、中断率、重复调用稳定性、缓存命中率等。
该监控类型适用于持续观察模型服务商、模型厂商和模型版本在不同时间、不同监测节点下的服务表现。用户可以通过模型服务质量监控了解模型接口是否可访问、响应是否及时、调用过程是否稳定,以及是否存在超时、中断或错误返回等问题。模型输出质量#
模型输出质量监控用于对模型返回内容的质量进行持续监测。系统会按照任务配置调用指定模型接口,采集模型返回内容及调用结果,并结合平台配置的质量判断规则,对模型输出是否正常、完整和符合预期进行分析。
与模型服务质量监控相比,模型输出质量监控不仅关注接口是否调用成功和响应耗时,还关注模型返回内容本身是否可用。该监控类型可帮助用户发现模型是否按照预期回答、格式异常、输出不稳定或结果不符合业务要求等问题,适用于问答 、摘要、分类、内容生成等需要持续验证模型输出稳定性的业务场景。