Alanxtl opened a new pull request, #733: URL: https://github.com/apache/dubbo-go-pixiu/pull/733
## Export metrics to prometheus and create grafana panel <img width="2770" height="1650" alt="image" src="https://github.com/user-attachments/assets/a16a02f9-fb3d-412e-a739-47acef8432c7"; /> <img width="2770" height="1650" alt="image" src="https://github.com/user-attachments/assets/1b407d89-41fb-49df-bf6d-78c206a54d39"; /> ### 目前支持的指标有： #### 流量与负载指标 (Traffic & Load) 这些指标反映了网关处理AI请求的基本流量情况。 1. Total QPS (Queries Per Second): 网关当前处理AI请求的总速率，是衡量系统负载的核心指标。 2. Request Rate Trend: 按成功和失败分类的QPS时序图，直观展示流量高峰、低谷以及异常波动。 #### 性能与延迟指标 (Performance & Latency) 这些指标用于评估端到端的响应速度和用户体验。 1. Average TTFT (Time to First Token): 衡量流式请求从开始到收到第一个Token的平均耗时（单位：毫秒）。这是评估大模型响应速度和流式体验的关键指标。 2. Average Total Duration: 衡量请求从开始到完全结束的平均总耗时（单位：微秒），反映了完整的端到端延迟。 3. Latency Trends: TTFT和总耗时的平均值随时间变化的趋势图，便于定位性能抖动和瓶颈。 #### Token消耗与成本指标 (Token Usage & Cost) 这些指标是AI服务成本控制和用量分析的核心。 1. Total Token Rate: 网关当前每秒处理的总Token数（包括输入和输出），是衡量成本速率的实时指标。 2. Token Usage Rate Trend: 按**输入（Prompt）和输出（Completion）**分类的Token消耗速率时序图，可按不同模型（model）进行筛选，清晰地展示了各类模型的成本构成和使用趋势。 #### 健康度与稳定性指标 (Health & Stability) 这些指标帮助您快速诊断服务可用性和潜在问题。 1. Success Rate: AI请求的实时成功率，是衡量服务健康度的最重要指标之一。 2. Endpoint Status Table: 一个详细的表格，按每个上游端点（endpoint_address）展示其QPS、成功率、失败率和平均延迟，是定位单个实例问题的关键工具。 3. Error Breakdown Table: 按HTTP状态码（status_code）和错误类型（error_type）对失败请求进行分类和计数，帮助您快速识别是网络问题还是服务本身返回的错误。 -- This is an automated message from the Apache Git Service. To respond to the message, please log on to GitHub and use the URL above to go to the specific comment. To unsubscribe, e-mail: [email protected] For queries about this service, please contact Infrastructure at: [email protected] --------------------------------------------------------------------- To unsubscribe, e-mail: [email protected] For additional commands, e-mail: [email protected]
