Loki 采集上报 rate_limited 丢弃时如何用 loki_discarded_samples_total 定位原因【免费下载链接】lokiLike Prometheus, but for logs.项目地址: https://gitcode.com/GitHub_Trending/lok/loki当你把日志通过 Alloy 或自研客户端上报到 Grafana Loki 时如果某个租户的写入速率超过了限流配置Loki 会返回429 Too Many Requests错误信息形如ingestion rate limit exceeded for user tenant (limit: limit bytes/sec) while attempting to ingest lines lines totaling bytes bytes...。这时最直接的定位手段是查询loki_discarded_samples_total指标它按reason标签统计被丢弃的日志条数reasonrate_limited就是租户级摄入速率被 distributor 限流的证据。本文介绍如何用这个指标确认丢弃原因、找到受影响租户并按文档给出的路径处理。前提条件来自 troubleshoot-ingest.md能访问 Loki 的日志和 Prometheus 指标、了解当前采集链路Alloy 或自定义客户端、有权限调整 limits 配置。第一步用 reason 标签确认丢弃原因所有摄入错误都通过两个 Prometheus 指标跟踪见 troubleshoot-ingest.mdloki_discarded_samples_total—— 按 reason 统计被丢弃的日志条数loki_discarded_bytes_total—— 按 reason 统计被丢弃的日志字节量文档给出的排查入口查询# 看当前正在发生哪些错误 sum by (reason) (rate(loki_discarded_samples_total[5m]))如果图中rate_limited这条线明显抬升说明丢弃来自摄入速率限流。该指标还带有tenant标签以及retention_hours、policy、format等标签见 metrics.md可以继续按租户下钻# 定位受影响的租户和原因 sum by (tenant, reason) (rate(loki_discarded_bytes_total[5m]))Loki 官方 mixin 的 loki-operational 仪表盘里已有 Discarded Lines 面板使用的正是按(tenant, reason)聚合的rate(loki_discarded_samples_total)查询见 dashboard-loki-operational.json多租户部署中可直接在 Grafana 里查看不必自己写查询。一个需要注意的细节rate_limited属于速率限制类错误整个请求在存储前就被拒绝。request-validation-rate-limits.md 说明这类错误在表格里标记为Sample discarded: No——因为 Loki 从未接收过这些 sample——但请求仍然会计入loki_discarded_samples_total和loki_discarded_bytes_total。所以这两个计数器有增长就代表有请求被丢弃指标本身可以可靠地定位问题。确认 rate_limited 的成因与默认限制rate_limited的含义是租户超过了其配置的摄入速率限制。这是 distributor 强制执行的全局 per-tenant 限制见 request-validation-rate-limits.md。默认配置为ingestion_rate_mb: 4 MB/secingestion_burst_size_mb: 6 MBingestion_rate_strategy:global所有 distributor 共享同一限制它的属性由 distributor 执行、可重试、HTTP 状态码429 Too Many Requests、可按租户配置。可重试意味着客户端在限流条件解除后可以重发同一批数据。处理路径调高限制、降低写入量或切换限流策略按 troubleshoot-ingest.md 的 Resolution 部分有三条路径。1. 调高速率限制前提集群资源足够。request-validation-rate-limits.md 提醒若未预留资源更高的限制可能导致集群性能下降limits_config: ingestion_rate_mb: 8 ingestion_burst_size_mb: 12这些值可以在limits_config块全局设置也可以在 runtime overrides 文件中按租户设置见 request-validation-rate-limits.md。2. 降低日志量用 Alloy 的 drop 等 processing stages 过滤不需要的日志行减少采集目标数量对高流量 stream 做采样使用 Alloy 的限流与过滤能力如stage.limit块。3. 切换到 local 限流策略仅限单区域部署时limits_config: ingestion_rate_strategy: local文档特别注明local 策略会把有效限流值乘以 distributor 副本数即实际吞吐上限变大切换前需要确认这是你想要的效果。验证与进一步排查调整后回到第一步的查询确认rate_limited对应的曲线是否回落sum by (tenant, reason) (rate(loki_discarded_samples_total[5m]))rate_limited的丢弃速率归零或降回到你的预期水平即表示限流问题已解决。如果丢弃仍在继续但 reason 变了按 troubleshoot-ingest.md 中的对应章节处理per_stream_rate_limit单个 stream 超过其速率限制默认per_stream_rate_limit3 MB/sec、per_stream_rate_limit_burst15 MB由 ingester 而非 distributor 执行。处理方式是加标签拆分 stream、用 Alloystage.limit降低写入速率或调高per_stream_rate_limit文档通常建议不超过 5MB和per_stream_rate_limit_burst不超过 20MB。stream_limit租户活跃 stream 数达到上限。文档提醒如果这类错误与 ingester 扩容、rollout 时间吻合可能是 stream 在 ingester 间重平衡导致的临时现象ring 稳定后通常自行消失此时不要靠调大max_global_streams_per_user掩盖真实的高基数增长。如果指标查不出对应 reason可以按文档的工作流继续在limits_config中开启limited_log_push_errors: true按租户记录写失败日志查看 distributor 和 ingester 日志再用http://loki:3100/loki/api/v1/user_stats检查租户用量。边界说明request_body_too_large只出现在loki_discarded_bytes_total中不会出现在loki_discarded_samples_total里因为 Loki 在解析请求体之前就拒绝了它无法统计行数见 request-validation-rate-limits.md。如果你在loki_discarded_samples_total里看不到某个丢弃量却只在 bytes 指标里看到先检查这一种 reason。验证类错误400如line_too_long、invalid_labels不可重试与rate_limited429可重试的处理路径不同定位时先看reason值再决定是调限制还是修采集端。提升限制前先确认集群资源文档明确警告没有足够资源时调高摄入限制会让集群整体性能变差。【免费下载链接】lokiLike Prometheus, but for logs.项目地址: https://gitcode.com/GitHub_Trending/lok/loki创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
