1. 从一次真实的卡顿投诉说起“回购协议又卡了是不是网卡有问题”——这句话我在过去几年里听过不下几十次。每次听到我都想先按住对方准备重启网卡的手。因为回购协议REPO卡顿这件事十次里有七次跟网卡本身没关系剩下三次里还有两次是网卡驱动背锅真正网卡硬件坏掉的概率低得可怜。先把概念说清楚。这里说的回购协议指的是金融市场里资金融入方和融出方之间的一种短期融资行为交易双方约定在未来某个日期以约定价格反向成交。落到系统层面它是一套高频、低延迟、强一致性的交易链路涉及报价、撮合、清算、风控、行情分发等多个环节。任何一个环节出现延迟前端表现出来的都是“卡”。而460报错在多数交易系统里是超时类错误的代号意思是请求发出去了但没在预期时间内拿到响应。很多人一看到460就条件反射地认为是网络问题这个判断太粗糙了。这篇内容适合谁看如果你是交易系统的运维、开发、测试或者负责回购业务的技术支持经常被“卡顿”和“460”折腾得焦头烂额那这篇就是写给你的。我会把排查思路从外到内、从粗到细拆开讲包括怎么区分网络延迟和系统内部延迟、怎么用工具定位瓶颈、怎么避免常见的误判。回购协议、REPO、460报错、网络延迟、排查思路这几个关键词会贯穿全文但我不会堆砌而是把它们放进真实的排查场景里。另外提一句最近社区里“雷霆商店repo”“repo汉化”“repo汉化包”“用git下载repo”这些词热度很高但那些说的是代码仓库管理工具跟金融回购协议完全是两码事。如果你是因为搜这些词误入的可以关掉页面了如果你确实在做回购系统的排查那继续往下看。2. 为什么第一反应不该是网卡2.1 卡顿的三种时间构成一个回购请求从客户端发出到收到响应耗时可以拆成三段网络传输时间、服务端处理时间、排队等待时间。网络传输时间包括数据包在链路上往返的耗时服务端处理时间是从请求到达服务进程到响应生成完毕排队等待时间则是请求在队列里等资源的时间。很多人只盯着第一段因为网卡、交换机、防火墙这些设备看得见摸得着重启一下似乎就能“解决”。但实际生产环境里排队等待时间往往才是大头。比如风控系统在做实时额度校验时如果锁竞争激烈请求就会在队列里干等比如清算服务在批量处理时如果线程池满了新请求就得排队。这些延迟跟网卡一点关系都没有重启一百次网卡也没用。我做过一个统计在近两年处理过的回购卡顿工单里网络层问题占比不到25%服务端处理慢占40%左右排队和锁竞争占30%以上剩下的是客户端自身问题。所以第一反应不该是网卡而应该是先定位延迟发生在哪一段。2.2 460报错的真实含义460这个错误码在不同系统里定义可能略有差异但核心含义是“请求超时”。超时是谁的超时是客户端设置的超时还是网关设置的超时还是服务端内部某个调用的超时这必须搞清楚。我见过一个案例客户端设置超时是3秒网关设置超时是5秒服务端调用下游风控的超时是2秒。结果风控偶尔要2.5秒才返回服务端等2秒就放弃并返回460客户端收到460时其实才过了2秒出头。这种情况下你去查网络网络好得很问题出在超时配置的层级不一致。所以看到460第一步不是ping而是去确认这个460是谁返回的超时阈值是多少超时发生时请求已经走到了哪个环节把这三个问题回答清楚排查方向就明确了一半。2.3 网卡问题的典型特征当然网卡确实可能出问题但它有比较明显的特征。比如延迟是持续性的不是偶发的而且波动范围相对固定影响范围是整台机器上的所有服务不只是回购协议用ethtool -S看网卡统计会发现rx_dropped、tx_dropped、rx_errors这些计数在涨ping网关或同网段其他机器延迟明显高于正常值且丢包率不为零。如果不符合这些特征网卡大概率是冤枉的。我遇到过最离谱的一次运维坚持说是网卡问题换了三块网卡最后发现是某个服务在疯狂打日志把磁盘IO打满了导致整个系统响应变慢。网卡背了整整两天的锅。3. 分层排查思路从客户端到服务端3.1 第一层客户端与接入层排查要从离用户最近的地方开始。客户端这边先确认是不是所有用户都卡还是个别用户卡。如果是个别用户那大概率是客户端环境问题比如本地网络、浏览器、客户端版本。如果是全部用户都卡那就往接入层看。接入层通常是负载均衡或网关。这里要关注几个指标连接数、新建连接速率、后端健康检查状态、网关自身的CPU和内存。我见过网关因为SSL握手消耗过多CPU导致延迟上升的情况也见过健康检查配置不当把正常后端标记为异常导致流量集中到少数节点上。这一层的排查工具主要是网关自带的监控面板和日志。重点看响应时间分布不要只看平均值。平均值会骗人P99和P999才能反映真实体验。如果P99很高但平均值正常说明有少量请求特别慢这时候要去查那些慢请求的特征比如是不是特定接口、特定用户、特定参数。3.2 第二层服务端应用层请求到了服务端就要看应用层的处理逻辑。回购协议的核心链路一般包括参数校验、风控检查、额度锁定、报价匹配、生成成交、写库、发消息。每一步都可能成为瓶颈。参数校验通常很快但如果校验规则复杂且用了解析开销大的方式也会拖慢。风控检查是重灾区因为它往往要查外部系统或做复杂计算。额度锁定涉及并发控制锁的粒度、锁的等待时间直接决定延迟。报价匹配如果是内存操作还好如果每次都查库就慢了。写库和发消息涉及IO和网络但这里的网络是内网通信跟客户端到服务端的网络是两回事。排查这一层链路追踪是利器。给每个请求打上traceId记录每个环节的耗时一眼就能看出时间花在哪。如果没有链路追踪那就靠日志在关键节点打时间戳手动算差值。虽然笨但有效。3.3 第三层中间件与存储层服务端处理过程中会依赖各种中间件缓存、消息队列、数据库。这些组件的延迟会直接传导到回购协议上。缓存方面关注命中率和大key。命中率低会导致大量请求穿透到数据库大key会导致单次操作耗时飙升。消息队列方面关注堆积量和消费延迟。如果生产快消费慢消息就会堆积依赖这些消息的下游环节就会延迟。数据库方面关注慢查询、锁等待、连接池使用率。一条没走索引的SQL在数据量大的时候能拖垮整个接口。这一层的排查缓存用redis-cli --latency和slowlog消息队列看管理端的堆积监控数据库看慢查询日志和show processlist。这些都是常规操作但关键是要在看之前先确认监控数据的时间粒度别拿一分钟粒度的监控去分析秒级的抖动。3.4 第四层网络与基础设施终于说到网络了。但即使到了这一层也要区分是物理网络还是虚拟网络是内网还是外网是带宽问题还是延迟问题。物理网络排查用ping、traceroute、mtr。mtr比traceroute好用因为它能持续探测并统计丢包率。虚拟网络比如容器网络要用对应的工具比如nsenter进网络命名空间看。带宽问题看流量监控延迟问题看RTT。基础设施方面关注宿主机负载、CPU steal、内存swap。如果宿主机本身很忙虚拟机或容器里的服务就会受影响。CPU steal高说明宿主机在抢CPU时间这时候服务响应慢是必然的跟网卡无关。4. 实操一次完整的460排查过程4.1 现场信息收集假设现在收到告警回购协议接口460报错增多用户反馈卡顿。第一步不是登机器而是收集信息。要收集的信息包括报错开始时间是突然出现还是逐渐增多影响范围是所有用户还是部分用户是所有接口还是特定接口最近的变更记录有没有发布、配置修改、数据迁移当前的监控截图包括应用监控、中间件监控、网络监控。这些信息能帮你快速缩小范围。比如如果是发布后出现的那大概率跟发布有关如果是整点出现的可能跟定时任务有关如果只影响某个接口那就聚焦那个接口的链路。4.2 快速判断延迟位置信息收集完做一个快速判断。在客户端测一下接口响应时间同时在服务端看对应请求的处理时间。如果客户端测出来3秒服务端日志显示处理只用了200毫秒那延迟就在网络或客户端到服务端的链路上。如果服务端日志显示处理就用了2.8秒那延迟在服务端内部。这个判断很关键它决定了你接下来是查网络还是查应用。我习惯用curl的-w参数来测各阶段耗时curl -o /dev/null -s -w DNS解析: %{time_namelookup}s\nTCP连接: %{time_connect}s\nSSL握手: %{time_appconnect}s\n首字节: %{time_starttransfer}s\n总耗时: %{time_total}s\n https://your-repo-api/endpoint这个输出能告诉你时间花在DNS、TCP、SSL还是服务端处理上。如果time_starttransfer很大但time_connect很小说明网络通是服务端慢。如果time_connect就很大那才是网络问题。4.3 服务端内部耗时拆解确认是服务端慢之后就要拆解内部耗时。如果有链路追踪直接看trace。如果没有就在关键节点加日志。回购协议的关键节点一般有请求进入记录时间T1风控检查开始记录T2风控返回记录T3额度锁定开始记录T4锁定成功记录T5报价匹配开始记录T6匹配完成记录T7写库开始记录T8写库完成记录T9响应返回记录T10。然后算T3-T2、T5-T4、T7-T6、T9-T8看哪一段最长。我处理过的一个案例T5-T4特别长达到1.5秒。查下来是额度锁定用了分布式锁而锁的持有者在做批量操作导致锁释放慢。解决方案是把批量操作拆小减少单次锁持有时间同时给锁加超时避免死等。4.4 中间件与数据库排查如果耗时在写库或读缓存上就要深入中间件。数据库这边先看慢查询日志-- 开启慢查询日志 SET GLOBAL slow_query_log ON; SET GLOBAL long_query_time 0.1;然后分析慢查询看执行计划EXPLAIN SELECT * FROM repo_orders WHERE status PENDING AND create_time 2024-01-01;重点看type是不是ALL全表扫描rows是不是很大Extra里有没有Using filesort或Using temporary。回购协议的订单表通常很大没走索引的查询能慢到几秒甚至几十秒。缓存这边看slowlogredis-cli slowlog get 10如果慢日志里有很多操作说明有慢命令。常见的是keys *、大hash的hgetall、大zset的zrange。这些命令在生产环境要禁用或改用scan分批。4.5 网络层最终确认如果前面都排除了才轮到网络层。用mtr持续探测mtr -r -c 100 your-repo-api-host看丢包率和延迟抖动。如果丢包率大于0.1%或者延迟抖动很大那网络确实有问题。但要注意内网通信和公网通信要分开看。回购协议的服务端到服务端调用通常是内网内网出问题的概率比公网小但一旦出问题影响面更大。另外检查网卡统计ethtool -S eth0 | grep -E drop|error|miss如果这些计数在持续增长那网卡或驱动可能有问题。但即使有问题也要先确认是不是流量本身超过了网卡处理能力而不是网卡坏了。5. 常见误判与避坑指南5.1 误判一把GC停顿当成网络延迟Java应用在Full GC时会停顿所有线程表现为请求突然变慢。如果GC停顿时间较长客户端就会超时收到460。这时候你去查网络网络是好的但服务端就是没响应。判断方法看GC日志关注Full GC的频率和耗时。如果Full GC频繁且耗时长就要调JVM参数比如增大堆、换G1收集器、调整MaxGCPauseMillis。我见过一个回购系统堆设了2G但订单缓存就占了1.5GFull GC一次要3秒期间所有请求都超时。后来把堆加到8G换G1问题就解决了。5.2 误判二把下游拖累当成自身问题回购协议依赖很多下游风控、额度、行情、清算。如果下游慢回购协议也会慢。但排查时容易只盯着自己忘了看下游。判断方法在调用下游的地方打点记录下游响应时间。如果下游响应时间明显变长那就是下游的问题。这时候要么推动下游优化要么给下游调用加熔断和降级避免被拖死。5.3 误判三把偶发当成常态有时候卡顿是偶发的比如每天下午3点出现几秒。这种问题最难查因为等你登上去它已经恢复了。这时候要靠监控和日志回溯。建议对关键指标做秒级监控并保留至少7天。出现偶发卡顿时拉出那个时间段的监控看CPU、内存、IO、网络、GC、慢查询、锁等待总有一个指标有异常。我查过一个每天下午3点卡顿的问题最后发现是定时任务在3点做数据归档归档时锁了表导致回购查询被阻塞。把归档时间改到凌晨问题就没了。5.4 避坑速查表现象可能原因排查手段解决方向460报错集中出现超时配置不一致检查各层超时设置统一超时阈值延迟持续且固定网络链路问题mtr、ping、网卡统计联系网络团队延迟偶发且无规律GC或定时任务GC日志、定时任务列表调JVM、改任务时间部分接口慢慢SQL或大key慢查询日志、redis slowlog加索引、拆key整机所有服务慢宿主机资源争抢top、vmstat、CPU steal迁移或扩容下游调用慢下游服务问题下游调用打点熔断降级、推动优化6. 工具与命令速查6.1 网络层工具ping是最基础的但只能看连通性和大致延迟。mtr更适合持续观察能同时看延迟和丢包。tcpdump抓包适合深入分析比如看TCP重传、乱序。ss看连接状态netstat也行但慢。# 查看TCP重传 netstat -s | grep -i retrans # 查看连接状态分布 ss -s # 抓包分析特定端口 tcpdump -i eth0 port 8080 -w repo.pcap6.2 应用层工具Java用jstack看线程栈jstat看GCarthas做在线诊断。Go用pprof。Python用py-spy。这些工具能在不重启服务的情况下看内部状态。# Java线程栈 jstack pid thread_dump.txt # GC统计 jstat -gcutil pid 1000 10 # arthas追踪方法耗时 trace com.example.RepoService processRequest6.3 中间件工具Redis用redis-cli --latency和slowlog。MySQL用show processlist和explain。消息队列看管理端监控。这些工具的使用要结合具体版本不同版本命令可能有差异。7. 我个人在实际操作中的体会排查回购协议卡顿最忌讳的就是先入为主。一旦认定是网卡问题就会不自觉地忽略其他证据甚至把正常现象解释成网卡问题的佐证。我见过有人因为ping延迟从0.1ms变成0.2ms就断定网卡故障换了网卡发现没用最后是服务端线程池满了。我的习惯是先看全局再钻细节。全局看监控大盘确认是单点还是面是突发还是持续。然后根据全局判断选择最可能的两个方向深入。深入时用数据说话每一步都有日志或监控支撑不靠猜。还有一点别忽视客户端。有时候服务端一切正常但客户端因为本地DNS、代理设置、浏览器缓存等原因变慢。这种问题在服务端查半天也查不出来去客户端一看就明白了。最后分享一个小技巧给回购协议的关键接口做定期拨测每分钟从多个节点发起请求记录响应时间。这样不仅能及时发现卡顿还能在用户投诉之前就介入。拨测数据也是排查时的有力证据能证明问题是持续存在还是刚刚出现。这个内容后续还可以这样扩展针对不同中间件做专项排查手册比如Redis专项、MySQL专项或者针对不同故障场景做演练脚本模拟网络延迟、GC停顿、锁竞争观察系统表现。这些我在后续的实践里会陆续整理。
