一次P0 故障：微服务线程数莫名暴涨 10 倍，线程问题踩坑

目前统计到的节点上微服务的线程总数可达到5000以上。那先看看服务中线程组成c75992c8f56f96551ba13f53dfc44e93_e8287ef3-3526-4e4c-8200-e08044bb05ae服务框架springboot2 、springcloud、服务间feign调用、undertow、mybatis-plus、redis、rabbitmq、线程池threadpool调用。线程数组成总线程数 ≈Undertow Worker线程Feign 调用线程池RabbitMQ Listener线程池Redis 连接池 (Lettuce/Jedis)业务线程池 (Async)Spring 内部线程GC/编译/JVM线程层级 组件 线程类型 设置Web 接入层 Undertow IO Threads Worker Threads IO≈CPU核数, Worker≈8×IORPC 调用层 Feign Ribbon Hystrix HTTP连接池线程 / Hystrix线程池 取决于隔离策略数据访问层 MyBatis-Plus HikariCP 连接池线程非独立线程但占用OS线程/连接 max-pool-size缓存层 Redis (Lettuce) Netty EventLoop 默认很少消息层 RabbitMQ Listener Container 工作线程 concurrency ~ max-concurrency业务层 自定义 ThreadPool 业务线程 自定义框架层 Spring Async / Scheduled 任务/调度线程 默认 1 或 8JVM 系统层 GC / JIT / 引用处理 系统守护线程 与 GC 策略相关根据当时告警时的线程数统计NIO线程数到达1000达到设置的最大值、thread线程2000多用的Async没有用线程池设置、Hystrix线程3000多、数据库连接100多、少量redis和mq的线程。因此从统计来看大头在NIO线程、thread线程和Hystrix线程的治理。下面分别进行问析Undertow设置过大1000其实用不到这么大可以缩小。因为没有用线程池导致thread线程会不停的进行创建这里需要改成线程池配置另外涉及到Async的使用方式不规范问题。Hystrix线程没有进行配置或配置没有生效导致线程也是不停的进行创建也同时涉及到Hystrix的使用规范问题。如何有效合理的配置Undertow (Web容器)节点一般是用8核因此IO设置为8server:undertow:threads:worker: 512 # 默认 CPU核数 * 8io: 8 # 默认 CPU核数buffer-size: 1024direct-buffers: trueFeign (Spring Cloud OpenFeign)Feign Ribbon Hystrix这是线程最复杂的叠加区域取决于你使用的 HTTP Client 和熔断隔离策略。Feign 本身不直接创建业务线程但底层 HTTP Client 会维护连接池和 I/O 线程。启用了 Hystrix 且使用 THREAD 隔离策略默认每个 Feign Client 会对应一个 Hystrix ThreadPoolhystrix:threadpool:default:coreSize: 100 # 核心线程数maxQueueSize: 200 # 队列大小queueSizeRejectionThreshold: 300allowMaximumSizeToDivergeFromCoreSize: truecommand:default:execution:isolation:strategy: THREADthread:timeoutInMilliseconds: 5000陷阱那这里提出一个问题,hystrix.threadpool.default.maxQueueSize50 如果一个微服务里面feign调用3个另外的服务则总线程数据是每个服务最大都是50总3*50150还是 3个服务共用这最大50个线程在源码中execution.isolation.strategy的配置地方。57d841baed0c82c5222385328566ac1e_418387db-c60a-4936-85e1-23c3cb97554c答案是每个服务各自独立一个线程池不是共用即每个 Feign Client 各拥有最多 50 的队列容量总资源是 3×50不是共用。default 是未显式配置 ThreadPoolKey 时的默认值模板所有没有单独配置的线程池都会用这套 default 参数来初始化。所以3个服务就是线程池 A (base-server): coreSize10, maxQueueSize50线程池 B (msg-server): coreSize10, maxQueueSize50线程池 C (如果还有第3个不同的服务): coreSize10, maxQueueSize50总计3 × 10 30 个核心线程各自队列容量 50微服务依赖 10 个下游服务且都使用 THREAD 隔离默认就会创建 10 个 Hystrix 线程池。若每个 coreSize100仅 Hystrix 一项就固定占用 1000 个线程也可以为特定服务单独配置hystrix:threadpool:default:coreSize: 10maxQueueSize: 50base-server: # 为特定 GroupKey 覆盖配置coreSize: 20maxQueueSize: 100业务线程池 (需代码配置)ConfigurationEnableAsyncpublic class ThreadPoolConfig {Bean(“businessExecutor”)public ThreadPoolTaskExecutor businessExecutor() {ThreadPoolTaskExecutor executor new ThreadPoolTaskExecutor();executor.setCorePoolSize(20);executor.setMaxPoolSize(50);executor.setQueueCapacity(200);executor.setThreadNamePrefix(“biz-”);return executor;}}MyBatis-Plus (连接池依赖DataSource)spring:datasource:druid:initial-size: 5max-active: 20min-idle: 5Redis (Lettuce连接池)spring:redis:lettuce:pool:max-active: 16 # 最大连接数max-idle: 8min-idle: 4RabbitMQ Listenerspring:rabbitmq:listener:simple:concurrency: 5 # 最小消费者线程max-concurrency: 20 # 最大消费者线程prefetch: 10acknowledge-mode: auto