1. 问题现象与初步诊断当你在Kubernetes集群中遇到kubelet无法启动并报错Get http://localhost:10248/healthz: dial tcp [::1]:10248: connect: connection refused时这通常意味着kubelet的健康检查端点无法访问。这个错误看似简单但背后可能隐藏着多种原因。首先我们需要理解这个错误信息的含义localhost:10248/healthz是kubelet默认的健康检查端点connection refused表示TCP连接被明确拒绝通常意味着目标端口上没有服务在监听1.1 验证kubelet服务状态第一步应该检查kubelet服务是否真的在运行systemctl status kubelet如果服务没有运行你会看到类似这样的输出● kubelet.service - kubelet: The Kubernetes Node Agent Loaded: loaded (/lib/systemd/system/kubelet.service; enabled; vendor preset: enabled) Active: inactive (dead) since Thu 2023-05-18 10:23:45 UTC; 5min ago如果服务处于inactive状态尝试手动启动它sudo systemctl start kubelet然后再次检查状态。如果服务启动失败journalctl可以帮助查看详细日志sudo journalctl -u kubelet -n 50 --no-pager1.2 检查端口监听情况即使kubelet服务显示为active也可能没有正确监听10248端口。使用以下命令验证sudo netstat -tulnp | grep 10248正常情况下应该看到类似输出tcp6 0 0 :::10248 :::* LISTEN 12345/kubelet如果没有输出说明kubelet确实没有监听健康检查端口。2. 常见原因分析与解决方案2.1 容器运行时未就绪kubelet依赖于容器运行时如containerd或docker。如果运行时未正确配置或未运行kubelet会启动失败。检查容器运行时状态sudo systemctl status containerd # 或 sudo systemctl status docker如果运行时服务未运行先解决运行时问题。常见问题包括运行时配置文件错误存储驱动不兼容镜像存储空间不足2.2 kubelet配置问题kubelet的配置错误是另一个常见原因。检查kubelet的配置文件sudo cat /var/lib/kubelet/config.yaml特别注意以下配置项healthzBindAddress: 应该设置为0.0.0.0或127.0.0.1healthzPort: 默认是10248确保没有被修改failSwapOn: 如果设置为true且系统启用了swap会导致kubelet启动失败2.3 证书或认证问题kubelet需要使用有效的证书与API服务器通信。检查证书相关文件sudo ls -la /var/lib/kubelet/pki/确保以下文件存在且有效kubelet.crtkubelet.keyca.crt如果证书过期或无效可以尝试重新生成sudo kubeadm init phase kubeconfig kubelet sudo systemctl restart kubelet2.4 资源不足系统资源不足也会导致kubelet启动失败。检查系统资源free -h df -h确保有足够的可用内存至少2GB/var分区有足够空间至少10GB空闲3. 高级排查步骤3.1 检查kubelet日志获取更详细的kubelet日志sudo journalctl -u kubelet -n 100 --no-pager -o cat | grep -i error常见错误模式包括Failed to start ContainerManager: 通常与cgroup配置有关certificate has expired or is not yet valid: 证书问题failed to get imagefs info: 容器存储问题3.2 手动启动kubelet调试以调试模式手动启动kubelet可以帮助发现问题sudo systemctl stop kubelet sudo kubelet --v4注意观察启动过程中的错误信息。按CtrlC停止后不要忘记重新启动服务sudo systemctl start kubelet3.3 检查防火墙设置虽然localhost连接通常不受防火墙影响但某些安全增强的Linux发行版可能会限制本地端口访问sudo iptables -L -n -v | grep 10248 sudo getenforce # 检查SELinux状态如果SELinux处于enforcing模式尝试临时设置为permissivesudo setenforce 0 sudo systemctl restart kubelet4. 特定场景解决方案4.1 使用kubeadm重置后的问题如果在执行kubeadm reset后遇到此问题可能需要完全清理kubelet数据sudo kubeadm reset -f sudo rm -rf /etc/kubernetes/ /var/lib/kubelet/ /var/lib/etcd/ sudo systemctl restart kubelet4.2 版本不兼容问题Kubernetes组件版本不匹配会导致各种奇怪问题。检查版本kubeadm version kubectl version kubelet --version确保所有组件版本一致或符合Kubernetes支持的版本偏差策略。4.3 自定义CNI插件问题如果使用了自定义CNI插件可能需要先安装CNI插件再启动kubelet# 以Calico为例 kubectl apply -f https://docs.projectcalico.org/manifests/calico.yaml sudo systemctl restart kubelet5. 预防措施与最佳实践为了避免这类问题再次发生建议采取以下措施监控kubelet健康状态sudo curl -sSL http://localhost:10248/healthz应该返回ok配置systemd自动重启 编辑kubelet服务文件sudo systemctl edit kubelet添加[Service] Restartalways RestartSec5s定期检查证书有效期openssl x509 -in /var/lib/kubelet/pki/kubelet.crt -noout -dates使用日志轮转 创建日志轮转配置sudo tee /etc/logrotate.d/kubelet EOF /var/log/journal/*/kubelet*.log { daily rotate 7 missingok notifempty delaycompress compress } EOF资源预留 在kubelet配置中为系统守护进程预留资源systemReserved: cpu: 500m memory: 500Mi通过以上系统化的排查方法和预防措施应该能够解决绝大多数kubelet启动失败并报connection refused错误的问题。记住这类问题通常不是孤立出现的往往是系统配置、资源或依赖服务的综合反映需要全面检查才能找到根本原因。
