1. 问题现象与背景分析最近在帮客户部署一套生产级Kubernetes集群时遇到了一个典型的权限问题通过kubectl exec命令连接Pod时系统返回exec unable to upgrade connection: Unauthorized错误。这种情况在二进制部署的K8S环境中尤为常见特别是在启用了RBAC认证的情况下。这个错误表面上看是权限不足但实际上涉及K8S认证授权体系的多个环节。要彻底解决这个问题我们需要理解Kubernetes的二进制部署架构特点以及exec命令背后的工作机制。2. 二进制部署架构特点2.1 与传统部署方式的区别二进制部署与kubeadm等工具部署的主要差异在于各组件kube-apiserver、kube-controller-manager等需要手动配置和启动证书体系需要自行生成和管理网络插件、DNS等核心组件需要单独部署RBAC权限系统需要手动配置2.2 exec命令的工作流程当执行kubectl exec时实际发生了以下交互kubectl向apiserver发起exec请求apiserver验证请求的RBAC权限apiserver与目标节点的kubelet建立连接kubelet创建exec会话并返回流式连接3. 错误原因深度分析3.1 常见触发场景根据实际运维经验这个错误通常出现在新部署的二进制K8S集群升级K8S版本后修改了RBAC配置或证书后节点加入集群时证书配置错误3.2 根本原因排查通过分析apiserver和kubelet日志我们发现问题的核心在于证书配置不匹配kubelet使用的客户端证书未被apiserver信任RBAC权限不足执行exec的用户缺少必要的ClusterRole绑定网络连接问题apiserver无法正确连接到kubelet4. 解决方案与实施步骤4.1 证书修复方案首先检查kubelet证书配置# 检查kubelet当前使用的证书 ps -ef | grep kubelet | grep -i client-ca-file # 验证证书有效性 openssl x509 -in /var/lib/kubelet/pki/kubelet-client-current.pem -text -noout确保以下证书配置正确kubelet的--client-ca-file指向正确的CA证书apiserver的--kubelet-client-certificate和--kubelet-client-key配置正确证书包含正确的SANSubject Alternative Name4.2 RBAC权限配置为执行exec的用户添加必要权限apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRole metadata: name: exec-role rules: - apiGroups: [] resources: [pods/exec] verbs: [create] apiVersion: rbac.authorization.k8s.io/v1 kind: ClusterRoleBinding metadata: name: exec-role-binding subjects: - kind: User name: your-username apiGroup: rbac.authorization.k8s.io roleRef: kind: ClusterRole name: exec-role apiGroup: rbac.authorization.k8s.io4.3 网络连接检查验证apiserver到kubelet的网络连通性# 从apiserver节点测试kubelet端口 telnet node-ip 10250 # 检查防火墙规则 iptables -L -n | grep 102505. 进阶排查技巧5.1 日志分析要点查看关键组件日志的命令# apiserver日志 journalctl -u kube-apiserver -f # kubelet日志 journalctl -u kubelet -f | grep -i exec重点关注日志中的证书验证错误权限拒绝信息连接超时或拒绝5.2 证书轮换问题如果遇到证书自动轮换导致的问题检查kubelet证书自动轮换配置确认apiserver信任新的CA证书重启相关服务使配置生效6. 生产环境最佳实践6.1 证书管理建议使用统一的CA签发所有组件证书设置合理的证书有效期实现证书自动轮换监控保留历史CA证书以兼容旧客户端6.2 RBAC设计原则遵循最小权限原则为不同角色创建明确的ClusterRole避免直接使用cluster-admin权限定期审计权限使用情况6.3 网络配置要点确保控制平面与工作节点网络互通正确配置防火墙规则考虑使用网络策略限制不必要的访问监控网络连接状态7. 常见问题速查表问题现象可能原因解决方案证书过期证书有效期已过更新证书并重启服务权限不足RBAC配置缺失添加必要的ClusterRoleBinding连接超时网络不通/防火墙阻挡检查网络连通性和防火墙规则版本不兼容组件版本差异统一升级到兼容版本配置错误参数拼写错误仔细检查配置文件8. 实战经验分享在实际运维中我们发现这类问题往往不是单一因素导致的。建议采用以下排查流程首先确认基础网络连通性检查证书有效期和信任链验证RBAC权限配置分析组件日志中的错误详情考虑版本兼容性问题一个特别容易忽视的点是kubelet的证书自动轮换机制。在长时间运行的集群中证书可能已经自动更新但相关组件没有重新加载新证书导致间歇性的认证失败。这种情况下的错误往往难以复现需要结合证书修改时间和问题发生时间进行关联分析。
