1. 事件背景litellm镜像投毒事件始末上周三凌晨开源社区突然爆出litellm官方Docker镜像被植入恶意代码的消息。作为当前最热门的AI模型统一接口工具之一litellm的安装量在近三个月增长了470%这也让它成为了攻击者的重点目标。我第一时间检查了团队内部三台GPU服务器的容器环境果然在其中一台的测试容器里发现了异常进程。这次投毒事件的特殊之处在于攻击者没有直接篡改GitHub仓库代码而是通过劫持Docker Hub的自动构建流程在官方镜像的1.14.3版本中植入了挖矿脚本。恶意代码会检测运行环境是否具有NVIDIA GPU如果满足条件就启动隐蔽的加密货币挖矿进程同时尝试扫描同网段的其他主机。2. 感染特征与检测方法2.1 典型感染症状根据安全团队的分析报告被感染的容器通常会出现以下异常GPU利用率异常升高即使没有运行AI推理任务出现名为kworker的伪装进程实际是xmrig的变种新增可疑的crontab任务每半小时下载更新脚本6379/tcp端口被异常监听Redis协议用于C2通信2.2 快速检测命令在终端执行以下命令组合可以快速排查# 检查运行中的可疑容器 docker ps --format {{.Image}} {{.Command}} | grep litellm | grep -v python # 检查GPU使用情况需安装nvidia-smi nvidia-smi --query-compute-appspid,name,used_memory --formatcsv # 检查网络连接 lsof -i :6379 || ss -tulnp | grep 63793. 完整清理方案3.1 紧急处置步骤如果发现感染迹象建议立即执行断开受影响主机网络连接记录异常容器ID后立即停止docker stop $(docker ps | grep litellm:1.14.3 | awk {print $1})备份容器日志用于后续分析docker inspect --format{{.LogPath}} container_id | xargs cp -t /tmp/3.2 深度清理指南单纯删除容器并不能完全清除威胁还需要清理docker存储目录中的恶意镜像层docker images -a | grep litellm | awk {print $3} | xargs docker rmi --force rm -rf /var/lib/docker/overlay2/可疑镜像ID检查宿主机的定时任务和启动项crontab -l | grep -E curl|wget systemctl list-unit-files | grep enabled | grep -E redis|mine更新Docker守护进程配置限制默认权限{ default-ulimits: { nproc: 1024:1024, nofile: 100:200 }, no-new-privileges: true }4. 安全防护升级方案4.1 镜像验证最佳实践启用Docker Content Trustexport DOCKER_CONTENT_TRUST1 docker pull litellm/litellm:latest使用cosign验证镜像签名cosign verify --key cosign.pub litellm/litellmsha256:digest4.2 运行时防护配置在docker-compose.yml中添加安全约束services: litellm: security_opt: - no-new-privileges:true cap_drop: - ALL read_only: true tmpfs: - /tmp:rw,noexec,nosuid5. 替代方案与长期建议5.1 安全镜像获取渠道目前确认安全的安装方式包括从源码构建需验证checksumgit clone https://github.com/BerriAI/litellm.git cd litellm git verify-tag $(git describe) docker build -t safe-litellm .使用第三方可信镜像库podman pull quay.io/bitnami/litellm:1.14.45.2 监控方案配置示例使用PrometheusGranfa建立容器监控看板关键指标包括容器CPU/GPU使用率突增检测异常进程创建事件通过auditd捕获非常规端口连接尝试这是我整理的auditd规则示例-w /usr/bin/docker -p x -k docker -w /var/lib/docker -p rwa -k docker -a always,exit -F archb64 -S execve -F path/usr/bin/xmrig -k miner这次事件给所有AI开发者敲响了警钟——在快速迭代的同时安全防护必须同步跟上。我们团队现在已经将容器安全扫描纳入了CI/CD流水线任何镜像在部署前都需要经过Trivy和ClamAV的双重检测。特别提醒使用litellm对接商业API的朋友务必检查access token是否可能通过被入侵的容器泄露。
