)
视频链接https://www.bilibili.com/video/BV1MfN36cEuY/?vd_source5ba34935b7845cd15c65ef62c64ba82f仓库链接https://github.com/LitchiCheng/DGX-Spark部署docker和本机ollamahttps://docker.aityp.com/image/ghcr.io/open-webui/open-webui:mainsudo usermod -aG docker $USER newgrp docker docker pull ghcr.nju.edu.cn/open-webui/open-webui:main docker run -d -p 3000:8080 --gpusall --add-hosthost.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always -e HF_ENDPOINThttps://hf-mirror.com ghcr.nju.edu.cn/open-webui/open-webui:main打开如下网页http://localhost:3000无法搜索到本地modelOllama 默认仅监听 127.0.0.1只能本机访问Docker 网关过来的外部网络请求会被拒绝sudo vim /etc/systemd/system/ollama.service # 增加 EnvironmentOLLAMA_HOST0.0.0.0:11434 sudo systemctl daemon-reload sudo systemctl restart ollamasudo vim /etc/systemd/system/ollama.service # 增加 EnvironmentOLLAMA_HOST0.0.0.0:11434 sudo systemctl daemon-reload sudo systemctl restart ollama检查连通# 进入容器 docker exec -it open-webui bash # 测试11434端口连通 curl http://host.docker.internal:11434 # clear cache: CtrlShiftR配置地址为 http://host.docker.internal:11434测试选择本地模型测试运行默认拉取ollama的模型tok/s不是很快实际上这个有很多nvfp4之类的版本后面可以测试占了差不多90个G关闭停止docker stop open-webui docker rm open-webui
