self-llm 实战基于 Gradio 快速部署 XVERSE-7B-Chat WebDemo 交互界面【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm导读本文基于《开源大模型食用指南》仓库self-llm中 XVERSE 模型目录下的 WebDemo 部署文档完整讲解如何在 AutoDL 等 Linux GPU 环境下用 Gradio 为 XVERSE-7B-Chat 搭建一个支持多轮对话、流式输出的 Web 聊天界面。读者按照本文完成环境准备、模型下载、代码运行三步操作后即可在浏览器中通过http://localhost:6006与 70 亿参数的 XVERSE-7B-Chat 实时对话并理解 Gradio 流式多轮对话的完整实现原理。XVERSE-7B-Chat 模型背景XVERSE-7B-Chat 是 XVERSE-7B 模型经对齐Chat 化后的版本由深圳元象科技自主研发参数规模为 70 亿是一个支持多语言的大语言模型其核心特点如下模型结构采用主流的 Decoder-only 标准 Transformer 网络结构支持 8K 上下文长度Context Length能满足更长的多轮对话、知识问答与摘要等需求应用场景更广泛。训练数据构建了 2.6 万亿 token 的高质量、多样化数据对模型进行充分训练包含中、英、俄、西等 40 多种语言通过精细化设置不同类型数据的采样比例使得中英两种语言表现优异也能兼顾其他语言效果。分词器基于 BPEByte-Pair Encoding算法使用上百 GB 语料训练了一个词表大小为 100,534 的分词器能够同时支持多语言而无需额外扩展词表。训练框架自主研发多项关键技术包括高效算子、显存优化、并行调度策略、数据-计算-通信重叠、平台和框架协同等让训练效率更高、模型稳定性强在千卡集群上的峰值算力利用率可达到 58.5%。环境准备租赁 GPU 机器推荐在 AutoDL 平台租赁一台3090 等 24G 显存的显卡机器。创建实例时选择镜像配置为PyTorch → 2.1.0 → 3.10(ubuntu22.04) → 12.1CUDA 11.3 版本以上均可安装依赖为方便环境配置仓库在 code/requirement.txt 中提供了完整的依赖清单直接执行以下命令即可安装# 升级pip python -m pip install --upgrade pip # 更换 pypi 源加速库的安装 pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple # 安装python依赖 pip install -r requirement.txt仓库中的 requirement.txt 关键依赖及版本如下当前仓库实际锁定版本依赖版本用途transformers4.33.1加载与运行 XVERSE-7B-Chat 模型gradio4.26.0构建 Web 聊天界面accelerate0.24.1支持device_mapauto多设备自动分配modelscope1.9.5国内源快速下载模型sentencepiece0.1.99XVERSE 分词器依赖peft0.4.0便于后续 Lora 微调复用torch随镜像自带PyTorch 2.1.0深度学习计算框架模型下载XVERSE-7B-Chat 模型权重可从 ModelScope 国内源下载速度更快。使用snapshot_download函数第一个参数为模型名称cache_dir参数指定模型下载路径本文使用/root/autodl-tmprevision指定分支版本from modelscope import snapshot_download model_dir snapshot_download(xverse/XVERSE-7B-Chat, cache_dir/root/autodl-tmp, revisionmaster)仓库同步提供了该脚本的完整版 model_download.py下载完成后模型将保存在/root/autodl-tmp/xverse/XVERSE-7B-Chat目录下模型权重约 14GB。若磁盘空间紧张可参考仓库中 03-模型下载.md 的通用下载方案。代码准备在/root/autodl-tmp路径下新建chatBot.py文件完整代码如下与仓库 code/chatBot.py 保持一致import argparse import torch import gradio as gr import json from datetime import datetime from transformers import AutoModelForCausalLM, AutoTokenizer,GenerationConfig tokenizer, model None, None def init_model(args): global tokenizer, model tokenizer AutoTokenizer.from_pretrained(args.tokenizer_path, truncation_sideleft, padding_sideleft) model AutoModelForCausalLM.from_pretrained(args.model_path, trust_remote_codeTrue, torch_dtypetorch.bfloat16, low_cpu_mem_usageTrue, device_mapauto) model.generation_config GenerationConfig.from_pretrained(args.model_path) model model.eval() def chat(message, history, request: gr.Request): global tokenizer, model history history or [] history.append({role: user, content: message}) # init history.append({role: assistant, content: }) utter_history [] for i in range(0, len(history), 2): utter_history.append([history[i][content], history[i1][content]]) # chat with stream for next_text in model.chat(tokenizer, history[:-1], streamTrue): utter_history[-1][1] next_text history[-1][content] next_text if torch.backends.mps.is_available(): torch.mps.empty_cache() yield utter_history, history # log current_time datetime.now().strftime(%Y-%m-%d %H:%M:%S) print(f{current_time} request_ip:{request.client.host}\nquery: {message}\nhistory: {json.dumps(history, ensure_asciiFalse)}\nanswer: {json.dumps(utter_history[-1][1], ensure_asciiFalse)}) # 增加配置添加模型地址 def get_args(): parser argparse.ArgumentParser() parser.add_argument(--port, typeint, default6006, helpserver port) parser.add_argument(--model_path, typestr, default/root/autodl-tmp/xverse/XVERSE-7B-Chat, helpmodel path) parser.add_argument(--tokenizer_path, typestr, default/root/autodl-tmp/xverse/XVERSE-7B-Chat, helpPath to the tokenizer.) args parser.parse_args() return args if __name__ __main__: args get_args() # 初始化模型 init_model(args) # 构建demo应用 with gr.Blocks(themegr.themes.Soft()) as demo: gr.Markdown( # center XVERSE-7B-Chat/center ## center A Gradio chatbot powered by Self-LLM/center ) chatbot gr.Chatbot(labelChat history, height500) state gr.State([]) with gr.Row(): text_box gr.Textbox(labelMessage, show_labelFalse, placeholder请输入你的消息并回车) with gr.Row(): submit_btn gr.Button(valueSend, variantsecondary) reset_btn gr.Button(valueReset) text_box.submit(fnchat, inputs[text_box, state], outputs[chatbot, state], api_namechat) submit_btn.click(fnchat, inputs[text_box, state], outputs[chatbot, state]) # 用于清空text_box def clear_textbox(): return gr.update(value) text_box.submit(fnclear_textbox, inputsNone, outputs[text_box]) submit_btn.click(fnclear_textbox, inputsNone, outputs[text_box]) # 用于清空页面和重置state def reset(): return None, [] reset_btn.click(fnreset, inputsNone, outputs[chatbot, state]) demo.launch(server_name0.0.0.0, server_portargs.port)代码核心模块解析结合仓库源码 chatBot.py该脚本按职责分为四个核心部分1. 模型初始化init_model分词器使用AutoTokenizer.from_pretrained加载并设置truncation_sideleft、padding_sideleft保证长文本截断发生在输入序列左侧保留对话末尾内容这对长对话场景尤为重要。模型以torch_dtypetorch.bfloat16半精度加载配合low_cpu_mem_usageTrue降低 CPU 内存峰值device_mapauto让 accelerate 自动将模型分配到可用 GPU。显式加载模型的generation_config确保生成参数如 max_new_tokens、温度等与模型发布时的配置一致。2. 流式对话生成chatchat函数是典型的生成器含yield实现流式输出将用户输入按 OpenAI 风格的{role: content}消息结构追加到history并预先占位一个空的 assistant 消息。把扁平的消息列表两两配对转换成utter_history[用户消息, 助手消息]二维结构供gr.Chatbot渲染。调用model.chat(tokenizer, history[:-1], streamTrue)逐 token 迭代生成每产生一个片段就更新界面utter_history与history并yield一次从而实现打字机式实时输出history[:-1]表示不把正在生成中的空 assistant 消息传入模型避免污染上下文。若在 Apple SiliconMPS环境下运行则调用torch.mps.empty_cache()及时释放缓存。3. 交互日志对话结束后脚本打印一条 JSON 格式的日志包含请求时间、客户端 IPrequest.client.host来自gr.Request参数、用户输入、完整历史与模型回答方便排查问题与审计对话内容。4. Gradio 界面与参数配置采用gr.Blocks(themegr.themes.Soft())搭建布局聊天记录区gr.Chatbot高度 500、消息输入框gr.Textbox、发送与重置按钮gr.Button并用gr.State([])维护跨轮次的对话状态。text_box.submit与submit_btn.click均绑定chat函数同时绑定clear_textbox在提交后清空输入框reset_btn绑定reset清空页面与重置 state。通过argparse暴露三个可配置参数--port默认 6006、--model_path、--tokenizer_path默认均为/root/autodl-tmp/xverse/XVERSE-7B-Chat无需修改代码即可切换到自定义路径的模型。最后以demo.launch(server_name0.0.0.0, server_portargs.port)启动服务绑定0.0.0.0便于端口映射后在本地浏览器访问。运行 demo在终端中执行以下命令启动 Gradio 服务python chatBot.py启动后按照 AutoDL 平台的指示将 6006 端口映射到本地然后在浏览器中打开http://localhost:6006/即可看到聊天界面如上图所示界面顶部展示模型标题中间为聊天历史区底部输入框支持回车发送Send 按钮发送消息Reset 按钮清空会话。模型会以流式方式逐字返回回答。进阶与关联方案本教程属于 XVERSE 系列部署体系中的 Web 交互一环仓库中还提供了同一模型的其他部署与优化方案可按需组合使用命令行交互与量化推理参考 01-XVERSE-7B-chat Transformers推理.md 及源码 xverse.py。XVERSE-7B 默认支持 INT8/INT4 量化在model.eval()前加上model model.quantize(4).cuda()即可将显存占用大幅降低4 为 INT4 量化8 为 INT8适合显存较小的机器。REST API 服务参考 02-XVERSE-7B-chat FastAPI部署.md 及源码 api.py可将模型封装为 POST 接口供其他系统调用与 WebDemo 共用 6006 端口约定。LangChain 知识库助手参考 03-XVERSE-7B-chat langchain 接入.md 及源码 LLM.py通过自定义XVERSE_LLM类将模型接入 LangChain构建本地知识库问答助手。Lora 微调参考 05-XVERSE-7B-Chat Lora 微调.md 及对应 Notebook在依赖安装peft 0.4.0 等后即可对本模型进行低成本指令微调。小结本文完整复现了基于 Gradio 部署 XVERSE-7B-Chat WebDemo 的全流程从 AutoDL 环境准备、依赖安装、ModelScope 模型下载到chatBot.py的流式多轮对话实现与界面交互逻辑并对照仓库源码逐模块拆解了模型加载、状态管理、日志记录与端口配置等关键细节。整套方案仅需一张 24G 显存显卡即可流畅运行是快速体验与二次开发 XVERSE 系列大模型的高性价比起点。【免费下载链接】self-llm《开源大模型食用指南》针对中国宝宝量身打造的基于Linux环境快速微调全参数/Lora、部署国内外开源大模型LLM/多模态大模型MLLM教程项目地址: https://gitcode.com/GitHub_Trending/se/self-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
