鸽芷咕个人主页 个人专栏: 《C干货基地》《粉丝福利》⛺️生活的理想就是为了理想的生活!引言说到大语言模型相信大家都不会陌生大型语言模型(LLMs)是人工智能文本处理的主要类型,也现在最流行的人工智能应用形态。ChatGPT就是是迄今为止最著名的使用LLM的工具,它由OpenAI的GPT模型的特别调整版本提供动力而今天我们就来带大家体验一下部署大模型的实战。文章目录引言一、项目选择与系统介绍1.1 项目介绍1.2 Tiny-Llama语言模型1.3 进入系统1.4 进行远程连接二、部署LLMS大模型2.1 拉取代码到环境2.2 自定义算子部署配置protoc 环境算子编译部署修改环境变量编译运行 依赖安装2.3 推理启动三、 项目体验一、项目选择与系统介绍1.1 项目介绍本来博主是准备来部署一下咱们的清华大语言模型镜像这个目前也是非常的火啊吸引了很多人的注意其优秀的性能和GPT3 不相上下但是由于考虑到大部分人电脑其实跑大模型是有一点点吃力的为了让更多人来先迈出部署模型的第一步于是就决定去 gitee 上找一个小型一点的大模型来实战一下。1.2 Tiny-Llama语言模型果不其然刚搜索就发现 一个基于香橙派AI Pro 部署的语言大模型项目这不正好吗直接开始点进去一看发现这是南京大学开源的一套基于香橙派 AIpro部署的Tiny-Llama语言模型开源地址1.3 进入系统这里我们选择的是openEuler是香橙派的这块板子内置的系统。但其实他的内核是ubuntu这里可以给大家看一下所以我们用 ubuntu 服务器来部署应该是没有问题的。openEuler 是一由中国开源软件基金会主导以Linux稳定系统内核为基础,华为深度参与,面向服务器、桌面和嵌入式等的一个开源操作系统。1.4 进行远程连接这里直接插电启动默认用户名HwHiAiUser、密码Mind123当然root密码也是一样的这里我们进来之后可以直接选择链接WiFi 非常便捷当然这里大家在这里也可以选择云服务器远程实战然后我们打开命令窗查看IP , 由于系统默认支持ssh 远程连接所以博主这里就直接采用 Sxhell 进行连接输入ip 选择HwHiAiUser登录 密码Mind123二、部署LLMS大模型2.1 拉取代码到环境先cd进入cd ~/samples目录之后直接利用git 拉取我们的项目git 由于系统镜像自带的有就不用我们手动安装了2.2 自定义算子部署配置protoc 环境使用wget工具从指定的华为云链接下载 protobuf-all-3.13.0.tar.gz文件wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/tiny-llama/protobuf-all-3.13.0.tar.gz --no-check-certificate解压刚刚下载的文件tar-zxvf protobuf-all-3.13.0.tar.gz这里解压速度非常快基本一秒就OK了进入 protobuf-3.13.0 文件夹中cd protobuf-3.13.0更新apt包管理器的软件包列表apt-get update使用apt-get安装必要的构建工具包括autoconf、automake和libtool这些工具用于配置和构建开源项目apt-get install autoconf automake libtool生成配置脚本configure, 运行./configure生成一个Makefile./autogen.sh./configure编译源代码,由于香橙派 AIpro是4核64位处理器 AI处理器支持8个线程我们我们可以大胆的使用4个并行进程进行编译以加快编译速度。编译这里的时候大家就可以放松放松了大概只需要10几分钟就好了make-j4将编译后的二进制文件和库文件安装到系统指定的位置make install更新系统共享库缓存的工具检查protoc 版本sudo ldconfig protoc--version算子编译部署将当前工作目录切换到tiny_llama设置了一个环境变量 ASCEND_PATH并将其值设为/usr/local/Ascend/ascend-toolkit/latestexport ASCEND_PATH/usr/local/Ascend/ascend-toolkit/latest将custom_op/matmul_integer_plugin.cc文件复制到指定路径cp custom_op/matmul_integer_plugin.cc $ASCEND_PATH/tools/msopgen/template/custom_operator_sample/DSL/Onnx/framework/onnx_plugin/cd 进入 目标文件夹进行配置cd $ASCEND_PATH/tools/msopgen/template/custom_operator_sample/DSL/Onnx修改环境变量打开build.sh找到下面四个环境变量解开注释并修改如下#命令为 vim build.sh# 修改内容为exportASCEND_TENSOR_COMPILER_INCLUDE/usr/local/Ascend/ascend-toolkit/latest/includeexportTOOLCHAIN_DIR/usrexportAICPU_KERNEL_TARGETcust_aicpu_kernelsexportAICPU_SOC_VERSIONAscend310B4编译运行 依赖安装编译构建项目,进入到构建输出目录以后续处理生成的文./build.sh cd build_out/生成文件到customize到默认目录$ASCEND_PATH/opp/vendors/./custom_opp_ubuntu_aarch64.run删除冗余文件cd $ASCEND_PATH/opp/vendors/customize rm-rf op_impl/op_proto/安装依赖从指定的华为云 PyPI 镜像源安装所需的 Python 包cd tiny_llama/inference pip install-r requirements.txt-i https://mirrors.huaweicloud.com/repository/pypi/simple先cd 回到根目录在进入家目录找到咱们的tiny_llama/inference2.3 推理启动下载tokenizer文件cd tokenizer wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/tiny-llama/tokenizer.zipunzip tokenizer.zip获取onnx模型文件cd../model wget https://obs-9be7.obs.cn-east-2.myhuaweicloud.com/wanzutao/tiny-llama/tiny-llama.onnx我们在复制代码的时候一定要仔细嗷博主这里少打了一个w 导致并没有获取到模型后期找了半天才发现错误所以提醒大家一定要注意好每一步atc模型转换atc--framework5--model./tiny-llama.onnx--outputtiny-llama--input_formatND--input_shapeinput_ids:1,1;attention_mask:1,1025;position_ids:1,1;past_key_values:22,2,1,4,1024,64--soc_versionAscend310B4--precision_modemust_keep_origin_dtype三、 项目体验好了到这里我们就算是大功告成了只需要启动一下mian文件就OK了在cd tiny_llama/inference目录下运行命令python3 main.py打开网址进行访问Tiny-Llama这个模型由于尺寸非常小参数也只有1.1B。所以在我们部署Tiny-Llama这个大语言模型推理过程中Ai Core的占用率只到60%左右基本是一秒俩个词左右速度上是肯定没问题的。后期可以去试试升级一下内存去跑一下当下主流的 千问7B模型 或者 清华第二代大模型拥有 60 亿参数 ChatGLM2 感觉用OrangePi AIpro这块板子也是没问题。
