1. 为什么要在麒麟V10上折腾ElasticSearch先把场景说清楚。麒麟V10这里指的是银河麒麟桌面版/服务器版操作系统V10是不少单位在推进信息化建设时选用的国产操作系统底座而ElasticSearch后面统一简称ES是全文检索和日志分析领域用得最普遍的分布式搜索引擎。把这两个东西凑到一起是很多做日志平台、做数据检索、做业务搜索的团队绕不开的一步。我最近刚在一个基于麒麟V10服务器版的环境里完整部署了一套ES集群从系统依赖、JDK选型、内核参数调优到systemd托管、集群发现配置、安全加固一路踩了不少坑。这篇文章就是把这套流程完整复盘一遍包括每一步为什么这么做、参数怎么算、遇到问题怎么排查。适合两类人看一类是第一次在国产化环境里部署ES、被各种依赖和权限问题卡住的运维或后端同学另一类是想把ES从x86迁移到国产化平台、需要一份可复现清单的架构同学。需要提前说明的是麒麟V10底层是Linux内核包管理用的是RPM系yum/dnf所以整体思路和CentOS/RHEL系是相通的但差异点集中在软件源可用性、SELinux策略、systemd单元行为、以及部分依赖库版本上。这些差异恰恰是最容易让人翻车的地方后面会逐个拆开讲。2. 部署前的整体设计与选型思路2.1 版本组合怎么定ES的版本选择是第一道坎。ES 7.x和8.x在安全模型上有本质区别7.x默认关闭安全认证8.x默认开启TLS和账号密码。在国产化环境里很多内网服务之间调用并不走HTTPS如果直接上8.x光是证书配置就能耗掉大半天。所以我的建议是如果是内网日志检索、对安全要求不高的场景选ES 7.17.x7.x最后一个大版本长期维护部署成本最低。如果是对外提供服务、有合规要求的场景选ES 8.x但一定要提前规划证书和账号体系。JDK方面ES 7.17自带捆绑JDK在jdk目录下理论上不需要系统装JDK。但麒麟V10的glibc版本和自带JDK的兼容性需要验证我实测下来7.17自带的JDK在麒麟V10 SP2上是能正常跑的所以优先用ES自带的JDK避免系统JDK版本冲突。2.2 部署形态怎么选单节点还是集群取决于数据量和可用性要求。这里给一个粗略的判断场景节点数说明个人测试/开发1单节点关闭发现配置小规模日志日增10GB33节点起步1主2数据或3角色合一中等规模日增10-100GB5分离master和data角色大规模按需独立coordinating节点麒麟V10环境里我建议至少3节点因为ES的集群脑裂防护依赖discovery.seed_hosts和cluster.initial_master_nodes单节点虽然能跑但一旦挂了数据就没了而且很多分片分配策略在单节点下行为不一样测试环境和生产环境差异太大。2.3 目录规划ES默认会把数据、日志、配置都放在安装目录下这在生产环境是大忌——升级或重装时容易误删数据。我的规划是安装目录/usr/local/elasticsearch数据目录/data/es/data单独挂盘SSD优先日志目录/data/es/logs配置目录保留在安装目录的config下但通过path.data和path.logs指向独立目录这样升级时只需要替换安装目录数据和日志不受影响。3. 系统层准备麒麟V10的差异点处理3.1 依赖检查与安装麒麟V10服务器版默认软件源里有些包可能缺失先做一轮依赖体检# 检查glibc版本ES 7.17要求2.17以上 ldd --version # 检查是否有libcurl、openssl等基础库 rpm -qa | grep -E libcurl|openssl|zlib如果缺包用系统自带的yum源安装yum install -y libcurl openssl zlib bzip2注意麒麟V10的yum源里包名可能和CentOS略有差异比如有些版本把libcurl拆成了libcurl-minimal和libcurl-full装之前先用yum search确认一下。3.2 内核参数调优ES对文件句柄数和内存映射区数量有硬性要求这是最容易忽略又最容易导致启动失败的地方。# 编辑 /etc/security/limits.conf追加 * soft nofile 65536 * hard nofile 65536 * soft nproc 4096 * hard nproc 4096 # 编辑 /etc/sysctl.conf追加 vm.max_map_count262144 vm.swappiness1vm.max_map_count这个参数必须调ES的Lucene底层用mmap读索引文件默认值65530在高负载下会直接报max virtual memory areas vm.max_map_count [65530] is too low。262144是官方推荐值按每个分片占用一定映射区估算节点上分片越多这个值要越大。vm.swappiness1是为了尽量不让内核把ES的内存换出去ES自己会管理堆内存被swap会导致GC停顿飙升。改完执行sysctl -p生效ulimit -n验证句柄数。3.3 创建专用用户ES不允许用root启动这是硬性限制。创建一个专用用户useradd esuser passwd esuser # 把数据目录和安装目录的属主给esuser chown -R esuser:esuser /usr/local/elasticsearch chown -R esuser:esuser /data/es实操心得麒麟V10的useradd默认可能不创建家目录如果后续要用到~/.bashrc里的环境变量记得加-m参数。3.4 关闭SELinux或调整策略麒麟V10默认可能开启SELinux。ES需要绑定端口、读写数据目录SELinux的默认策略会拦截。两种处理方式测试环境直接setenforce 0临时关闭或改/etc/selinux/config永久关闭。生产环境不建议直接关而是用ausearch和audit2allow生成针对ES的放行策略。我个人的做法是生产环境保留SELinux但为ES单独写策略模块这样既满足合规要求又不影响ES运行。具体命令后面排查章节会讲。4. ElasticSearch安装与核心配置4.1 安装包获取与解压从官方渠道下载对应架构的tar包麒麟V10常见是aarch64或x86_64用uname -m确认。下载后解压tar -zxvf elasticsearch-7.17.9-linux-aarch64.tar.gz -C /usr/local/ mv /usr/local/elasticsearch-7.17.9 /usr/local/elasticsearch注意不要用root解压后直接跑解压完立刻改属主给esuser。4.2 elasticsearch.yml核心配置这是整个部署的灵魂文件逐项说明cluster.name: kylin-es-cluster node.name: es-node-1 path.data: /data/es/data path.logs: /data/es/logs network.host: 0.0.0.0 http.port: 9200 transport.port: 9300 discovery.seed_hosts: [10.0.0.1:9300, 10.0.0.2:9300, 10.0.0.3:9300] cluster.initial_master_nodes: [es-node-1, es-node-2, es-node-3] bootstrap.memory_lock: true逐项解释cluster.name集群名同一网段如果有多个集群必须区分开否则会误加入。node.name节点唯一标识建议用主机名或带序号的命名。network.host绑0.0.0.0表示监听所有网卡生产环境建议绑内网IP。discovery.seed_hosts集群发现种子节点写其他节点的transport地址。cluster.initial_master_nodes只在集群首次启动时配置列出有资格成为master的节点名。集群起来后这个配置可以删掉否则重启时可能出问题。bootstrap.memory_lock: true锁定内存防止ES堆内存被换出。这个要配合systemd的LimitMEMLOCKinfinity使用否则会报错。4.3 JVM堆内存配置编辑config/jvm.options或者新建config/jvm.options.d/heap.options-Xms16g -Xmx16g堆内存怎么定经验公式不超过物理内存的50%不超过32GB超过32GB后JVM的指针压缩失效反而浪费内存留足够内存给Lucene的文件缓存剩下的一半基本都给文件缓存比如64GB内存的机器堆设31GB剩33GB给文件缓存这是比较理想的配比。如果机器只有16GB内存堆设8GB剩8GB给系统和其他进程。踩过的坑-Xms和-Xmx必须设成一样大否则JVM会动态调整堆大小导致GC行为不稳定。4.4 systemd托管配置用systemd托管比nohup启动靠谱得多能自动重启、能管资源限制。创建/etc/systemd/system/elasticsearch.service[Unit] DescriptionElasticsearch Afternetwork.target [Service] Typesimple Useresuser Groupesuser LimitNOFILE65536 LimitNPROC4096 LimitMEMLOCKinfinity EnvironmentES_JAVA_HOME/usr/local/elasticsearch/jdk ExecStart/usr/local/elasticsearch/bin/elasticsearch Restarton-failure RestartSec10 [Install] WantedBymulti-user.target关键点LimitMEMLOCKinfinity配合bootstrap.memory_lock不加这个ES启动会直接失败。EnvironmentES_JAVA_HOME指定用ES自带的JDK避免系统JDK干扰。Restarton-failure进程异常退出自动拉起。配置完执行systemctl daemon-reload systemctl enable elasticsearch systemctl start elasticsearch5. 集群验证与安全加固5.1 启动验证启动后先看日志tail -f /data/es/logs/kylin-es-cluster.log看到started字样说明节点起来了。然后验证集群状态curl -XGET http://localhost:9200/_cluster/health?pretty返回的status字段green所有主分片和副本分片都正常yellow主分片正常副本分片未分配单节点常见red有主分片未分配需要立即排查再看节点列表curl -XGET http://localhost:9200/_cat/nodes?v三个节点都出现且角色正确集群就算搭起来了。5.2 安全加固ES 7.x默认无认证任何能访问9200端口的人都能读写数据。生产环境必须加固。最轻量的做法是开启X-Pack基础认证在elasticsearch.yml追加xpack.security.enabled: true然后执行密码初始化/usr/local/elasticsearch/bin/elasticsearch-setup-passwords interactive会依次让你设置elastic、kibana、logstash等内置账号的密码。设置完后所有请求都要带认证curl -u elastic:你的密码 -XGET http://localhost:9200/_cluster/health?pretty注意开启安全后集群内部节点间通信也需要配置证书否则节点无法加入。如果只是内网使用可以只开HTTP层认证transport层保持明文配置xpack.security.transport.ssl.enabled: false。5.3 防火墙配置麒麟V10默认可能开启firewalld。放行ES端口firewall-cmd --permanent --add-port9200/tcp firewall-cmd --permanent --add-port9300/tcp firewall-cmd --reload实操心得9300是transport端口集群节点间通信必须放行很多人只放9200结果节点加不进来排查半天。6. 常见问题与排查技巧实录6.1 启动失败类问题问题一max virtual memory areas vm.max_map_count [65530] is too low原因内核参数没调。解决sysctl -w vm.max_map_count262144并写入/etc/sysctl.conf持久化。问题二memory locking requested for elasticsearch process but memory is not locked原因bootstrap.memory_lock: true但systemd没给LimitMEMLOCK。解决在service文件加LimitMEMLOCKinfinitydaemon-reload后重启。问题三can not run elasticsearch as root原因用root启动了。解决切到esuser用户或改service文件的User字段。问题四failed to obtain node locks原因数据目录被上一个进程占用或者属主不对。解决ps -ef | grep elasticsearch确认没有残留进程chown -R esuser:esuser /data/es。6.2 集群类问题问题五节点加不进集群排查顺序discovery.seed_hosts里的IP和端口是否可达telnet测试9300cluster.name是否一致防火墙是否放行9300节点名是否和cluster.initial_master_nodes里的一致问题六集群状态yellow单节点部署时副本分片无法分配是正常的因为副本不能和主分片在同一节点。解决要么加节点要么把索引副本数设为0curl -XPUT http://localhost:9200/索引名/_settings -H Content-Type: application/json -d {index:{number_of_replicas:0}}问题七脑裂ES 7.x之后用cluster.initial_master_nodes和多数投票机制防脑裂只要配置正确基本不会出现。如果出现检查是否有节点被网络隔离后又恢复导致出现两个master。6.3 性能类问题问题八写入慢排查方向是否开了refresh_interval过短默认1s批量写入时可临时调大是否translog同步策略过于频繁index.translog.durability设为async可提升写入磁盘是否成为瓶颈iostat -x 1看%util问题九查询慢检查是否有大量wildcard查询检查分片数是否过多单分片建议30-50GB检查是否有深分页fromsize超过10000会报错需要用search_after6.4 麒麟V10特有问题问题十SELinux拦截如果日志里出现avc: denied用ausearch -m avc -ts recent查看被拦截的操作然后用audit2allow生成策略ausearch -m avc -ts recent | audit2allow -M es_policy semodule -i es_policy.pp问题十一自带JDK不兼容如果启动报GLIBC_2.xx not found说明系统glibc版本低于JDK要求。解决升级系统glibc风险高或换用系统JDK需验证ES兼容性。我实测麒麟V10 SP2的glibc版本是够的SP1可能需要额外处理。7. 我个人的部署体会整套流程走下来最耗时间的不是ES本身的配置而是麒麟V10环境适配那部分——依赖包、SELinux、systemd资源限制这三块占了排查时间的七成。ES的配置项其实很成熟官方文档也全照着填基本不会错但系统层的坑是文档里不会写的。如果让我给一个最省事的部署顺序我会这样排先调内核参数和limits再建用户和目录然后解压安装包改配置最后systemd托管启动。这个顺序的好处是每一步都能独立验证出问题容易定位。反过来如果先启动再回头调系统参数往往要反复重启效率低很多。另外提一个容易被忽略的点ES的数据目录一定要放在独立磁盘上而且最好是SSD。我见过把数据目录和系统盘放一起的日志一多直接把根分区写满整个系统都卡死。这个坑在测试环境不明显一上生产就暴露。最后分享一个小技巧部署完成后用curl -XGET http://localhost:9200/_nodes/stats?pretty把节点状态导出来存一份作为基线。以后性能出问题时对比这份基线能快速看出是哪个指标异常。这个习惯帮我省了很多排查时间。
