JuiceFS 如何用 fio 跑顺序读写基准测试并解读结果【免费下载链接】juicefsJuiceFS is a distributed POSIX file system built on top of Redis and S3.项目地址: https://gitcode.com/GitHub_Trending/ju/juicefs已经挂载好的 JuiceFS 文件系统能跑多快的顺序读写、瓶颈出现在哪一层可以用 fio 在挂载点上直接压测再配合juicefs stats的实时指标来解读。官方 fio 基准测试文档用fio3.1 在 JuiceFS 上执行了单 job 与 16 并发两档顺序读/写测试同时以 EFS、S3FS 作为对照并给出了测试环境与挂载选项。这篇文章把这条路径整理为可直接执行的步骤先准备好挂载点和测试目录跑顺序读写测试然后看输出与客户端指标判断结果的含义。准备条件已 format 并挂载的文件系统先按 Standalone Mode 的流程创建并挂载文件系统。以 SQLite 元数据 S3 对象存储为例命令中的密钥与桶地址是文档示例值需替换为你自己的实际值juicefs format --storage s3 \ --bucket https://myjfs.s3.us-west-1.amazonaws.com \ --access-key ABCDEFGHIJKLMNopqXYZ \ --secret-key ZYXwvutsrqpoNMLkJiHgfeDCBA \ sqlite3://myjfs.db myjfs juicefs mount sqlite3://myjfs.db /jfs后文的 fio 命令默认挂载点为/jfs如果你的挂载点不同例如/mnt/jfs把命令中的--directory和juicefs stats的路径替换掉即可。测试前禁用 TrashJuiceFS v1.0 默认开启 Trash基准测试过程中创建又删除的临时文件会进入文件系统根目录下的.trash在过期前持续占用文件系统与对象存储空间。为避免这个问题测试前执行juicefs config META-URL --trash-days 0META-URL是你 format 时使用的元数据地址如sqlite3://myjfs.db。测试完成后如需恢复回收站再执行juicefs config META-URL --trash-days7之类的命令改回保留天数详见 Trash 文档。fio 工具文档中的测试使用fio3.1安装方式按你的发行版常规包管理处理。执行顺序读写测试以下命令来自 fio.md。原始测试在 JuiceFS、EFS、S3FS 三个文件系统上跑同一组命令用于对比如果只测 JuiceFS保留--directory/jfs的这几条即可。单 jobnumjobs: 1# 顺序读 fio --namesequential-read --directory/jfs --rwread --refill_buffers --bs4M --size4G # 顺序写 fio --namesequential-write --directory/jfs --rwwrite --refill_buffers --bs4M --size4G --end_fsync1参数含义依据文档说明--rwread/--rwwrite顺序读 / 顺序写--bs4M每次 IO 的大小--size4G每个线程 IO 的总大小通常等于测试文件大小写命令比读命令多带--end_fsync1--refill_buffers和--end_fsync1文档未展开解释命令按原文保留。16 并发 jobnumjobs: 16# 顺序读 fio --namebig-file-multi-read --directory/jfs --rwread --refill_buffers --bs4M --size4G --numjobs16 # 顺序写 fio --namebig-file-multi-write --directory/jfs --rwwrite --refill_buffers --bs4M --size4G --numjobs16 --end_fsync1--numjobs是并发测试线程数默认每个线程使用各自独立的测试文件。文档的测试环境文档给出的结果是在下列环境上跑出来的可作为环境参照不要把它当成固定预期一台 c5d.18xlarge EC272 CPU、144G RAMUbuntu 18.04 LTSKernel 5.4.0JuiceFS 元数据用本地 Redis版本 4.0.9挂载时使用了--max-uploads150 --io-retries20./juicefs format --storages3 --buckethttps://BUCKET.s3.REGION.amazonaws.com localhost benchmark ./juicefs mount --max-uploads150 --io-retries20 localhost /jfs其中BUCKET、REGION需替换为你自己的 S3 桶名与区域localhost指本地 Redis 地址。可选性能评估指南中的 libaio 变体Performance Evaluation Guide 另外给出一组单机 fio 测试用libaio与--direct1IO 粒度为 1 MiB、每线程 1 GiB、4 并发# 顺序写 fio --namejfs-test --directory/mnt/jfs --ioenginelibaio --rwwrite --bs1m --size1g --numjobs4 --direct1 --group_reporting # 顺序读 fio --namejfs-test --directory/mnt/jfs --ioenginelibaio --rwread --bs1m --size1g --numjobs4 --direct1 --group_reporting文档对参数的说明--ioengine指定发送 IO 的方式通常用libaio--direct在打开文件时加O_DIRECT标志位以禁用系统缓冲使测试结果更稳定准确--name是测试名影响测试文件名--directory是测试目录--bs、--size、--numjobs含义同前。--group_reporting文档未解释命令按原文保留。该指南给出的结果文档示例不代表你环境应得到的数值# Sequential WRITE: bw703MiB/s (737MB/s), 703MiB/s-703MiB/s (737MB/s-737MB/s), io4096MiB (4295MB), run5825-5825msec READ: bw817MiB/s (856MB/s), 817MiB/s-817MiB/s (856MB/s-856MB/s), io4096MiB (4295MB), run5015-5015msec解读结果先看 fio 输出本身每个 job 给出bw带宽、io总数据量、run耗时三个字段顺序读写带宽直接取bw。文档中的对比图显示在其测试环境下 JuiceFS 的顺序读写吞吐量明显高于 EFS 和 S3FSPerformance Benchmark 页面给出的结论是该次测试中 JuiceFS 提供约 10 倍于另外两者的吞吐量。这是特定环境c5d.18xlarge 本地 Redis S3下的结果不能直接作为你环境的验收值。更可靠的做法是在测试运行期间另开一个终端执行juicefs stats /mnt/jfs --verbosity 1路径同样替换为你的挂载点。juicefs stats以类似dstat的格式实时输出客户端指标用于判断带宽瓶颈在哪一层各指标如何读摘自 Real-Time Performance Monitoringfuse的read/writeFUSE 层读写带宽可与 fio 输出的bw对照ops/lat是每秒操作数与平均延迟ms。usage的buf当前 buffer 大小。如果该值持续接近甚至超过配置的--buffer-size应增大 buffer size 或降低应用负载。meta的ops/lat元数据操作每秒数量与平均延迟txn/lat是写事务速率。顺序大块 IO 测试中这一项如果异常高说明瓶颈偏向元数据侧。blockcache的read对同一个固定文件反复读时如果仍持续有本地缓存读流量说明读请求没有进入 page cache文档提示可从这个方向排查例如内存不足。object的get/put对象存储读写带宽。启用缓存时穿透到对象存储会明显拖慢读性能可用这一项确认数据是否已被缓存把object.get与fuse.read对比可以大致看出当前的读放大情况。文档没有给出 fio 结果的固定通过阈值判定方式就是上面这套fio 字段 stats 指标的对照以及与自己基线环境的比较。限制与收尾禁用 Trash 的改动作用于整个文件系统测试期间写入/删除的临时文件会真正释放空间测试结束按需恢复--trash-days保留天数。测试会在挂载点下生成数 GiB 的临时测试文件--size× 线程数确认测试目录所在的空间与配额。想换 IO 引擎、并发数或 IO 粒度时参考可选章节的 libaio 变体两条命令路径fio.md 与性能评估指南是各自独立的测试配置参数不同不要混用同一组参数解读。【免费下载链接】juicefsJuiceFS is a distributed POSIX file system built on top of Redis and S3.项目地址: https://gitcode.com/GitHub_Trending/ju/juicefs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
