JuiceFS on AWS基于 Amazon S3 与托管 Redis 构建分布式文件系统的完整实战指南【免费下载链接】juicefsJuiceFS is a distributed POSIX file system built on top of Redis and S3.项目地址: https://gitcode.com/GitHub_Trending/ju/juicefs本文以 JuiceFS 官方 AWS 教程为主体结合仓库源码与配套参考文档系统讲解如何在亚马逊云科技AWS上以 EC2、EKS、EMR 三种典型形态使用 JuiceFS从 S3 对象存储与 MemoryDB/RDS 元数据引擎的选型与准备到juicefs format/juicefs mount的完整命令实操再到开机自启、CSI Driver 与 Hadoop Java SDK 的接入方式帮助读者在 AWS 上快速落地一套数据与元数据分离的 POSIX 分布式文件系统。为什么在 AWS 上使用 JuiceFSJuiceFS 是一款构建在对象存储之上的分布式 POSIX 文件系统其核心设计是数据与元数据分离文件内容切块后写入对象存储如 Amazon S3而文件系统的目录结构、文件属性等元数据则保存在独立的元数据引擎如 Redis 兼容数据库中。这一架构让文件系统的容量取决于对象存储的规模元数据引擎只承担索引职责两者均可独立扩展。由于 JuiceFS 对外提供的是标准的 POSIX 文件系统语义和丰富的 API 接口在 AWS 生态中它通常可以与以下三类产品组合使用见 docs/en/tutorials/aws.mdAWS 产品使用方式对应组件Amazon EC2直接挂载 JuiceFS 文件系统JuiceFS 命令行客户端Amazon EKS作为 Kubernetes 持久化存储JuiceFS CSI DriverAmazon EMRHadoop 生态组件读写 JuiceFSJuiceFS Hadoop Java SDK准备工作对象存储与元数据引擎一个 JuiceFS 文件系统由两部分构成对象存储负责存放真实数据元数据引擎负责存放元数据的数据库。在 AWS 上你可以根据自己的需求选择使用全托管的 S3 与数据库服务本文主线也可以自行在 EC2/EKS 上部署开源组件。自建场景请参考 如何配置元数据引擎 与 如何配置对象存储 两篇文档。S3 对象存储与存储类选择S3 是 AWS 提供的对象存储服务。你可以按需在对应区域创建 Bucket也可以授权 JuiceFS 客户端通过 IAM 角色自动创建 Bucket。Amazon S3 提供了多种 存储类storage class官方教程中重点介绍了三种S3 Standard标准存储适合频繁访问的通用存储实时访问、无取回费用S3 Standard-IA低频访问适合访问频率较低但需要长期保存的数据实时访问但会产生取回费用S3 Glacier归档存储适合极少访问、访问前需要先取回解冻的数据。你可以在创建或挂载 JuiceFS 文件系统时设置存储类详见 对象存储文档的 storage-class 一节。官方建议优先选择标准存储类虽然其他存储类单价更低但往往附带最短存储时长要求和取回费用。从源码层面看存储类在format与mount两个命令中均有对应参数。创建文件系统时通过--storage-class设置默认存储类见 cmd/format.go挂载时同样可通过--storage-class覆盖见 cmd/mount.go。在对象存储客户端实现中Put/Copy/CreateMultipartUpload等写入路径都会把存储类随请求一并携带见 pkg/object/s3.go。注意使用 Glacier 等归档类存储时数据无法立即访问需要提前解冻使用 Standard-IA 等低频类存储时存在最小计费单位读取数据可能产生额外费用请参考所用对象存储的用户手册。S3 的两种 Endpoint 风格与区域JuiceFS 的 S3 客户端同时支持 S3 的两种 Bucket 地址风格见 对象存储文档虚拟主机风格virtual hosted-stylehttps://bucket.s3.region.amazonaws.com路径风格path-stylehttps://s3.region.amazonaws.com/bucketregion需要替换为具体区域代码例如美东弗吉尼亚北部为us-east-1。中国区用户需要在主机名后追加.cn即amazonaws.com.cn并查询对应的区域代码。若 Bucket 允许匿名访问可将--access-key设置为anonymous。认证方式Access Key 与 IAM 角色访问对象存储服务需要 Access Key即 access key ID与 Secret Key即 secret access key进行认证你可以参考 AWS 文档创建 IAM 用户并配置相应权限策略。同时从 EC2 云服务器访问 S3 时也可以为 EC2 实例绑定 IAM 角色从而无需使用 Access Key 即可调用 S3 API——JuiceFS 客户端会通过实例元数据服务自动获取临时凭证。从仓库实现看S3 客户端在未显式提供凭证时依赖 AWS SDK 的默认凭证链config.LoadDefaultConfig这正是 IAM 角色方案能够生效的底层机制见 pkg/object/s3.go。此外官方还推荐通过环境变量ACCESS_KEY/SECRET_KEY传递凭证避免在命令行中明文暴露密钥见 对象存储文档。数据库MemoryDB、RDS 与 ElastiCache 的选择AWS 提供多种网络型全托管数据库可用于构建 JuiceFS 元数据引擎主要包括Amazon MemoryDB for Redis下文简称 MemoryDB持久的 Redis 内存数据库服务性能极快Amazon RDS全托管的 MariaDB、MySQL、PostgreSQL 等关系型数据库。重要提示虽然 Amazon ElastiCache for Redis下文简称 ElastiCache也提供兼容 Redis 协议的服务但与 MemoryDB 相比ElastiCache 无法提供“强一致性保证”因此官方推荐使用 MemoryDB。在元数据引擎的容量规划上Redis 最佳实践 给出了经验数据每个文件的元数据约占 300 字节内存。因此若要存储 1 亿个文件大约需要 30 GiB 内存。可以通过 Redis 的INFO memory命令检查实际内存占用其中used_memory_rss是 Redis 实际使用的总内存包含数据used_memory_dataset与系统开销used_memory_overhead。若发现单个文件的元数据远超 300 字节可以运行juicefs gc清理可能存在的冗余数据。在 EC2 上使用 JuiceFS第一步安装 JuiceFS 客户端请根据 EC2 实例的操作系统参考 安装文档 安装最新版 JuiceFS 社区版客户端。Linux 系统可使用一行安装脚本curl -sSL https://d.juicefs.com/install | sh -该脚本会自动根据硬件架构下载并安装客户端到/usr/local/bin如需自定义安装目录可追加参数curl -sSL https://d.juicefs.com/install | sh -s /tmp。JuiceFS 客户端只有一个二进制文件也支持通过 安装文档 中提供的预编译包手动解压安装。第二步准备对象存储为 EC2 实例绑定一个拥有AmazonS3FullAccess权限的 IAM 角色即可让实例直接创建和使用 S3 Bucket无需再配置 Access Key 和 Secret Key。第三步准备数据库以 MemoryDB 为例请参考 Redis 最佳实践 与 AWS 官方文档创建数据库。为了让 EC2 实例能够访问 Redis 集群需要将二者创建在同一个 VPC 中或在 Redis 集群的安全组中添加允许 EC2 实例访问的规则。注意如果创建的是 Redis 7.0 版本的集群客户端需要安装JuiceFS 1.1 及以上版本。第四步格式化文件系统使用juicefs format命令创建文件系统。以下命令使用 MemoryDBTLS 加密的rediss://连接作为元数据引擎S3 作为对象存储juicefs format --storage s3 \ --bucket https://s3.ap-east-1.amazonaws.com/myjfs \ rediss://clustercfg.myredis.hc79sw.memorydb.ap-east-1.amazonaws.com:6379/1 \ myjfs命令中各部分含义如下参数定义见 cmd/format.go--storage s3指定对象存储类型为 S3--bucket https://s3.ap-east-1.amazonaws.com/myjfs指定 Bucket 访问地址此处为路径风格地址支持在format或mount时以 URL 参数形式追加额外选项如?tls-insecure-skip-verifytruerediss://...:6379/1元数据引擎地址。Redis 的 URL 格式为redis[s]://[username:password]host[:port]/db开启 TLS 时使用rediss://协议头详见 元数据引擎文档。示例中的/1表示使用逻辑数据库 1一个 Redis 实例默认最多可承载 16 个逻辑数据库即最多可创建 16 个 JuiceFS 文件系统但各逻辑数据库不可与其他应用共用myjfs文件系统名称。安全建议出于安全考虑建议通过环境变量META_PASSWORD/REDIS_PASSWORD或META_PASSWORD_FILE传递数据库密码而不是直接写在元数据 URL 中同理对象存储凭证也建议使用ACCESS_KEY/SECRET_KEY环境变量传递。如果希望为文件系统启用数据分片可以在format时使用--shards参数取值 0256默认 0 表示不启用配合%d通配符指定多个 Bucket例如--shards 4 --bucket https://myjfs-%d.s3.us-east-2.amazonaws.com系统会根据文件名哈希将数据分散到多个 Bucket 以提升大规模并发写入性能。需要留意的是分片数量在创建时设定后不可修改见 对象存储文档。第五步挂载文件系统使用juicefs mount将文件系统挂载到本地目录sudo juicefs mount -d \ rediss://clustercfg.myredis.hc79sw.memorydb.ap-east-1.amazonaws.com:6379/1 \ /mnt/myjfs其中-d表示后台运行daemonize。挂载成功后/mnt/myjfs即成为一个完整的 POSIX 文件系统可被多个节点同时挂载共享。在 AWS 之外访问通过 IAM 角色授权的文件系统如果你需要从 AWS 外部挂载这个文件系统由于外部机器无法获得实例 IAM 角色凭证需要使用juicefs config为文件系统补充 Access Key 和 Secret Keyjuicefs config \ --access-keyyour-access-key \ --secret-keyyour-secret-key \ rediss://clustercfg.myredis.hc79sw.memorydb.ap-east-1.amazonaws.com:6379/1第六步设置开机自启若需要系统重启后自动挂载请参考 开机自动挂载文档。自 JuiceFS v1.1.0 起mount命令提供--update-fstab选项可自动将挂载项写入/etc/fstab并创建/sbin/mount.juicefs软链接sudo juicefs mount --update-fstab --max-uploads50 --writeback --cache-size 204800 META-URL MOUNTPOINT对于需要通过环境变量传递数据库密码或对象存储密钥的场景如META_PASSWORD、ACCESS_KEY可以改用systemd方式挂载在/etc/systemd/system/juicefs.mount中配置[Mount]段的Environment、What、Where、Options随后执行systemctl enable juicefs.mount与systemctl start juicefs.mount即可。在 Amazon EKS 上使用 JuiceFSAmazon EKS 支持 三种节点类型EKS 托管节点组managed node groups使用 Amazon EC2 作为计算节点自管理节点self-managed nodes使用 Amazon EC2 作为计算节点Fargate无服务器计算引擎。限制说明JuiceFS CSI Driver 目前不支持在 Fargate 上使用请使用“EKS 托管节点组”或“自管理节点”创建集群以便部署 JuiceFS CSI Driver。Amazon EKS 本身是一个标准的 Kubernetes 集群可以使用eksctl、kubectl、helm等工具进行管理。CSI Driver 的安装与使用方式请参考 JuiceFS CSI Driver 官方文档。在 Amazon EMR 上使用 JuiceFSAmazon EMR 中的 Hadoop 生态组件如 Spark、Hive、Presto 等可以通过JuiceFS Hadoop Java SDK无缝读写 JuiceFS 文件系统而无需修改业务代码。JuiceFS Hadoop Java SDK 兼容 Hadoop 2.x 与 Hadoop 3.x具体部署与配置请参考 Hadoop 生态中使用 JuiceFS。该文档中同时强调了分布式环境下的两个要点在分布式环境中使用时需将 JuiceFS 使用的 “User/UID” 与 “Group/GID” 同步到所有 Hadoop 节点避免权限问题参考 多主机账号同步视计算任务的读写负载情况如 Spark ExecutorJuiceFS Hadoop Java SDK 可能需要额外约 4 ×juicefs.memory-size的堆外内存来加速读写默认建议为计算任务配置至少 1.2 GB 堆外内存。运维与最佳实践补充元数据引擎的高可用如果使用 MemoryDB其多可用区Multi-AZ事务日志机制本身就提供了快速故障转移、数据库恢复与节点重启能力这是官方推荐 MemoryDB 的原因之一。若自行部署 Redis 作为元数据引擎可以参考 Redis 最佳实践 中的以下要点高可用使用 Redis Sentinel 需要至少 3 个 Sentinel 实例且应放置在不同可用区挂载时 META-URL 格式为redis://:passwordmasterName,sentinel1,sentinel2:26379/2数据持久化推荐使用RDB AOF组合模式AOF 默认每秒 fsync 一次并定期将 RDB 快照备份到数据中心之外内存规划为maxmemory预留一定缓冲避免内存逼近物理上限若发生 OOM出现OOM command not allowed when used memory maxmemory可临时调大maxmemory后执行juicefs rmr或清理回收站或预先写入占位 key 以备紧急释放内存。S3 客户端行为细节从源码看JuiceFS 的 S3 客户端默认区域为us-east-1常量awsDefaultRegion见 pkg/object/s3.go如需其他区域可通过环境变量AWS_REGION或AWS_DEFAULT_REGION设置。客户端支持分片上传最小分片 5 MiB、最大分片 5 GiB、最多 10000 片并默认在对象元数据中写入 CRC 校验和用于完整性校验可通过--bucket中的disable-checksumtrue参数关闭。此外JuiceFS 默认将AWS_REQUEST_CHECKSUM_CALCULATION与AWS_RESPONSE_CHECKSUM_VALIDATION设为when_required以增强对 S3 兼容服务的兼容性如需在 Amazon S3 上始终计算与校验 SDK 级校验和可在运行前设置这两个环境变量为when_supported见 对象存储文档。总结在 AWS 上使用 JuiceFS 的关键路径可以概括为选择 S3 存储类与认证方式 → 选择 MemoryDB/RDS 元数据引擎 →juicefs format创建 →juicefs mount挂载。无论是 EC2 上的 POSIX 挂载、EKS 上的 CSI Driver 持久化存储还是 EMR 上的 Hadoop 生态接入JuiceFS 都提供了对应的官方支持路径。生产环境中请务必遵循“优先标准存储类、优先 MemoryDB 强一致、凭证走环境变量或 IAM 角色、元数据定期备份”等最佳实践即可获得一套稳定、可扩展的分布式文件系统。【免费下载链接】juicefsJuiceFS is a distributed POSIX file system built on top of Redis and S3.项目地址: https://gitcode.com/GitHub_Trending/ju/juicefs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
