云原生【免费下载链接】mesosApache Mesos项目地址https://gitcode.com/gh_mirrors/mesos2/mesos点击查看免费下载Mesos Agent 除了操作系统根盘之外还可以向集群暴露多块独立的磁盘资源。本篇围绕官方文档 multiple-disk.md 展开系统讲解Root、Path、Mount三类Disk资源的语义与 JSON 配置方式并结合 slave.cpp、paths.cpp 等源码说明 Agent 在启动校验、持久卷路径映射和卷清理上的实际行为帮助运维人员正确配置多盘环境、避免容量超卖并让 Framework 开发者能够依据source字段做出正确的磁盘选择。一、多磁盘资源的整体机制Mesos 为运维人员提供了一种机制来向集群暴露多块磁盘资源。当创建持久卷persistent volume时Framework 可以通过检查磁盘资源上source字段来决定是否使用某一块特定的磁盘。也就是说磁盘资源并非同质它在Resource.DiskInfo中携带了来源信息source这是 Framework 做磁盘选择的核心依据。这一机制的协议定义位于 mesos.proto 的DiskInfo消息中。DiskInfo.Source定义了四种类型枚举message Source { enum Type { UNKNOWN 0; PATH 1; MOUNT 2; BLOCK 3; RAW 4; } // A folder that can be located on a separate disk device. message Path { optional string root 1; } // A mounted file-system set up by the Agent administrator. message Mount { optional string root 1; } required Type type 1; optional Path path 2; optional Mount mount 3; ... }二、三类磁盘资源Disk资源共有三种形式Root磁盘DiskInfo中不设置source字段即表示这是一个Root磁盘Path磁盘DiskInfo的source中设置PATH枚举同时通过root字段指定用于存储数据的目录Mount磁盘DiskInfo的source中设置MOUNT枚举同时通过root字段指定用于存储数据的挂载点mount point。运维人员可以在 Agent 启动时通过 JSON 格式的--resources选项提供这些不同类型的磁盘资源。该选项的完整说明见 Agent 配置文档值可以是 JSON 字符串、name:value分号分隔列表也可以是file:///path/to/file形式的 JSON 文件路径。重要说明默认情况下未指定--resources时Mesos Agent 只向集群暴露根盘root disk。而一旦你手动指定了任意Disk资源即通过--resources标志配置了磁盘Mesos 就会停止自动检测Root磁盘资源。因此如果你仍希望使用Root磁盘必须按照下文格式手动把它显式声明出来。2.1 Root 磁盘Root磁盘是 Mesos 中最基本的磁盘资源。它通常映射到运维人员暴露给 Agent 的主操作系统驱动器上的存储空间数据最终落在 Agent 的work_dir由--work_dir配置见 Agent 配置文档之下。一个Root磁盘的 resources 配置值示例如下。注意运维人员可以可选地为磁盘指定role其效果是通过 静态预留static reservation把该磁盘预留给单个 role[ { name : disk, type : SCALAR, scalar : { value : 2048 } } ]2.2 Path 磁盘Path磁盘是由运维人员提供的辅助磁盘资源。它可以通过创建占用量小于磁盘总可用空间的持久卷来切分成更小的块。这类磁盘的常见用途是额外的日志空间、文件归档或缓存以及其他对性能不敏感的应用。运维人员只需在 Agent 上创建一个目录并把它作为DiskInfo的source中Path的root即可把一块额外的磁盘以Path磁盘的形式暴露出来。Path磁盘还有一个特殊价值它可以通过在操作系统盘上创建若干目录来模拟多磁盘环境——但这应当只用于测试或预发环境。需要注意在同一个文件系统上创建多个Path磁盘时必须对可用磁盘空间做静态切分。例如假设一块 10GB 的存储设备挂载在/foo而 Mesos Agent 被配置了两个Path磁盘/foo/disk1和/foo/disk2为了避免存储设备写满的风险disk1和disk2在 Mesos Agent 启动时的配置容量合计最多只能是 10GB。一个Path磁盘的 resources 配置值示例如下。同样可以可选地指定role实现静态预留[ { name : disk, type : SCALAR, scalar : { value : 2048 }, disk : { source : { type : PATH, path : { root : /mnt/data } } } } ]2.3 Mount 磁盘Mount磁盘同样是由运维人员提供的辅助磁盘资源。它与Path磁盘最大的区别是它不能被 Framework 切分成更小的块。这种灵活性上的缺失正是运维人员向 Framework 做出保障的手段——Framework 将获得对该磁盘设备的独占访问权。这类磁盘的常见用途包括数据库存储、预写日志write-ahead logs以及其他对性能敏感的应用。在 Linux 上Mount磁盘必须对应/proc/mounts挂载表中的一个 mount 点。运维人员应以自己偏好的文件系统挂载物理磁盘并把挂载点作为DiskInfo的source中Mount的root提供给 Agent。除了Mount磁盘的性能优势外运行在其上的应用应当能够依赖磁盘错误来感知容量边界——当应用试图超出卷的容量时只要所使用文件系统正确传播了这些错误写操作就会收到磁盘错误。正是基于这一预期Mount磁盘上禁用了disk/du隔离器isolation。一个Mount磁盘的 resources 配置值示例如下role字段同样是可选的[ { name : disk, type : SCALAR, scalar : { value : 2048 }, disk : { source : { type : MOUNT, mount : { root : /mnt/data } } } } ]2.4 Block 磁盘Mesos 目前不允许运维人员暴露裸块设备raw block devices。未来可能会支持但存在需要先在设计文档中解决的安全性和灵活性问题。这一点也可以从源码印证Agent 启动时对BLOCK、RAW、UNKNOWN类型的处理是直接退出见 slave.cpp。三、源码实现剖析3.1 Agent 启动时的磁盘源校验Agent 启动解析完--resources后会遍历所有带source的磁盘资源并逐一校验见 slave.cpp其行为与文档描述严格对应PATH源要求必须提供root否则以PATH disk root directory is not specified退出若目录不存在则自动创建os::mkdir(source.path().root(), true)。MOUNT源要求必须提供root。在 Linux 上会先对root取realpath然后读取/proc/mounts构建fs::MountTable并逐条比对挂载目录如果找不到对应挂载项Agent 直接以Failed to find mount ... in /proc/mounts退出。非 Linux 平台则退化为检查该路径是否存在。这意味着Mount磁盘配置失败时 Agent 根本无法启动运维人员可以在启动阶段就发现挂载点配置错误而不必等到 Framework 使用磁盘时才暴露问题。3.2 持久卷在磁盘上的路径映射持久卷的宿主机路径由 paths.cpp 中的getPersistentVolumePath决定三种磁盘类型映射规则不同无sourceRoot 磁盘卷映射进workDir下的volumes/roles/role/persistence-id路径PATH磁盘在root目录下挂载一个子目录即root/volumes/roles/role/persistence-id。文档中相对路径的root是相对于 Agent work dir 的MOUNT磁盘直接映射到挂载点的root本身不会在其下创建子目录允许应用使用设备上完整的文件系统。这解释了文档实现一节中两类磁盘的本质差异Path磁盘会在root内创建子目录来区分其上创建的不同卷而Mount磁盘则把整个挂载点交给卷使用允许 Mesos 任务访问包含既有目录结构的卷——这对于接入既有数据如已有的 Postgres 数据库数据目录或 HDFS 数据目录非常有用。3.3 卷销毁时的清理行为差异卷的删除行为同样有明确区分见 slave.cpp当一个此前已 checkpoint 的持久卷从新 checkpoint 中消失说明它被显式销毁Agent 会立即删除该卷对应的文件系统对象。关键在于removeRoot标志bool removeRoot true; if (source.type() Resource::DiskInfo::Source::MOUNT) { removeRoot false; } TryNothing result os::rmdir(path, true, removeRoot);即销毁Path磁盘上的持久卷时Mesos 会删除卷内所有文件和目录连同Mesos 为该卷在root内创建的子目录一并删除而销毁Mount磁盘上的持久卷时Mesos 只删除卷内存储的文件和目录不会删除根目录即挂载点本身。运维人员在检查或清理残留数据时必须意识到这一差异Mount磁盘的挂载点在卷销毁后依然保留。3.4 为什么 Mount 磁盘禁用 disk/du 隔离disk/du隔离器现已归入posix/disk隔离器映射关系见 containerizer.cpp 与 disk-du 文档会周期性统计容器磁盘用量并在超限时报告容器资源受限limitation。但在 posix/disk.cpp 中针对磁盘配额强制执行enforce_container_disk_quota有一个明确的豁免// We need to ignore the quota enforcement check for MOUNT type // disk resources because its quota will be enforced by the // underlying filesystem. bool isDiskSourceMount false; foreach (const Resource resource, info-paths[path].quota) { if (resource.has_disk() resource.disk().has_source() resource.disk().source().type() Resource::DiskInfo::Source::MOUNT) { isDiskSourceMount true; } } if (!isDiskSourceMount) { // ... 超限则产生 REASON_CONTAINER_LIMITATION_DISK limitation }源码注释说明了原因MOUNT类型磁盘资源的配额将由底层文件系统强制实施。这与文档的论述一致——应用运行在Mount磁盘上时应依赖写超容量即收到磁盘错误这一文件系统级行为而不再需要 Mesos 层的 du 统计与 limitation 机制介入。四、配置实践小结默认只有一块根盘。不指定--resources时Agent 自动检测并只暴露 root disk一旦手动配置了磁盘root disk 的自动检测即停止需要显式声明。配置入口是--resources见 Agent 配置文档支持 JSON 字符串或file:///...指向的 JSON 文件Root、Path、Mount三类资源按第二节给出的 JSON 结构分别配置role字段可选用于静态预留。Path磁盘适合共享与切分可用于日志、归档、缓存等场景也适合在测试/预发环境模拟多盘同文件系统上多个Path磁盘必须做静态容量切分防止设备写满。Mount磁盘适合独占与性能敏感负载数据库、WAL 等它不可切分、必须对应/proc/mounts中的真实挂载点Linux 上 Agent 启动即校验、禁用disk/du配额统计、且销毁卷时不删除挂载点。裸块设备Block当前不支持Agent 遇到该类型会直接退出。理解这三类磁盘的语义差异尤其是source字段如何影响持久卷的宿主路径paths.cpp与销毁清理行为slave.cpp是正确部署和使用 Mesos 多磁盘能力的前提。赞分享云原生【免费下载链接】mesosApache Mesos项目地址https://gitcode.com/gh_mirrors/mesos2/mesos点击查看免费下载相关推荐Apache Mesos 多磁盘Multiple Disks详解Root / Path / Mount 磁盘资源模型与持久卷实战Apache Mesos 多磁盘Multiple Disks详解Root / Path / Mount 磁盘资源模型与持久卷实战 Apache Mesos云原生集群管理容器编排任务调度Apache Mesos 多磁盘Multiple Disks资源配置与实现深度指南Apache Mesos 多磁盘Multiple Disks资源配置与实现深度指南 本文以 Apache Mesos 的 Multiple Disks 机制集群管理任务调度后端Apache Mesos 0.27.0 版本技术解读资源配额、多磁盘支持与隐式角色Apache Mesos 0.27.0 版本技术解读资源配额、多磁盘支持与隐式角色 Apache Mesos 0.27.0 是 Mesos 演进历程中的一个重集群管理任务调度后端创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
