Linux线程深度剖析轻量级进程、虚拟内存分页、进程线程资源对比 | 线程上篇前言一、到底什么是Linux线程1.1 感性理解进程与线程的通俗模型1.2 Linux独特实现线程就是轻量级进程LWP二、理解线程的底层基础虚拟地址空间与分页内存管理2.1 如果没有分页机制物理内存碎片问题2.2 页、页框struct page物理页管理2.3 单级页表的实现与致命缺陷2.4 二级页表的设计CR3寄存器作用2.5 32位二级页表完整地址转换全过程2.6 MMU硬件单元与TLB快表解决多级页表查询性能问题2.7 缺页异常Page Fault2.7.1 硬缺页 Major Page Fault2.7.2 软缺页 Minor Page Fault2.7.3 无效缺页 Invalid Page Fault2.8【面试思考拓展】结合malloc、写时拷贝理解缺页三、线程的优缺点、异常行为以及适用场景3.1 线程的优点3.2 线程的缺点3.3 ⚠️线程异常一个线程崩溃整个进程直接退出3.4 线程适用场景深度解析四、进程与线程对比哪些资源共享哪些是线程私有4.1 核心概念回顾4.2 线程独占私有资源4.3 所有线程共享的进程级资源4.4【面试辨析】什么叫单线程进程六、全文面试考点总结前言很多后端开发者写多线程代码熟练调用pthread_create、pthread_join却不理解线程在内核到底是什么。面试经常被问到线程和进程内核层面的区别为什么线程切换比进程切换快缺页异常和段错误是什么关系子线程崩溃会不会导致整个进程退出很多教材会直接抛出定义进程是资源分配基本单位线程是调度基本单位但很少讲透背后本质。Linux并没有内核原生TCB线程控制块线程是基于轻量级进程LWP模拟实现资源共享本质就是虚拟地址空间、页表的共享。如果不理解虚拟地址空间、分页内存、轻量级进程LWP这些底层原理很多线程相关的面试题只能死记硬背遇到变形问题就容易出错。读完本文你可以彻底搞懂Linux线程内核本质、分页虚拟内存完整工作流程、进程与线程资源划分逻辑从容应对操作系统线程相关面试。本专题系列文章Linux NPTL线程创建/终止/等待/分离/栈布局内核原理线程下篇一、到底什么是Linux线程1.1 感性理解进程与线程的通俗模型教材经典定义进程内核数据结构 代码数据承担分配系统资源的基本实体。线程进程内部的执行分支执行流CPU调度的基本单位线程在进程内部运行。生活化类比把操作系统资源分配类比社会家庭。进程 家庭家庭是分配社会资源的基本实体线程 家庭里面的每一个人。全家人共享房子、家具进程全部资源每个人拥有自己私人笔记本、私人物品线程私有资源每个人可以独立干活、做不同事情。进程强调独占资源线程强调共享资源同时保留自己的私有上下文。核心朴素结论面试口述非常好用Linux内核没有传统操作系统意义上真正的线程线程由轻量级进程LWP模拟实现。Linux可以通过进程LWP模拟线程资源划分本质就是对虚拟地址空间、页表的划分虚拟地址本身就是资源的代表。CPU眼里看到的调度任务永远是task_structPCBCPU不区分这是进程还是线程。单线程进程只是进程内部只有一条执行流的特殊情况main主线程就是这个唯一的执行流。❓思考问题Linux为什么要采用LWP模拟线程这种设计Windows内核是怎么做线程和Linux实现有什么差异Windows内核会区分进程对象EPROCESS和线程对象ETHREAD内核原生维护TCB线程控制块而Linux选择复用task_struct依靠clone系统调用flag标记实现资源共享/拷贝内核不需要维护两套调度逻辑实现更简洁。易错辨析❌错误认知LWP就是用户态pthread_t的ID。✅正确pthread_t是用户态pthread库层面标识本质用户空间内存地址LWP是内核task_struct的id由内核维护二者完全不是同一个东西。1.2 Linux独特实现线程就是轻量级进程LWP很多操作系统在内核专门设计线程控制块TCB区分进程PCB和线程TCB。但是Linux内核没有专门为线程设计独立结构体。Linux内核中进程和线程全部复用同一个结构体task_structPCB。CPU调度器看到的全部都是task_struct对象。传统独立进程每个task_struct绑定独立的mm_struct虚拟地址空间描述符多线程同一个进程内多个task_struct全部指向同一个mm_struct共享整套虚拟地址空间这种task_struct叫做LWP轻量级进程。Linux进程、多个task_struct线程共用虚拟地址空间示意图图片内容说明图中展示task_struct、mm_struct、虚拟地址空间、物理内存的关系单进程多线程场景下多个task_struct共用同一个mm_struct主线程与子线程的内核结构对比。用户层的pthread库只是对内核clone系统调用做封装。调用pthread_create底层调用clone传入特殊标志位创建共享地址空间的轻量级进程。主线程同样也是LWP主线程的LWP ID和进程PID是相等的使用ps -aL命令可以观察进程内全部LWP。二、理解线程的底层基础虚拟地址空间与分页内存管理说明要真正懂线程资源划分必须搞懂虚拟内存分页机制。✨关键金句资源划分本质就是地址空间划分资源共享本质就是虚拟地址的共享也就是页表条目的共享。线程划分资源本质就是划分合法虚拟地址范围操作页表映射。2.1 如果没有分页机制物理内存碎片问题假设操作系统没有虚拟内存、没有分页机制。程序直接访问物理内存每个程序必须分配一段连续的物理内存存放代码段、数据段、栈段。当程序不断创建、退出内存会不断被分割成大小不一的空闲小块。随着时间推移会出现大量外部碎片内存总空闲大小足够但是没有一块连续物理内存可以满足新程序的内存申请需求内存明明空闲却分配失败。无分页机制物理内存分配碎片、4KB页框管理示意图图片内容说明物理内存分页、struct page虚拟地址到物理内存映射的基础图示。我们的理想目标给进程提供连续的逻辑虚拟地址物理内存可以使用离散、不连续的物理块。分页存储管理就用来解决这个矛盾。2.2 页、页框struct page物理页管理页Page逻辑层面虚拟内存被切分成固定大小的数据块称为页。页框Page Frame物理内存被切分成同样大小的存储区域称为页框。Linux默认页大小4KB。32位4G虚拟地址空间总页数4GB / 4KB 1048576。申请物理内存到底在干什么内核维护数组struct page mem[1048576]数组每一项对应一个物理页框。申请物理内存就是在这个数组里面找到空闲的struct page拿到数组下标index。最终物理页起始地址 index * 4KB再配合页内偏移得到完整物理地址。不需要在struct page内部保存物理地址数组下标就等价物理页编号。Linux内核中每一个物理页框都对应一个struct page结构体用来描述物理页的状态。不需要完整背诵结构体源码重点理解3个核心成员flags一组标志位每一个bit代表物理页状态。比如PG_locked表示页面被锁定PG_dirty表示脏页内存修改还没刷回磁盘PG_uptodate代表页面数据有效。_mapcount引用计数。记录有多少个页表项映射到这个物理页。-1表示该物理页没有任何映射可以分配使用。写时拷贝机制高度依赖这个计数。virtual该物理页对应的内核虚拟地址高端内存页面不会永久映射该字段为NULL需要动态映射。简单计算内存开销4GB物理内存4KB一页总共有1048576个物理页。假设每个struct page占40字节全部结构体只占用约40MB内存。开销很小内核完全可以承受。【面试思考】页的大小是不是越大越好页太大页内碎片严重。程序只需要几字节也要占用完整4KB页内存浪费。页太小页数量暴增页表占用内存急剧膨胀MMU页表遍历次数变多CPU开销上升。所以操作系统选择适中的4KB作为默认页大小。2.3 单级页表的实现与致命缺陷32位系统虚拟地址空间大小是4GB。如果采用单级页表每4KB虚拟页对应一个页表项。总表项数量 4GB / 4KB 1048576。每个页表项占4字节单级页表总大小4MB。重要Linux不会使用简单单级页表单级页表存在硬伤。单级页表要求页表本身必须存放在连续物理内存。当初引入分页就是为了解决连续内存的问题页表自己却需要连续大块内存矛盾。按照程序局部性原理一个进程往往只使用很小一部分虚拟地址。比如一个程序只用10MB内存单级页表仍然要完整占用4MB大量页表项闲置造成内存浪费。为了解决单级页表的缺陷Linux使用二级页表32位x86把页表进行分层。32位系统单级页表映射、多级页表整体结构图图片内容说明task_struct/mm_struct虚拟地址空间分段内核区、栈、共享区、堆、数据段、代码段物理内存映射二级页表整体框架。2.4 二级页表的设计CR3寄存器作用二级页表分为两层页目录PGD顶层每一项指向一个二级页表。页表PTE底层每一项指向真实物理页框。CR3寄存器是CPU硬件寄存器保存当前正在运行进程的页目录的物理地址属于进程硬件上下文。进程发生切换的时候操作系统会修改CR3寄存器的值指向新进程的页目录。重点线程切换的时候不会修改CR3寄存器因为多线程共享同一个页目录进程切换必须修改CR3。这就是线程切换开销低的关键根源。CR3寄存器二级页目录、二级页表地址拆分示意图图片内容说明32位虚拟地址32bit拆分101012MMU、CR3页目录、页表、页内偏移虚拟地址翻译完整流程。二级页表的好处不需要一次性分配全部页表。进程没有使用的虚拟地址对应的页表可以根本不创建。比如程序只需要12MB内存仅仅需要3个底层页表而不是完整1024个页表极大节省内存。2.5 32位二级页表完整地址转换全过程32位4KB页面虚拟地址一共32bit做如下拆分高10bit一级页号页目录索引中间10bit二级页号页表索引低12bit页内偏移虚拟页内部的偏移量和物理页偏移完全一致范围0~4095。MMU硬件完成完整地址转换步骤读取CR3寄存器拿到当前进程页目录的物理起始地址。使用虚拟地址高10bit作为索引查询页目录获取对应底层页表的物理地址。使用虚拟地址中间10bit作为索引查询底层页表得到目标物理页框的物理基地址。将物理页框基地址拼接虚拟地址低12位页内偏移得到最终完整物理地址。注意物理页框的起始地址一定是4KB对齐低12bit全部为0。页表项中只需要保存物理页高20位即可剩下bit存放权限位读、写、用户/内核权限。拓展理解写时拷贝、缺页异常、内存申请背后都在操作页表重新建立虚拟地址到物理页框的映射关系。【面试易错辨析】二级页表访问一次内存实际上需要三次内存访问1次访问页目录1次访问页表1次访问真正的数据。如果是四级页表内存访问次数更多。多级页表节省内存但是增加地址转换的时间开销。2.6 MMU硬件单元与TLB快表解决多级页表查询性能问题MMUMemory Manage Unit内存管理单元是CPU内部硬件电路专门负责虚拟地址到物理地址转换同时做内存权限检查。所有用户程序访问内存必须经过MMU转换。多级页表每一次内存访问都要多次读取内存性能很差。于是引入TLBTranslation Lookaside Buffer转译后备缓冲器俗称快表。TLB是CPU内部高速缓存专门缓存「虚拟页号→物理页框」映射条目。完整访问流程CPU发出虚拟地址交给MMU。MMU优先查询TLB缓存TLB‑Hit命中缓存中存在该虚拟页映射直接取出物理页框拼接偏移得到物理地址直接访问内存不需要遍历多级页表速度极快。TLB‑Miss缺失缓存没有该映射。MMU去内存遍历多级页表完成地址翻译同时把这条映射存入TLB缓存供后续访问复用。重点面试考点进程切换修改CR3寄存器TLB整体刷新失效。旧进程全部缓存的映射全部作废新进程访问内存大量TLB‑miss带来很大性能开销。线程切换同一个进程内部线程切换CR3寄存器不改变TLB缓存全部保留有效不需要刷新。这就是线程切换比进程切换快的关键原因之一。补充除TLB之外CPU的L1/L2/L3数据缓存也会在线程切换时部分保留进程切换会大量污染缓存。二者叠加放大进程切换的性能损耗。2.7 缺页异常Page FaultMMU查询页表的时候如果发现页表项present有效位为0虚拟地址没有合法的物理内存映射硬件触发缺页异常Page Fault。CPU从用户态切换到内核态调用内核Page Fault Handler缺页异常处理函数根据不同情况做不同处理。2.7.1 硬缺页 Major Page Fault物理内存中完全没有该页数据需要从磁盘读取数据加载到物理内存。典型场景访问磁盘映射文件、页面被swap交换到磁盘。开销很高涉及磁盘IO毫秒级别会明显拖慢程序性能。2.7.2 软缺页 Minor Page Fault页面的数据已经存在物理内存只是页表还没有建立映射不需要磁盘IO。典型场景malloc分配内存之后第一次访问惰性分配虚拟地址已经分配物理页还没分配第一次访问触发软缺页分配物理页。fork之后写时拷贝父子进程共享物理页发生写操作触发软缺页复制页面。多进程共享内存新进程第一次访问共享区域。开销小只需要内存操作微秒级别。2.7.3 无效缺页 Invalid Page Fault访问的虚拟地址根本不在进程合法虚拟地址区间或者权限不匹配比如只读页面执行写操作。内核直接向进程发送SIGSEGV信号也就是我们熟悉的段错误Segment Fault进程直接终止。【面试高频辨析】缺页异常≠段错误软/硬缺页属于正常机制内核修复之后程序继续运行无效缺页才会触发段错误杀死进程。✨笔记补充重要考点数组越界不一定会崩溃如果越界访问刚好落在进程已经合法映射的虚拟页内操作系统不会捕获只会默默篡改内存产生隐蔽bug。只有访问不在合法虚拟地址区间触发无效缺页才会段错误崩溃。2.8【面试思考拓展】结合malloc、写时拷贝理解缺页很多同学疑惑malloc(10*1024*1024*1024)申请10GB内存返回成功但是top看物理内存占用几乎不上涨这就是Linux的惰性内存分配malloc/new仅仅在虚拟地址空间划分出一块合法虚拟区间不会立刻分配物理内存。只有真正读写这块内存的时候触发缺页异常内核才分配物理页框。写时拷贝COW也是软缺页典型场景fork之后父子进程共享全部物理页页表标记只读。当任意一方修改内存触发软缺页内核复制一份新物理页给修改方。三、线程的优缺点、异常行为以及适用场景3.1 线程的优点创建销毁代价更小创建线程内核只需要新建一个task_struct分配线程私有栈复用进程已经存在的mm_struct、页表、文件描述符等全部资源。创建进程需要完整拷贝写时拷贝虚拟地址空间、页表资源开销远大于线程。线程上下文切换开销远小于进程切换理解上下文切换最大损耗是寄存器保存恢复隐藏损耗是扰乱CPU缓存。进程切换更换页表TLB全部作废线程切换共享虚拟地址TLB不刷新。进程切换保存寄存器修改CR3寄存器切换页目录TLB全部刷新失效CPU缓存大量失效。直接、间接开销都很大。线程切换仅仅切换寄存器上下文栈指针CR3不变虚拟地址空间不变TLB缓存完全保留不需要刷新。切换的直接开销小缓存间接开销几乎没有。注意线程切换同样有开销寄存器保存恢复、内核调度逻辑还是要消耗CPU只是相比进程切换轻量很多。占用系统资源更少线程只需要task_struct 私有栈不需要独立虚拟地址空间内存资源消耗远小于进程。充分利用多CPU多核并行计算多线程可以调度到不同CPU核心真正并行执行把CPU算力充分发挥。进程当然也可以但是进程资源开销更大。计算与IO等待可以互相重叠执行一个线程阻塞等待慢速IO磁盘、网络CPU可以调度其他线程执行计算逻辑不用干等提升整体吞吐。3.2 线程的缺点性能损失如果CPU密集型线程数量远超CPU核心数大量时间消耗在线程调度切换大量上下文抢占反而会降低整体性能增加同步互斥锁开销。健壮性降低线程缺少隔离保护同一个进程的所有线程共享地址空间。一个线程写越界破坏全局堆、全局变量直接影响其他全部线程。进程之间有严格地址空间隔离一个进程崩溃不会干扰其他进程。缺少访问控制粒度进程是操作系统访问控制的基本单位。很多系统调用作用于整个进程比如信号处理、工作目录、用户ID。线程调用部分系统调用会影响全部线程而不是仅仅当前线程。编程、调试难度上升多线程会遇到竞态条件、死锁、数据竞争bug复现随机性很强。gdb调试多线程、定位死锁难度远高于单线程程序引出线程安全的概念。3.3 ⚠️线程异常一个线程崩溃整个进程直接退出【面试高频易错点】很多人误以为子线程崩溃只会杀死自己其他线程继续运行。✅真相只要进程内部任意一条线程发生异常除零错误、野指针访问触发段错误内核发送信号信号是进程级别的整个进程收到信号全部线程一起被销毁退出。原理线程异常触发硬件异常内核生成信号递交给进程。信号处理粒度以进程为单位只要收到致命信号操作系统直接回收整个进程的全部资源进程内所有task_struct所有线程全部销毁。主线程崩溃和子线程崩溃效果完全一致。拓展能不能做到一个线程崩溃其他线程继续跑Linux原生做不到。可以借助子进程、进程隔离方案实现。3.4 线程适用场景深度解析1CPU密集型程序大量做计算CPU满负载。多线程目的是利用多核CPU真正并行运算。线程数量建议约等于CPU核心数。如果线程数量远大于核心CPU花大量时间做线程切换性能反而下降。示例视频编解码、数值计算、模型推理。2IO密集型程序大部分时间阻塞等待网络、磁盘IOCPU经常空闲。IO阻塞的时候线程让出CPU其他线程可以继续工作。线程数量可以远大于CPU核心数量。示例网络服务器同时等待大量客户端socket IO。【面试问答】IO密集型为什么不用多进程多进程资源开销更大进程间通信复杂线程共享地址空间数据交互简单资源开销小。四、进程与线程对比哪些资源共享哪些是线程私有4.1 核心概念回顾进程是资源分配的基本单位线程是CPU调度的基本单位。Linux内核视角进程和线程都是task_struct。区别就是传统进程拥有独立mm_struct虚拟地址空间同一进程的多个线程task_struct指向同一个mm_struct。4.2 线程独占私有资源每个线程自己独有的资源其他线程不可直接使用。私有资源简要说明线程ID内核LWP、用户pthread_tLWP是内核调度标识pthread_t为用户库层ID一组寄存器上下文保存线程运行时CPU寄存器线程切换时保存恢复线程私有栈保存函数局部变量、函数调用栈帧子线程栈由pthread库mmap分配大小默认8M不可动态增长主线程栈由内核管理可以动态扩展errno变量线程局部变量每个线程独立避免多线程相互干扰信号屏蔽字每个线程可以设置自己的信号掩码屏蔽特定信号调度优先级线程独立的调度优先级属性线程局部存储TLSpthread_key创建的线程私有全局数据4.3 所有线程共享的进程级资源同一个进程内全部线程共享这些资源任意线程修改其他线程立刻可见。共享资源简要说明虚拟地址空间mm_struct代码段、全局数据段、堆全部共享可以访问同一个全局变量调用同一个函数文件描述符表open打开的fd全部共享一个线程close(fd)其他线程无法再使用该fd信号处理方式SIG_IGN、SIG_DFL或者自定义信号处理函数进程全局生效当前工作目录cwdchdir修改工作目录全部线程生效用户ID、组IDuid/gid用户身份凭证进程级别内存映射mmap共享库、共享内存映射全部共享4.4【面试辨析】什么叫单线程进程我们写普通C/C程序只有main函数这就是单线程进程。在内核视角进程只有一个task_struct主线程LWPtask_struct绑定mm_struct虚拟地址空间。进程资源容器 唯一执行流。拓展提问思考主线程栈和子线程栈有什么区别主线程栈内核分配进程栈可以动态向下扩展栈越界可以自动扩充超过上限才报段错误。pthread创建出来的子线程栈pthread库调用mmap在共享区申请默认8MB大小固定不能动态增长。栈写满直接栈溢出触发段错误。// 简单示意主线程和子线程栈来源不同 // 主线程栈内核在创建进程时设置 // 子线程栈pthread库内部通过mmap(MAP_ANONYMOUS)申请一块匿名内存作为栈六、全文面试考点总结整理高频面试问题与记忆清单复习快速回顾Linux内核线程本质没有专门内核TCB线程就是LWP轻量级进程复用task_struct多线程共享同一个mm_struct虚拟地址空间。pthread_create底层封装clone系统调用。灵魂面试口述金句资源划分本质就是虚拟地址空间、页表的划分资源共享本质就是虚拟地址、页表条目的共享。虚拟地址就是资源的代表。进程与线程核心定义进程是资源分配的基本单位线程是CPU调度的基本单位。线程切换为什么比进程切换快线程切换不修改CR3寄存器不需要更换页目录TLB不会整体刷新进程切换修改CR3TLB全部失效。线程只切换寄存器上下文进程切换除寄存器还要处理地址空间缓存大量失效间接开销巨大。二级页表、MMU、TLB工作流程32位虚拟地址拆分101012CR3存页目录物理地址TLB缓存虚实映射减少页表遍历次数。TLB‑hit直接转换TLB‑miss遍历多级页表。三类缺页异常区分硬缺页Major需要磁盘IO软缺页Minor内存已有数据仅建立映射无磁盘IOmalloc惰性分配、写时拷贝无效缺页非法访问发送SIGSEGV段错误杀死进程。拓展数组越界不一定崩溃落在合法虚拟页只会篡改内存。线程异常关键点进程内任意线程崩溃整个进程全部退出。信号是进程粒度。线程资源表格记忆哪些私有、哪些共享。子线程栈mmap固定大小主线程栈可动态扩展。pthread库底层Linux内核没有线程系统调用pthread库封装clone1:1模型用户线程对应内核LWPpthread_t是库内地址不等于LWP。适用场景CPU密集线程数≈CPU核心数IO密集线程数可以大于CPU核心。线程过多会带来调度开销性能下降。易错坑点pthread_t用户层ID不等于内核LWP IDmalloc成功不代表分配物理内存惰性分配访问才触发缺页内存越界不一定立刻段错误如果落在合法页只会破坏内存子线程不要调用exit()pthread_exit参数不能传局部栈地址补充面试反问点虚拟内存分页解决的是什么问题外部碎片页表多级分页解决单级页表需要连续内存、内存浪费的问题。对比Windows与Linux线程实现差异。
