简介《华为基本法》完整PDF文档面向企业管理者、创业者与人力资源从业者也适合研究企业文化的学者与求职者阅读参考。文件系统收录了华为公司的核心价值观、企业精神、基本目标、成长领域与价值分配等章节涵盖追求、员工、技术、精神、利益、文化、社会责任等条款原文并展开质量、人力资本、核心技术、利润等基本目标以及公司成长牵引力、成长速度、成长管理与价值创造、知识资本化、价值分配原则等具体论述可作为梳理企业管理体系与组织文化的对照文本。包内共1个PDF文件压缩包约10KB体积轻巧适合手机或电脑随时翻阅、检索与打印。目前已有1955人学习下载便于读者理解华为早期制度设计与文化基因也可作为企业文化培训、管理案例分析的参考底稿。1. 从一份《华为基本法.pdf》说起制度文档为什么要先做结构化不少团队拿到《华为基本法.pdf》这类文件第一反应是丢进全文检索或者直接喂给大模型结果召回出来的段落从中间截断问第几条讲了什么答非所问。问题往往不在模型而在 PDF 里的条款编号、跨页断句、页眉页脚没有被还原成结构。制度汇编型 PDF 通常有几十到几百页、上百条款、多级标题版面是编号 条文的强结构一旦被抽成一大坨纯文本层级信息就丢了检索时命中的是碎片生成时引用不到出处。这篇讲的是怎么把一份制度类 PDF 从字节还原成章节—条款—句子三层结构再落到检索和问答适合正在做内部知识库、合规问答、文档中台的工程师看。2. 解析《华为基本法.pdf》前必须先做的三层判断动手写抽取代码之前先花十分钟确认三件事有没有文本层、版面是单栏还是双栏、正文块和标题块靠什么区分。这三件事决定了后面用哪套工具、要不要上 OCR、切分规则怎么写。跳过这一步直接上大模型做 OCR 或者无脑extract_text()后面返工的成本远高于这十分钟。2.1 用 pdfinfo 与 pdffonts 判断有没有文本层先看文件本身的元信息再看字体嵌入情况。这两个命令是 poppler-utils 提供的装完就能用。# 页数、页面尺寸、是否加密、生成工具 pdfinfo 华为基本法.pdf # 每页字体的嵌入情况判断是原生文本还是扫描图 pdffonts 华为基本法.pdfpdfinfo输出里的Pages是总页数Page size给出页面尺寸通常是 595×842 的 A4Encrypted如果是yes后面所有库都得先处理解密。pdffonts更关键如果输出里列出若干字体、emb列是yes说明这是原生电子文档字体信息完整抽取出来的文字保留字号和粗体标记可以用来判断标题层级。如果pdffonts输出为空或者只有一行Type 3的占位字体基本可以判断是扫描件正文是图片必须走 OCR 分支。注意加密 PDF 分两种一种只限制编辑、不限制读取PyMuPDF 直接能打开另一种设了打开密码需要显式传入password参数别把这两种混为一谈。2.2 用 PyMuPDF 看版面单栏、双栏与条款编号确认有文本层之后下一步是看版面结构。制度类 PDF 常见的坑是双栏排版或者带侧边批注栏如果按默认的阅读顺序抽取左右栏的文字会交织在一起句子读起来是乱的。import fitz # PyMuPDF包名是 fitz doc fitz.open(华为基本法.pdf) page doc[12] # 抽中间一页看首页封面没有代表性 blocks page.get_text(blocks) # 返回 (x0, y0, x1, y1, text, block_no, block_type) for b in blocks: x0, y0, x1, y1, text, no, btype b if btype ! 0: # btype1 是图片块这里先跳过 continue print(f[{no}] x0{x0:6.1f} x1{x1:6.1f} size{x1-x0:6.1f} :: {text[:40]!r})这段代码的关键是看x0的分布。把整页正文块的x0打印出来如果它们集中在很窄的一段区间比如都在 70 到 90 之间说明是单栏如果明显分成两簇、间距接近页面宽度的一半就是双栏。再看x1 - x0也就是块宽度标题块通常比正文块短正文块宽度接近版心宽度。观察到的特征说明对应处理策略所有正文块 x0 集中在一个窄区间单栏正文按 y 坐标升序直接拼接x0 明显分成两簇间距约半页宽双栏排版先按 x 坐标分列各列内部再按 y 排序某块宽度显著小于正文块且 y 靠上疑似标题结合字号、粗体标记判断层级每页顶部或底部有短块且跨页重复页眉/页脚按跨页重复度过滤掉块内文字长度为 0 或只有几个字符扫描图或图形走 OCR 分支或直接跳过2.3 扫描件与文本件的分流按单位面积字符数判断一份几百页的文件里经常是前几页正文有文本层、中间夹了几页扫描的附件。逐页判断比整本判断更稳妥判据用单位面积字符密度。import fitz doc fitz.open(华为基本法.pdf) stats [] for i, page in enumerate(doc): text page.get_text(text) area page.rect.width * page.rect.height # 页面面积单位是点 density len(text) / area # 每平方点的字符数 stats.append((i 1, len(text), round(density, 5))) # 经验阈值 0.005低于这个密度基本可判定为无文本层的扫描页 low [s for s in stats if s[2] 0.005] print(f疑似扫描页 {len(low)} / {len(stats)}页码{[s[0] for s in low][:20]})阈值 0.005 是这么来的A4 页面约 50 万平方点一页正常排版的正文有 800 到 1200 个字符密度在 0.0016 到 0.0024 之间看起来比 0.005 还低——所以更准确的做法是先跑一遍全部页面把所有页的密度排序取中位数的一半作为自适应阈值避免不同字号排版导致固定阈值失效。上面代码里的 0.005 适合先做粗筛把明显异常的页挑出来人工确认。确认是扫描页之后再单独走 OCR不要整本重跑OCR 的时间和成本远高于文本抽取。3. 把《华为基本法.pdf》抽成可检索文本工具选型与代码判断做完进入抽取环节。工具选型上我的习惯是需要坐标、字号、粗体这类版面信息时用 PyMuPDF需要处理跨行段落和简单表格时用 pdfplumber 补一刀。两个库不冲突前者负责结构化后者负责把被硬换行拆散的句子拼回去。3.1 PyMuPDF 的 dict 模式保留字号与坐标get_text(blocks)只给到块级别标题和正文混在一个块里的情况很常见。要拿到行级别的字号和样式得用dict模式。import fitz, json doc fitz.open(华为基本法.pdf) records [] for pno, page in enumerate(doc): d page.get_text(dict) for blk in d[blocks]: if blk.get(type) ! 0: # 只要文本块 continue for line in blk[lines]: text .join(span[text] for span in line[spans]) if not text.strip(): continue sizes [span[size] for span in line[spans]] flags [span[flags] for span in line[spans]] records.append({ page: pno 1, y: round(line[bbox][1], 1), size: round(sum(sizes) / len(sizes), 1), bold: any(f 16 for f in flags), # flags 的 bit 4 表示粗体 text: text, }) with open(lines.jsonl, w, encodingutf-8) as f: for r in records: f.write(json.dumps(r, ensure_asciiFalse) \n)span[size]是字号单位是点span[flags]是位掩码bit 4值 16代表粗体bit 1值 2代表斜体这两个标记判断标题很管用。输出成 JSONL 而不是一次性 pickle是为了后面调切分规则时不用重新解析 PDF直接读这个中间文件就行几百页的解析大概要几十秒反复跑很浪费时间。拿到行记录后用字号做一次聚类把出现频次最高的字号定为正文字号比它大 1 到 3 点的归为二级标题大 4 点以上的归为一级标题。这个规则不完美但比按短行就是标题靠谱得多。3.2 pdfplumber 处理跨行断句与简单表格PDF 里的段落是按视觉行存储的一个自然段可能被拆成五六行每行末尾没有标点。pdfplumber 的行合并逻辑比 PyMuPDF 稍好一些用它来还原段落。import pdfplumber with pdfplumber.open(华为基本法.pdf) as pdf: page pdf.pages[20] text page.extract_text( layoutFalse, x_tolerance2, # 字符水平间距超过 2 点判定为词间空格 y_tolerance3, # 垂直间距超过 3 点判定为换行 ) print(text[:500])x_tolerance调大会把原本分开的词粘在一起中文场景下一般设 1 到 3 之间y_tolerance调大会把上下两行合并成一行设太大会把标题和正文粘起来。中文文档里这两个值都偏小更安全因为汉字之间本来就不需要空格分隔。3.3 清洗规则页眉页脚、硬换行、全半角抽取完的原始行里噪音主要来自三处跨页重复的页眉页脚、被硬换行拆散的段落、全角半角混用。按顺序处理。import re from collections import Counter def detect_repeats(pages_lines, top_n2, min_ratio0.5): 跨页重复度识别页眉页脚把行里的数字替换成占位符再统计。 counter Counter() for lines in pages_lines: for ln in lines[:top_n] lines[-top_n:]: key re.sub(r\d, #, ln.strip()) if key: counter[key] 1 total len(pages_lines) return {k for k, c in counter.items() if c / total min_ratio} SENT_END 。”』】 def merge_wrapped(lines): 把硬换行造成的断句合并回自然段。 out [] for ln in lines: ln ln.strip() if not ln: continue # 上一行没以句末标点结尾且当前行不是新条款开头则合并 if out and out[-1][-1] not in SENT_END and not re.match(r^第[一二三四五六七八九十百零〇\d]条, ln): out[-1] ln else: out.append(ln) return outmin_ratio0.5表示某行在超过一半的页面顶部或底部出现就判定为页眉页脚。merge_wrapped里那条不以句末标点结尾就合并的规则配合新条款开头不合并的例外能覆盖九成以上的段落还原场景。第X条的正则里同时包含中文数字和阿拉伯数字因为同一份文件里两种写法可能混用。全半角统一用unicodedata.normalize(NFKC, text)它会把全角字母和数字转成半角中文标点会保留原样符合制度文本的阅读习惯。别用str.replace一个个换容易漏。3.4 按「第X条」切成条款级 chunk切分粒度上固定长度的 512 token 切法在制度文本上效果很差因为一句话可能横跨两个 chunk检索时谁都不完整。制度检索的提问粒度通常是某条怎么规定条款本身就是天然的语义单元。import re CLAUSE re.compile(r^第([一二三四五六七八九十百零〇\d])条) def split_clauses(lines, doc_iddoc): chunks, cur [], None for ln in lines: m CLAUSE.match(ln) if m: if cur: chunks.append(cur) cur {doc_id: doc_id, clause_no: m.group(1), text: ln} elif cur: cur[text] \n ln if cur: chunks.append(cur) return chunks切完之后每一步都记下clause_no这是后面做引用溯源的锚点。对于超过 800 字的超长条款再按句号做二次切分并在每个子块的text前面拼上条款号作为上下文前缀比如第X条续...避免子块脱离父条款后语义不明。章节标题路径也可以一并拼进 chunk 头部检索时更容易命中关于考核的章节这类问法。4. 《华为基本法.pdf》的检索与问答怎么落地结构化的 chunk 有了接下来是检索层。制度类文档的检索有个特点用户既会问概念性的问题公司对员工的基本要求是什么也会问精确的条款定位考核周期是多久。前者适合向量检索后者适合关键词检索两路都要有。4.1 中文分词与 BM25 索引关键词检索的基线是 BM25中文得先分词。制度文本里专有名词多通用词典容易切错加自定义词典能明显提升效果。import jieba from rank_bm25 import BM25Okapi # 把文件里反复出现的专有名词加进去避免被切碎 for term in [任职资格, 绩效考核, 基本法, 组织架构]: jieba.add_word(term, freq2000) def tokenize(text): return [t for t in jieba.lcut(text) if len(t.strip()) 1] corpus [tokenize(c[text]) for c in chunks] bm25 BM25Okapi(corpus, k11.5, b0.75) query 绩效考核的周期是多久 scores bm25.get_scores(tokenize(query)) top sorted(range(len(scores)), keylambda i: -scores[i])[:5] for i in top: print(chunks[i][clause_no], chunks[i][text][:60])k11.5控制词频饱和度值越大同一个词出现多次带来的增益越明显制度文本里重复词少1.2 到 1.5 之间比较合适。b0.75是长度归一化系数0 表示完全不考虑文档长度1 表示完全归一化制度文本的条款长度差异大用 0.75 是常见的折中值。如果发现长条款总是被压在短条款后面可以往 0.5 调。4.2 混合检索用 RRF 把两路召回融合向量检索和 BM25 各跑一路然后用 Reciprocal Rank Fusion 融合名次。RRF 的好处是不需要把两边的分数归一化到同一量纲直接看排名。def rrf_fuse(rank_lists, k60): rank_lists 是多个有序的 chunk id 列表按各自的名次融合成总分。 fused {} for ranks in rank_lists: for pos, doc_id in enumerate(ranks, start1): fused[doc_id] fused.get(doc_id, 0.0) 1.0 / (k pos) return sorted(fused.items(), keylambda x: -x[1])k60是 RRF 论文里的经典取值作用是压平头部名次的差距第 1 名拿 1/61第 2 名拿 1/62差距不大避免某一路的排名第一直接决定最终结果。如果发现召回结果被向量路主导把 k 调小到 20 左右头部名次的权重会更突出。实际跑的时候BM25 取前 50向量取前 50融合后取前 8 进生成。这个 50/50/8 的组合在几百到几千 chunk 的规模下比较稳。4.3 引用溯源回答里必须带条款号生成环节最容易出的问题是模型自由发挥把相近但不相同的条款内容混在一起。解决办法是在 prompt 里明确约束输出格式并且把条款号一起塞进去。PROMPT 只依据下面的条款材料回答问题。 每条结论后面用 [第X条] 标注来源。 材料里没有的内容直接回答文档未涉及不要推测。 {context} 问题{question} context的拼法有讲究每段前面加一行[第X条]段落之间空一行。这样模型在生成时有明确的锚点可以引用。要求文档未涉及这句话看起来简单但能挡掉相当一部分幻觉——如果不给这个退路模型面对没覆盖的问题时倾向于拿最相近的条款硬答。返回给前端时把[第X条]映射回原文页码和坐标用户点一下就能跳到 PDF 对应位置这个体验比只给一段文字好得多。5. 用抽查集验证《华为基本法.pdf》的解析与召回质量跑通不等于跑对。验证要从解析和检索两层分别看混在一起看指标很容易误判。5.1 造一个三十条的小抽查集从文档里人工挑 30 条每条记下三种信息条款号、这条里的一个精确关键词比如某个数字或专有名词、一个自然语言问法。第二列用来验证解析有没有丢字第三列用来验证召回。cases [ {clause: 二十三, anchor: 考核周期, question: 考核多久做一次}, {clause: 四十七, anchor: 任职资格, question: 任职资格怎么评定}, ]5.2 三个必须看的指标指标计算方式参考及格线解析完整率anchor 关键词能命中对应条款的比例98% 以上条款召回率top8 里包含正确条款的比例85% 以上引用准确率回答里引用的条款号确实支撑该结论的比例90% 以上解析完整率不到 98%先去查是不是扫描页漏了 OCR或者断行合并把关键词切开了。条款召回率低但解析完整率高问题在切分或索引检查条款是不是被切碎成多个 chunk、上下文前缀有没有加上。引用准确率低基本是 prompt 约束不够或者 top8 里混进了语义相近的干扰条款把 top8 收到 top5 试试。5.3 条款号对不上时先查什么最常见的故障是检索出来的条款号和用户看到的 PDF 页码对不上八成是分栏顺序搞反了。回退到 2.2 那步把某一页所有块的 x0 和 y0 打出来确认列的划分是不是按 x 坐标做的、列内排序是不是按 y。如果页面里有跨栏的表格或通栏标题规则要再加一条宽度超过版心 80% 的块先单独提出来不参与分栏排序。另一个高频问题是条款号被页眉吃掉。有些排版把第X条放在页面顶部当书眉正文从下一行开始。这种情况在detect_repeats之后发现条款号正则匹配到的行数远少于实际条款数就把匹配范围从行首扩展到整个块文本用re.search而不是re.match。本文还有配套的精品资源点击获取
