简介《2021年世界投资报告》是联合国贸易和发展会议发布的年度旗舰研究面向关注全球资本流动的投资者、政策制定者与学术研究者旨在解析后疫情时代全球投资格局及可持续复苏路径。该资源为单份PDF文件大小约13.21MB已有130人浏览学习。报告系统梳理了全球外商直接投资的波动趋势、不同经济体的地域分化以及数字化、清洁技术等关键领域的投资流向着重评估了与可持续发展目标相关的投资缺口尤其在健康、教育、清洁能源和基础设施方面。报告预测若全球经济持续复苏外商直接投资有望逐步回升但节奏受疫苗推广、政策刺激效果、企业信心及国际合作等因素制约。全篇强调政策制定者应引导绿色、包容性投资并推动跨国公司践行环境、社会和治理原则为把握国际资本动态、优化投资策略提供了扎实的数据支撑与前瞻性判断。1. 一份全球投资报告PDF技术人该从哪里下手一份跨年度发布的投资报告PDF对业务分析师来说是阅读材料对工程师则是一道文档结构化题目。这份报告的特点是表格体量大、跨页频繁、合并单元格多、表头有三层以上直接复制粘贴进Excel会错行漏列用在线转换工具又常把页眉脚注混进数据。常见的做法是把它看成“数据库物理模型”——先识别排版规律再分别抽正文和表格最后用总量校验把数据捞干净。这篇文章就围绕这份PDF走完这套流程工具选型、环境搭建、正文与表格拆分、数字清洗、跨表对齐、总量勾稽和最终导出。目标不是让你逐页读报告而是把一整个报告变成可查询的数据集。2. PDF解析工具选型与处理环境准备2.1 解析工具不是越多越好先判断版式再选主工具拿到这份报告PDF第一件事不是pip install全家桶而是打开PDF确认它属于哪种版式。国际组织发布的年度报告多数是数字生成型文字层可选、表格带边框、字号字体统一。但也有例外比如某些附录图表被转成了图片或者表格用背景色块代替边线。版式判断直接决定工具怎么选选错工具会在清洗阶段浪费大量时间。工具适合场景弱项推荐度pdfplumber规则正文、带线表格、需要细粒度坐标控制速度中等超大PDF耗内存首选Camelotlattice有清晰竖线横线的表格无线表靠“stream”模式识别率不稳备选Tabula快速出CSV不纠结样式对合并单元格还原差快速预览用PyMuPDFfitz批量取文本、做页面缩略图表格结构要自己算坐标辅助用我一般以 pdfplumber 为单一主工具只有在它extract_tables出现明显行列错位时才会拿 Camelot 的 lattice 模式做对照。理由很直接pdfplumber 返回的是嵌套列表每个单元格带坐标和文本便于回查而 Camelot 的 lattice 虽然对有线表格还原更规整但对这份报告里“跨页断表”的处理并不比 pdfplumber 好多少。mkdir -p wdr2021/{pdf,output,logs} python -m venv wdr2021/venv source wdr2021/venv/bin/activate pip install pdfplumber0.10.3 pandas2.0.3 camelot-py[base]0.11.0 PyMuPDF1.23.8PDF 文件名含中文建议在处理前先改名或统一转码为wdr2021.pdf。上面的命令把项目目录、虚拟环境和依赖一次建好。其中pdfplumber负责文本与表格抽取pandas做后续清洗camelot-py作为表格还原的备选PyMuPDF用来快速扫描页面尺寸和文本密度。注意camelot-py在 Python 3.10 以下装起来更顺若你的环境是 3.11建议直接用pdfplumber顶上避免 ghostscript 版本冲突。2.2 先做页级体检掌握 PDF 的物理结构环境装好后不要马上抽全表。先用一段小程序打印页面尺寸、页数、文本块数量判断整体复杂度。import fitz doc fitz.open(wdr2021.pdf) print(总页数:, doc.page_count) for i in range(0, min(10, doc.page_count)): page doc[i] blocks page.get_text(blocks) total_words sum(len(b[4].split()) for b in blocks) print(f第 {i1} 页 尺寸{round(page.rect.width)}x{round(page.rect.height)} f文本块{len(blocks)} 词数{total_words}) doc.close()跑完你会看到两种典型页面正文页词数在 300 到 600 之间表格页词数可能超过 800但文本块数量反而少——这说明表格被解析成了整块文本。这类页面就是我们后续要重点处理的。先做这一步能在后面抽数时快速定位表格页索引不用每次重新打开 PDF 翻页。3. 用 Python 将报告 PDF 正文与表格拆成结构数据3.1 正文区域提取设置 x_tolerance 与 y_tolerance 的边界对报告正文常见误区是把extract_text()当普通文本复制粘贴用结果就是段落在中间断开、短语顺序错乱。根本原因是 PDF 的文本对象是按坐标输出的官方文本顺序不等于屏幕阅读顺序。设置两个容差参数能显著改善import pdfplumber with pdfplumber.open(wdr2021.pdf) as pdf: sample pdf.pages[8] text sample.extract_text( x_tolerance2.0, y_tolerance3.5, use_text_flowFalse, layoutTrue ) print(text[:600])x_tolerance2.0表示同一行内两个字符的 x 坐标差小于 2 磅就视为同一个词这个值过小会把“投资 报告”拆成两个词过大又会把“2021”和“年”粘在一起。y_tolerance3.5控制纵向容差允许同一行的文字在基线有轻微浮动。layoutTrue会保留原始换行位置这对段落识别很重要。正文抽取后我建议把每个章节按页码标记单独落盘with pdfplumber.open(wdr2021.pdf) as pdf: for i, page in enumerate(pdf.pages[14:34], start14): t page.extract_text(x_tolerance2.0, y_tolerance3.5, layoutTrue) with open(foutput/chapter_p{i1:03d}.txt, w, encodingutf-8) as f: f.write(t or )这里只提取了第 15 到 34 页属于前言与综述部分。每页存成一个文件的事后好处是如果后续发现某页抽取异常只需重新处理单页不必跑完整本 PDF。注意extract_text返回None时要兜底为空字符串避免write()直接报错。3.2 报告表格抽取用 vertical_strategy 和 horizontal_strategy 描线还原正文处理完后表格才是重头戏。用 pdfplumber 的extract_tables时最重要的不是写循环而是定好四个参数vertical_strategy、horizontal_strategy、snap_tolerance、join_tolerance。对这份报告里带边框的统计表最稳的是lines策略with pdfplumber.open(wdr2021.pdf) as pdf: page pdf.pages[36] tables page.extract_tables({ vertical_strategy: lines, horizontal_strategy: lines, snap_tolerance: 2, join_tolerance: 3, text_x_tolerance: 1.5, text_y_tolerance: 1.5, }) print(f检测到 {len(tables)} 张表) for t in tables: for row in t[:5]: print(row)vertical_strategylines强制只依据页面里画出的竖线来切列snap_tolerance2允许线边缘 2 磅内的误差被吸附到同一条线上。join_tolerance3处理画线断裂——报告中时常有两条短竖线本该接在一起却留有缝隙的情况这个参数把它俩连成一条。用lines策略的前提是表格确实有边线若抽出来行列全是None说明这份 PDF 里表格用的是背景底色而不是描边此时把策略换成text更合适。tables page.extract_tables({ vertical_strategy: text, horizontal_strategy: lines, snap_tolerance: 4, join_tolerance: 4, })text策略会按文字的 x 坐标聚合成列对无线表有效但对多层级表头极容易把年份和指标列混在一起。因此我建议先用lines试一遍抽出的表格中None比例大于 15% 再切换到text。不要一开始就上text那是给扫描版材料用的。3.3 跨页断表拼接按列索引接合不按行数报告中的大表常常跨页典型规律是“上一页最后几行 下一页表头重复出现 数据行继续”。直接按页追加行会把重复表头当成数据。常见做法是检测“表头指纹”来切掉重复表头。import pdfplumber HEADER_FINGERPRINT [经济体, 2020, 2019] # 按实际表头修改 with pdfplumber.open(wdr2021.pdf) as pdf: pages_range range(36, 42) full_rows [] current_header_buffer [] for idx in pages_range: tables pdf.pages[idx].extract_tables({ vertical_strategy: lines, horizontal_strategy: lines, snap_tolerance: 2, join_tolerance: 3, }) for table in tables: for row in table: first_three [c.strip() if c else for c in row[:3]] is_header all( fp and fp in |.join(first_three) for fp in HEADER_FINGERPRINT ) if is_header: current_header_buffer row continue full_rows.append(row)逻辑说明HEADER_FINGERPRINT是表头里固定出现的文本片段比如“经济体”“2020”。每当遇到一行与这个模式匹配就认为表头结束后续行为数据。这样做的好处是即使跨页时表头占了两行continue也会把它们全部跳过。至于表头本身只要保存最后一版就可以用于列名。但这个方案有个前提年份列数字不能和表头“2020”撞车。实际处理时建议在匹配前先判断该行是否为表头——比较稳妥的办法是同时检查行内是否有“占全角空格”或“列名重复”等特征。如果你的表格年份列是 2021、2022而表头指纹只写“经济体”和“变化率”就能避开这个坑。4. 报告数据清洗与跨表对齐4.1 数字字段规范化千分位、括号负数、全角符号一步处理表格抽出来后所有数字都是字符串而且来源五花八门1,234.5、234、-、.. 、n/a。不统一处理pandas 转类型时会直接抛异常。整理一个清洗函数把所有非数值模式都归到一个函数里import pandas as pd import re def clean_number(value): if value is None: return None s str(value).strip() if s in (, -, —, .., n/a, N/A, …): return None s s.replace(,, ).replace( , ) s s.replace(, ().replace(, )) s s.replace(−, -).replace(–, -) s re.sub(r[^\d.\-()], , s) if s.startswith(() and s.endswith()): s - s.strip(()) if s in (, ., -): return None try: return float(s) except ValueError: return None df[fdi_2020] df[fdi_2020].apply(clean_number) df[fdi_2019] df[fdi_2019].apply(clean_number)清洗函数的逻辑分四步先处理空值和占位符再统一括号为半角接着把全角短横线转成 ASCII 的Kana负号最后套一层float()转换。括号负数的处理放在最后是为了避免re.sub把括号提前删掉。检查输出时会发现报告中部分数值如0.0或0会正常保留为0.0不会误删。4.2 合并单元格还原向前填充与层级列展开PDF 表格里合并单元格很常见。pdfplumber 抽出来的结果是被合并的区域只有第一行有文本后续行为None。如果直接 dropna等于扔掉有效记录。df[region] df[region].ffill() df[industry] df[industry].ffill()ffill()会将上一条非空值向下填充适用于纵向合并。但层级表头不能只靠 ffill 解决需要把多层表头拆成多个字段。比如表头结构是“2020 年 / 发达经济体”共存于同一列读取时应做一次坐标判断df[year] df.apply( lambda r: r[year] if pd.notna(r[year]) else r[header_level_1], axis1 ) df[economy_group] df[economy_group].fillna(df[header_level_2])这里header_level_1和header_level_2是从表格前两行表头中提取出来的辅助列。处理完后再把它们删掉。重点提示务必在执行ffill()前确认表格行顺序没有被打乱否则填充的就是错误分组。前面做跨页断表拼接时full_rows的顺序就是页内顺序跨页后没有重排所以安全。4.3 多表数据对齐用区域年份构造复合主键报告中有多张表如“分区域 FDI 流量”和“分行业 FDI 存量”。要把它们 JOIN 起来不能只靠国家名因为不同表里的国家名写法有差异有的写“中国”有的写“China”有的带注释标记。def normalize_country(name): if name is None: return None s str(name).strip() s re.sub(r[.*#\d], , s) # 去掉注释符号 s s.replace(中国, China).replace(美国, United States) s s.lower().strip() return s df_flow[country_key] df_flow[country].apply(normalize_country) df_stock[country_key] df_stock[country].apply(normalize_country) merged pd.merge( df_flow, df_stock, on[country_key, year], howouter, suffixes(_flow, _stock) )normalize_country把国家和地区名转成小写统一键。suffixes参数区分两张表里都有的数值列避免合并后列名冲突。howouter保留所有国家记录即使某年在某张表缺失也能看到。做完这一步直接对合并结果做info()检查发现_flow或_stock为全空的行就是对不上的国家名需要回到原 PDF 核对拼写。5. 用报告总量勾稽与数据库导出做最终校验5.1 行合计与总量勾稽一条 assert 挡住手滑数据清洗完成后验证数据最有效的方式是“总量勾稽”——拿报告正文里给出的总数来和表格分项求和做对比。报告里通常会在某章给出全口径总量比如全球 FDI 总额而分区域表里的各区域之和应当与该总量一致。total_world df[df[economy] 世界][fdi_2020].iloc[0] sum_regions df[df[economy].isin([发达经济体, 发展中经济体, 转型经济体])][fdi_2020].sum() assert abs(total_world - sum_regions) 0.5, (total_world, sum_regions) print(f勾稽通过全球{total_world}分项和{sum_regions:.2f})0.5是可容忍误差因为 PDF 中分项数据四舍五入到百万美元分项求和后可能出现个位数的舍入差。如果assert报错优先怀疑两点一是区域名称在 PDF 中有全角空格isin没匹配上二是某些小项归属在“其他”类别里没进任何区域分组。此时把economy列去重打印出来核对命名。5.2 导出为 CSV 与 SQLite让数据可被外部工具消费最后一步是把清洗后的数据导出。CSV 给业务同事SQLite 留给自己做 SQL 查询。导出时有几个细节容易翻车中文列名引号问题、浮点精度问题、NaN被写成空字符串。merged.to_csv(output/wdr2021_final.csv, indexFalse, encodingutf-8-sig) merged.to_sql(investment_data, sqlite3.connect(output/wdr2021.db), if_existsreplace, indexFalse)utf-8-sig是我在南方的数据团队同事一致要求的编码他们用 Excel 打开乱码就会来找我加了 BOM 头就永远不会。to_sql会把NaN自动写成NULL对后续GROUP BY很友好。导出后再做一次反向检查import sqlite3 conn sqlite3.connect(output/wdr2021.db) cur conn.cursor() cur.execute(SELECT COUNT(*), COUNT(DISTINCT country_key) FROM investment_data) print(总行数:, cur.fetchone()) conn.close()这是最便宜的“数据没白抽”的验证方式。只要行数和去重国家数在预期范围这份报告 PDF 就已经从不可搜索的文档变成了可联查的数据源。后续无论是做趋势图表还是给同事提供接口都是从这张表出发而不是再次打开那个 PDF。本文还有配套的精品资源点击获取
