OpenMed 实验室检验表格提取实战从 PDF/扫描件/CSV 到结构化行与 PHI 安全脱敏【免费下载链接】openmedLocal-first healthcare AI: clinical NER HIPAA PII de-identification that runs 100% on-device. 2,200 medical models, 21 languages, Apple MLX Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmed实验室检验结果通常以表格形式呈现一列检验名称、一列数值、一列单位、一列参考范围再加上一个异常标志H / L / Crit。要把这些内容用于下游系统必须先从 PDF、扫描件或电子表格中把这张网格恢复成干净的行——再用LOINC编码检验项目、用UCUM规范化单位、对异常值打标。OpenMed 将这一摄入环节封装为extracting-lab-tables技能在设备端用openmed.multimodal完成 OCR/解析对嵌入的 PHI 进行脱敏并输出结构化行作为后续parsing-lab-valuesLOINC/UCUM 编码与低/正常/高/危急标志判定的上游输入。读完本文你将掌握 OpenMed 表格式实验室报告摄入的完整链路OCR 引擎选择与语言映射、bbox 网格重建、CSV/TSV 列分类与脱敏、以及输出行到 FHIR Observation 的交接方式。什么时候使用这个技能你拿到的是扫描图 / 照片 / PDF 页面形式的检验报告需要把整个检验面板变成行数据而不是像素。来源是CSV/TSV 导出文件需要自动分类各列哪一列是数值、单位、范围、标志并脱敏 PHI 列。你需要机器可读的行数据用于后续 LOINC 映射和构造 FHIRObservation/DiagnosticReport。该技能定位为摄入intake步骤在设备端完成表格的 OCR/解析、对嵌入 PHI 脱敏输出结构化行。它与 OpenMed 的临床辅助功能配对使用——LOINC/UCUM 编码与高低/危急标志判定属于下游步骤见 skills/parsing-lab-values/SKILL.md。表格的五要素提取的目标网格无论来源是图像还是分隔文本最终要恢复的都是同一张逻辑网格要素示例说明检验名称test nameHemoglobin后续映射为 LOINC 代码数值value9.1数值本身与单位绑定单位unitg/dL用 UCUM 规范化参考范围reference range12.0-15.5供下游异常标志判定异常标志flagL / H / Crit可来自实验室也可由下游推导extracting-lab-tables的目标就是把这张网格恢复成{test, value, unit, ref_range, flag}结构先完成 PHI 脱敏再把行交给 LOINC/UCUM 编码与异常标志判定。OpenMed 提供的摄入原语openmed.multimodal模块内置了全部摄入原语并且在导入时不加载任何重型依赖——OCR 后端是懒加载的模块头部注释明确说明了这一设计见 openmed/multimodal/ocr.py。核心 API 包括openmed.multimodal.ocr.ocr(image, engine...)→ 返回OcrResult其.words是OcrWord(text, bbox, confidence, page).text是所有词拼接后的字符串。OcrResult.to_document()把每个词连同像素级 bbox桥接成ExtractedDocument从而让检测到的 PHI 能投影回源图位置。read_table(...)→ 返回TableView含headers、rows、delimiter、has_header、columns面向分隔文本classify_columns(...)为每一列打标签redact_table(...)→ 返回带 PHI 安全manifest的RedactedTable。以上公开 API 全部从 openmed/multimodal/init.py 统一导出可直接from openmed.multimodal import read_table, classify_columns, redact_table。OCR 引擎懒加载、可插拔、自动选择ocr()支持多后端实现在 openmed/multimodal/ocr.pyTesseractpip install openmed[multimodal] 系统二进制如apt-get install tesseract-ocr或brew install tesseract。PaddleOCRpip install openmed[ocr-paddle]。此外还有 docTRpip install openmed[multimodal]与 EasyOCR 两个适配器。引擎采用注册表机制_ENGINES字典 register_ocr_engine未显式指定时按_AUTO_ORDER (doctr, tesseract, easyocr, paddleocr)自动选择第一个已安装的后端openmed/multimodal/ocr.py。如果没有任何后端ocr()会抛出清晰的MissingDependencyError错误信息中带安装指引。语言方面ocr(..., languages[...])使用 OpenMed PII 语言码en, fr, de, it, es, nl, hi, te, pt, ar, ja, tr共 12 种由tesseract_language()/paddle_language()/easyocr_languages()分别映射为各后端标识符如 Tesseract 的engfra、PaddleOCR 的japan见 openmed/multimodal/ocr.py。注意语言数据本身不随包分发Tesseract 需要对应的traineddata文件PaddleOCR/EasyOCR 首次使用时下载识别模型。快速开始完整的最小示例对应 skills/extracting-lab-tables/SKILL.md 的 Quick start并补充了参数细节from openmed.multimodal.ocr import ocr from openmed.multimodal import read_table, classify_columns, redact_table # A) 扫描 / 图像形式的检验报告 - 带像素坐标的词。 result ocr(cbc_report.png) # OcrResult for w in result.words[:5]: print(repr(w.text), w.bbox, round(w.confidence, 2), p, w.page) doc result.to_document() # ExtractedDocument保留 bbox # 后续可将 doc 交给 openmed.deidentify / redact_document # 让检测到的 PHI 通过 SourceSpan 映射回图像像素位置。 # B) 分隔文本形式的检验导出CSV/TSV- 分类 PHI 脱敏后的行。 csv_text ( PatientName,Test,Value,Unit,RefRange,Flag\n Jane Roe,Hemoglobin,9.1,g/dL,12.0-15.5,L\n Jane Roe,Glucose,148,mg/dL,70-99,H\n ) view read_table(csv_text) # TableView自动嗅探分隔符与表头 view classify_columns(view) # 标记 PHI 列 vs 数据列 redacted redact_table(view) # RedactedTablePatientName 被脱敏 for row in redacted.rows: print(row) # 姓名列被掩码检验数据保持不变 for col in redacted.manifest: # PHI 安全的逐列审计 manifest print(col[column_name], col[assigned_class], col[action])对于 OCR 出的图像表格网格需要你根据词框自行重建见下一节——OCR 输出的是带坐标的词而不是一张分隔好的表。工作流从原始文档到结构化行判断来源类型。CSV/TSV →read_table。图像/扫描件 →ocr()。PDF/DOCX不可直接解析会抛出UnsupportedDocumentError见 openmed/multimodal/exceptions.py先把 PDF 页面栅格化为图片或抽取其文本层再做 OCR。带坐标地 OCR。ocr()返回携带bbox和page的OcrWord。务必保留坐标框——它们既能用于把词聚类成行/列也能把 PHI 脱敏结果投影回像素。重建网格。按词的bbox的y坐标聚类成行、按x坐标聚类成列。表头行命名各列再把表体单元格对齐到这些 x 区间。OcrWord.confidence用于标出置信度低的单元格供人工复核。识别检验列。把表头映射为角色检验名称、数值、单位、参考范围、标志。对于分隔文本输入classify_columns会标记 PHI 列姓名/MRN/出生日期redact_table据此掩码。脱敏嵌入的 PHI。患者姓名/MRN 常出现在表头或首列。用redact_table脱敏这些列并在行离开设备前把自由文本单元格交给openmed.deidentify处理。输出结构化行{test, value, unit, ref_range, flag}交给 LOINC/UCUM 编码与parsing-lab-values。从词框重建表格网格OCR 路径OCR 路径与分隔文本路径的本质区别在于图像 OCR 没有天然的行/列边界OcrResult只给你一个平面词列表。重建的典型策略是行聚类取每个OcrWord.bbox的中心 y 坐标按模板相关的容差归并为行带跨行单元格、折行的检验名称会破坏简单的 y 分桶需要按模板调整容差。列对齐用表头行词的 x 坐标建立列区间x bands再把表体词按 x 归属到对应列。置信度门控对每个单元格取所属词的confidence低分单元格路由到人工复核见「边缘情况」。如果你需要更结构化的阅读顺序OcrResult.to_layout()可以把带坐标的词交给布局模块重建版式感知的阅读顺序openmed/multimodal/ocr.pyto_document(preserve_linesTrue)还能在元数据携带原生行标识时精确保留引擎输出的换行边界openmed/multimodal/ocr.py。CSV/TSV 路径的列分类与脱敏机制分隔文本路径把列作为策略单元实现集中在 openmed/multimodal/tabular_csv.py。read_table会先做分隔符嗅探逗号/制表符可用delimiter覆盖、表头嗅探csv.Sniffer 内置表头启发式可用has_header覆盖再逐列分类。分类逻辑表头 值采样双通道每一列的分类决策ColumnDecision按以下优先级产生openmed/multimodal/tabular_csv.py表头匹配内置_HEADER_LABELS映射覆盖了大量常见表头name/fullname/patient→ PERSONmrn/patientid→ ID_NUMdob/dateofbirth→ DATE_OF_BIRTHssn→ SSNemail/phone/address等表头键会先做去非字母数字、小写归一化。你可以通过header_heuristics参数补充自定义表头 - 规范标签映射。值采样回退表头匹配不到时对每列采样最多sample_size默认 50个非空单元格值用正则匹配SSN\d{3}-\d{2}-\d{4}、邮箱、电话、MRN、日期、人名模式见 openmed/multimodal/tabular_csv.py判定标签命中比例需达到阈值人名 0.8其余 0.6。默认安全都匹配不到时归为SAFE若表头属于注释类键note/comment/free text 等则按free_text_redact处理。分类结果与六种动作列最终落入三类之一DIRECT_ID/QUASI_ID/SAFE来自openmed.core.labels的标签元数据并映射为六种可执行动作之一openmed/multimodal/tabular_csv.py动作常量适用行为丢弃ACTION_DROP直接标识符整列从输出中移除哈希ACTION_HASHID_NUM / ACCOUNT_NUMBER / USERNAME单元格被哈希保留记录关联掩码ACTION_MASKDIRECT_ID / QUASI_ID 默认单元格内容被掩码日期平移ACTION_DATE_SHIFTDATE 列准标识符日期确定性平移自由文本脱敏ACTION_FREE_TEXT_REDACTnote/comment 等调用openmed.core.pii.deidentify或你传入的text_redactor保留ACTION_KEEPSAFE 数据列原样保留默认动作规则在_default_action()中定义openmed/multimodal/tabular_csv.py日期列平移、ID 类列哈希、直接/准标识符掩码、其余保留。所有规则都可通过action_overrides覆盖按表头/规范标签/类别三个维度匹配非法动作值会抛ValueError。日期平移使用确定性 per-record 偏移derive_date_shift_days以记录字段 行号 种子做 SHA-256得出-365 到 364 天的非零偏移固定偏移可通过date_shift_days传入0 会被拒绝keep_yearTrue时保留原年份lang用于本地化日期解析openmed/multimodal/tabular_csv.py。manifestPHI 安全的逐列审计redact_table产出的RedactedTable.manifest是逐列的审计记录每项含column_index、column_name、assigned_class、canonical_label、policy_label、action、detection_sourceheader_name/value_sample/default、confidence、sampled_values、row_count、row_count_affected。设计上只含列元数据与计数绝不包含原始单元格值openmed/multimodal/tabular_csv.py可直接用于合规审计。单元测试覆盖了 CSV/TSV 嗅探、DOB 列默认掩码、动作覆盖丢列、以及redact_document分发到 CSV 处理器并携带 manifest 元数据等路径见 tests/unit/multimodal/test_tabular_csv.py。另外.csv/.tsv后缀文件已通过register_handler注册到多模态分发器redact_document因此它们可以与 PDF、图像等格式走同一套redact_document入口处理器要求requires_multimodalFalseopenmed/multimodal/tabular_csv.py。边缘情况与坑PDF/DOCX 抛UnsupportedDocumentError。多模态分发器没有 PDF/DOCX 处理器——先把 PDF 页栅格化成 PNG或抽取文本层再调ocr()。图像格式PNG/JPG/TIFF 等与 CSV/TSV 均受支持。OCR 返回的是词不是表。必须从bbox几何重建行列。多行单元格、折行的检验名称、合并表头单元格都会破坏简单的 x/y 分桶——按模板调聚类容差。参考范围容易被拆坏。12.0-15.5、5、70 - 99、en/em 破折号必须作为一个单元格经受住 OCR 与分词。不要让空格或误读的破折号把范围拆碎——下游parse_reference_range期望它保持完整。单位属于数值不属于范围。把 9.1 g/dL 与范围 12.0-15.5 放在不同字段数值的单位必须与范围单位一致否则异常标志会判错标志辅助函数是单位无关的不会帮你换算。低置信度单元格。用OcrWord.confidence做门控实验室表格里一个 0.4 置信度的数值是患者安全风险——路由到人工复核不要静默接受。PHI 藏在表格里。患者姓名、MRN、出生日期、登记号常占据表头或首列。分类并脱敏它们绝不要记录原始表格。引擎不可用。未安装任何后端时ocr()抛清晰的MissingDependencyError——按 extras 安装 Tesseract 或 PaddleOCR 即可。与 OpenMed 上下游的交接交给parsing-lab-valuesskills/parsing-lab-values/SKILL.md把解析好的数值 ref_range 实验室显式标志传给openmed.clinical.parse_reference_range与derive_abnormal_flag得到结构化的 low/normal/high/critical 信号。注意标志解析支持闭合区间135-145、0.5 - 1.2、135 to 145、en/em 破折号和单侧边界5、10且显式实验室标志H/L/C/HH优先于推导结果。交给mapping-loincskills/mapping-loinc/SKILL.md把每个检验名称编码为 LOINC 代码用 UCUM 规范化单位。OpenMed 输出行数据术语绑定在进程外完成。交给 FHIRskills/exporting-to-fhir/SKILL.md每行变成一条ObservationcodeLOINCvalueQuantity带 UCUMunitreferenceRangeinterpretation分组在DiagnosticReport之下。先脱敏再导出skills/deidentifying-clinical-text/SKILL.md用openmed.deidentify处理自由文本单元格。OCR 词携带像素框脱敏结果可映射回图像。以上一切均在设备端运行——扫描件或行数据在未脱敏前不会离开当前进程。标准与参考LOINC通用实验室观察代码体系用于检验名称编码。UCUM度量单位统一代码用于单位规范化。HL7 FHIR R4 ObservationvalueQuantity、referenceRange、interpretation字段承载检验结果。HL7 FHIR R4 DiagnosticReport实验室结果的分组容器。Tesseract / PaddleOCR可选 OCR 后端也支持 docTR 与 EasyOCR。OpenMed 源码openmed/multimodal/ocr.py、openmed/multimodal/tabular_csv.py入口导出见 openmed/multimodal/init.py行为验证见 tests/unit/multimodal/test_tabular_csv.py。【免费下载链接】openmedLocal-first healthcare AI: clinical NER HIPAA PII de-identification that runs 100% on-device. 2,200 medical models, 21 languages, Apple MLX Python, no cloud, no patient data leaving your network. Apache-2.0项目地址: https://gitcode.com/GitHub_Trending/ope/openmed创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
