1. 发票识别为什么不能只靠一个模型做财税类工具的朋友大概率都遇到过这个场景财务同事把一叠 PDF 发票丢过来让你「顺手」把票面信息提成结构化数据。单张发票肉眼录入两分钟一百张就是三个多小时而且校验码、纳税人识别号这种长串数字最容易抄错一位。多模态大模型出现之后这件事理论上可以自动化——把发票图片或 PDF 丢给模型让它按固定字段返回 JSON直接入库。但真动手做就会发现两个绕不开的问题。第一不同模型对中文发票的识别准确率差异很大尤其是「购买方地址、电话」这种带特殊符号、换行错位的字段有的模型会把开户行和地址串在一起有的会把税率 6% 识别成 6。第二如果每测一个模型就注册一个平台、申请一套 Key、改一遍代码光是接入成本就劝退。我试过同时对接四家厂商的 API每个平台的鉴权方式、请求体格式、图片编码要求都不一样维护起来非常痛苦。这篇就聚焦一件事用 TaoToken 的统一 Key 和统一 API 通道把多款多模态大模型接进同一套发票识别流程用同一份代码切换模型做字段抽取对比。适合需要批量处理发票 OCR、又不想被各家 SDK 绑死的开发者。下面从接入配置讲到可复制的 settings.json 和 config.toml再到实际请求验证和踩坑排查你可以直接跟着改。2. TaoToken 前置准备一个 Key 打通多模型TaoToken 在这里扮演的角色是统一接入层。你不需要为每个模型单独维护一套鉴权逻辑只需要在控制台创建一个 API Key然后通过统一的 base_url 发起请求请求体里用 model 字段指定要调用的多模态模型即可。对发票识别这种「同一张图、多个模型跑对比」的需求来说切换模型只是改一个字符串。具体操作路径是这样先访问官网 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 注册并登录进入控制台 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 创建 API Key。Key 只在创建时完整显示一次复制后存到环境变量里不要硬编码进代码提交到仓库。拿到 Key 之后API 的调用地址是 https://taotoken.net/api这个地址不加任何查询参数。所有多模态模型的对话请求都走这个 base_url兼容 OpenAI 风格的/v1/chat/completions路径。也就是说你原来用 openai 这个 Python 包写的代码只需要把 base_url 和 api_key 换掉其余逻辑几乎不用动。注意API Key 属于敏感凭证建议用环境变量TAOTOKEN_API_KEY注入本地开发可以用.env文件配合 python-dotenv 加载生产环境走密钥管理服务。如果你只是想先在网页上验证某个模型对发票的识别效果可以先用模型对话 https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 上传发票图片试跑确认字段抽取格式符合预期后再落到代码里批量处理。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 里面有完整的请求参数说明。3. 可复制配置settings.json 与 config.toml 骨架为了让同一套代码能切换模型我把模型配置抽成外部文件。下面给两个版本的配置骨架你可以按自己项目的技术栈选一个。3.1 settings.json 示例Python 项目这个文件放在项目根目录用 json 加载。models数组里每个对象代表一个待测模型name是内部标识model_id是传给 API 的模型名prompt_file指向该模型使用的提示词模板。{ api: { base_url: https://taotoken.net/api, api_key_env: TAOTOKEN_API_KEY, timeout: 120, max_retries: 3 }, invoice_schema: [ 机器编号, 发票代码, 发票号码, 开票日期, 校验码, 购买方名称, 购买方纳税人识别号, 购买方地址、电话, 开户行及账号, 货物或应税劳务、服务名称, 规格型号, 单位, 数量, 单价, 金额, 税率, 税额, 价税合计大写, 价税合计小写, 销售方名称, 销售方纳税人识别号, 销售方地址、电话, 备注, 收款人, 复核, 开票人 ], models: [ { name: model_a, model_id: gpt-4o, prompt_file: prompts/invoice_extract.txt }, { name: model_b, model_id: kimi-latest, prompt_file: prompts/invoice_extract.txt }, { name: model_c, model_id: qwen-vl-max, prompt_file: prompts/invoice_extract.txt } ] }invoice_schema单独抽出来是为了在提示词里动态拼接字段列表避免每个模型写一份重复的提示词。model_id的具体取值以接入文档里的模型列表为准不同时期可用模型会有更新。3.2 config.toml 示例通用/Go/Rust 项目如果你的项目不是 Python用 TOML 会更清爽。结构上和上面的 JSON 一一对应。[api] base_url https://taotoken.net/api api_key_env TAOTOKEN_API_KEY timeout_seconds 120 max_retries 3 [invoice] schema [ 机器编号, 发票代码, 发票号码, 开票日期, 校验码, 购买方名称, 购买方纳税人识别号, 购买方地址、电话, 开户行及账号, 货物或应税劳务、服务名称, 规格型号, 单位, 数量, 单价, 金额, 税率, 税额, 价税合计大写, 价税合计小写, 销售方名称, 销售方纳税人识别号, 销售方地址、电话, 备注, 收款人, 复核, 开票人 ] [[models]] name model_a model_id gpt-4o prompt_file prompts/invoice_extract.txt [[models]] name model_b model_id kimi-latest prompt_file prompts/invoice_extract.txt [[models]] name model_c model_id qwen-vl-max prompt_file prompts/invoice_extract.txt3.3 提示词模板与图片编码提示词模板prompts/invoice_extract.txt里用占位符{schema}表示字段列表运行时替换。核心要求是让模型只返回 JSON不要加解释文字。你是一个发票信息抽取助手。请识别图片中的发票按以下字段返回 JSON {schema} 要求 1. 只返回 JSON不要任何额外说明文字。 2. 字段名与上面完全一致包括标点。 3. 识别不到的字段返回空字符串。 4. 金额、税额保留原始格式不要做单位换算。图片编码方面多模态接口通常接受 base64 编码的图片。Python 里读取发票图片并编码import base64 import json import os from pathlib import Path def encode_image(image_path: str) - str: with open(image_path, rb) as f: return base64.b64encode(f.read()).decode(utf-8) def build_messages(image_path: str, schema: list, prompt_template: str) - list: b64 encode_image(image_path) prompt prompt_template.replace({schema}, 、.join(schema)) return [ { role: user, content: [ {type: text, text: prompt}, { type: image_url, image_url: {url: fdata:image/png;base64,{b64}} } ] } ]如果是 PDF 发票先用 pdf2image 或 PyMuPDF 转成 PNG再走上面的编码流程。分辨率建议控制在 2000px 宽度以内太大既增加 token 消耗也可能触发部分模型的长边限制。4. 验证请求同一套 Key 切换模型跑发票抽取配置就绪后写一个批量跑模型的脚本。核心逻辑是遍历models数组对同一张发票图片分别请求把返回的 JSON 存到以模型名命名的文件里方便后续对比。import json import os import time from openai import OpenAI def load_config(path: str settings.json) - dict: with open(path, r, encodingutf-8) as f: return json.load(f) def extract_invoice(client: OpenAI, model_id: str, messages: list) - dict: resp client.chat.completions.create( modelmodel_id, messagesmessages, temperature0, response_format{type: json_object} ) content resp.choices[0].message.content return json.loads(content) def main(): cfg load_config() api_key os.environ[cfg[api][api_key_env]] client OpenAI( base_urlcfg[api][base_url], api_keyapi_key, timeoutcfg[api][timeout] ) prompt_template open(prompts/invoice_extract.txt, encodingutf-8).read() image_path samples/invoice_001.png messages build_messages(image_path, cfg[invoice_schema], prompt_template) results {} for m in cfg[models]: print(frunning {m[name]} - {m[model_id]}) try: data extract_invoice(client, m[model_id], messages) results[m[name]] data except Exception as e: results[m[name]] {error: str(e)} time.sleep(1) with open(results/compare.json, w, encodingutf-8) as f: json.dump(results, f, ensure_asciiFalse, indent2) if __name__ __main__: main()跑完之后results/compare.json里就是各模型对同一张发票的抽取结果。成功的情况下每个模型返回的 JSON 字段应该和invoice_schema完全对齐。你可以写一个简单的对比脚本把各模型结果和人工核对过的基准 JSON 逐字段比对统计每个模型的字段准确率。def diff_fields(base: dict, target: dict) - dict: report {match: 0, mismatch: 0, details: []} for k, v in base.items(): tv target.get(k, ) if str(v).strip() str(tv).strip(): report[match] 1 else: report[mismatch] 1 report[details].append({field: k, base: v, target: tv}) return report实测下来中文发票里「购买方地址、电话」和「开户行及账号」是错得最多的两个字段因为票面上这两行经常有换行和特殊符号模型容易把两行内容合并或截断。税率字段则偶尔出现6%和6的格式差异对比时建议先做归一化再比。5. 本篇常见错排查5.1 401 鉴权失败最常见的原因是 Key 没读到或读错。检查TAOTOKEN_API_KEY环境变量是否在当前 shell 生效Python 里可以用os.environ.get打印前几位确认。另外注意 base_url 不要写成带/v1的完整路径SDK 会自己拼/chat/completions重复拼接会导致 404 或 401。5.2 模型返回的不是纯 JSON有些模型即使加了response_format{type: json_object}仍会在 JSON 前后加「好的以下是识别结果」这类文字。处理办法是在提示词里强调「只返回 JSON」同时在代码里做一次容错解析找到第一个{和最后一个}截取中间部分再json.loads。def safe_json_parse(text: str) - dict: start text.find({) end text.rfind(}) if start -1 or end -1: raise ValueError(no json object found) return json.loads(text[start:end 1])5.3 图片过大导致请求超时或报错部分多模态模型对图片长边有限制超过会直接拒绝。建议在编码前统一压缩到长边 1600 到 2000 像素之间。用 Pillow 处理from PIL import Image def resize_image(path: str, max_side: int 1800) - str: img Image.open(path) w, h img.size scale max_side / max(w, h) if scale 1: img img.resize((int(w * scale), int(h * scale))) out path.rsplit(., 1)[0] _resized.png img.save(out) return out5.4 字段名对不上不同模型对同一字段的命名可能有细微差异比如「校验码」被返回成「校验码 」带空格或者「价税合计小写」的括号变成英文括号。对比前先做一次字段名归一化去掉空格、统一中英文括号再比对。5.5 并发过高触发限流批量跑多个模型时如果同时发起请求可能触发平台的速率限制。建议在循环里加time.sleep(1)或者用信号量控制并发数不超过 3。如果确实需要高并发批量处理可以考虑 Coding Plan https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 它在长期编码和 Agent 场景下有更合适的配额策略。6. 把统一 Key 接入你的发票流水线到这里一套可切换多模型的多模态发票识别骨架就跑通了。核心思路是把模型配置外置用 TaoToken 的统一 base_url 和单一 Key 发起请求切换模型只改配置不改代码。你可以把results/compare.json作为模型选型的依据针对自己业务里最常见的发票类型挑字段准确率最高的那个模型作为默认其余作为兜底。后续如果要接进生产流水线建议把抽取结果和人工复核结果都落库定期统计各模型在真实发票上的字段准确率模型版本更新时也能快速回归验证。API Key 的管理和接入细节可以参考接入文档 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 需要新建或轮换 Key 时到 API Keys https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content 操作。先把单张发票的对比跑通再扩展到批量目录是最稳的推进方式。
