protobuf Python 运行时 upb、cpp 与纯 Python 后端怎么选用 PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION 切换并确认当前后端【免费下载链接】protobufProtocol Buffers - Googles data interchange format项目地址: https://gitcode.com/GitHub_Trending/pr/protobuf当你用pip install protobuf装好 Python 库之后进程里实际跑 protobuf 的并不是同一段代码protobuf 的 Python 运行时包含三套实现upb、cpp、python它们提供相同的 API但性能特征差异很大。你需要做的任务是搞清楚当前进程实际使用哪个后端并在需要时通过环境变量PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION固定到某一个后端。本文的内容基于仓库内 python/README.md 的 Implementation backends 章节和 api_implementation.py 的切换逻辑。三个后端的定位python/README.md 对三套实现的描述如下upb基于 upb C 库的扩展模块4.21.0 起随 PyPI 包分发不需要额外安装文档称其性能优于之前的后端并且是当前默认值。cpp封装 C protobuf 库的扩展模块已弃用不再随 PyPI 包发布需要单独安装后才能使用文档说明它仍用于一些希望 Python 与 C 之间零拷贝共享消息的遗留场景。python纯 Python 后端不需要系统中存在任何扩展模块。优先级顺序为upb最高、python最低。运行时库内含一个切换层默认按此优先级自动选择并跳过不可用的后端。这个优先级可以被google.protobuf.internal._api_implementation模块覆盖即构建期写死默认值见下文。用 PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION 指定后端要强制指定后端把环境变量PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION设为upb、cpp或python之一再启动你的 Python 进程即可。例如让脚本以 upb 后端运行PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATIONupb python your_app.py切换逻辑在 api_implementation.py 中第 63–75 行该环境变量的值会直接覆盖编译期常量的选择且只有python、cpp、upb是合法取值设成其他值会在导入时抛出ValueError错误信息为PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION {0} is not supported. Please set to python, cpp or upb.如果希望会话内一直生效也可以用export PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATIONcpp之后再启动进程效果相同。各后端的适用条件与限制均来自文档后端是否需要额外安装文档给出的限制upb不需要随 PyPI 包分发4.21.0 引入cpp需要需单独安装后使用已弃用不在 PyPI 包中主要用于 Python/C 零拷贝共享消息的遗留场景python不需要扩展模块纯 Python 实现性能特征与另外两者差异大确认当前进程使用的后端python/README.md 给出的检查片段 from google.protobuf.internal import api_implementation print(api_implementation.Type()) upb注意两点上面upb是文档示例输出不是每次必须得到的结果——它只表示在未设环境变量、且扩展模块可用时默认选中了 upb。另外文档明确说明api_implementation.Type()不是官方支持的稳定 API仅用于临时诊断不要把它的返回当成长期承诺。切换后的边界行为api_implementation.py 中有几种需要留意的自动降级与报错路径upb 不可用时若设了upb但google._upb._message导入失败会打印警告Selected implementation upb is not available. Falling back to the python implementation.然后回退到python后端。也就是说设了环境变量不保证真的用上 upb用上面的Type()片段再确认一次是必要的。cpp 不可用时设了cpp但扩展模块缺失会警告Selected implementation cpp is not available.。cpp 模块来自 python/google/protobuf/pyext 目录且需要单独构建安装。PyPy 环境在 PyPy 上选择cpp时代码会警告PyPy does not work yet with cpp protocol buffers. Falling back to the python implementation.并回退到python后端。非法取值见上文直接抛ValueError进程无法导入 protobuf。可选编译期固定后端除了环境变量还可以在构建期通过_api_implementation模块的编译时常量固定默认实现。api_implementation.cc 的注释说明不带编译开关或-DPYTHON_PROTO2_PYTHON_IMPL等价于PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATIONpython-DPYTHON_PROTO2_CPP_IMPL_V2等价于PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATIONcpp加PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION_VERSION2PYTHON_PROTO2_CPP_IMPL_V1已不再支持定义了会触发#error。python/google/protobuf/pyext/README 也确认pyext 目录的 C v2 实现正是在PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATIONcpp与PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION_VERSION2同时满足时生效。运行时环境变量始终可以覆盖这些编译期常量。旧生成代码报 generated code is out of date 时在 message.c 中upb 后端对旧生成代码给出如下错误与处理建议原文措辞Descriptors cannot be created directly. If this call came from a _pb2.py file, your generated code is out of date and must be regenerated with protoc 3.19.0. If you cannot immediately regenerate your protos, some other possible workarounds are: 1. Downgrade the protobuf package to 3.20.x or lower. 2. Set PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATIONpython (but this will use pure-Python parsing and will be much slower).即遇到该错误时文档列出的路径是用 protoc 3.19.0 重新生成或者降级 protobuf 包到 3.20.x 及以下或者临时设PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATIONpython兜底文档明确提示纯 Python 解析会慢得多。在仓库内验证各后端仓库自带的 Bazel 测试把三个后端各跑了一遍一致性测试环境变量的用法见 python/build_targets.bzlconformance_testenv {PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION: python}conformance_test_cppenv {PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION: cpp}且注释标明该目标需要--defineuse_fast_cpp_protostrue否则被标记为不兼容conformance_test_upbenv {PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATION: upb}且要求use_fast_cpp_protos未启用如果你在本仓库内验证某个后端的行为是否符合预期可以参照这三个目标分别以对应环境变量运行//conformance:conformance_python测试体testee。小结怎么选按文档给出的信息收敛选择常规场景、用 PyPI 包安装不设置环境变量让运行时按默认优先级选中 upb4.21.0 起为默认。需要与 C 进程零拷贝共享消息的遗留架构单独安装 cpp 扩展后设PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATIONcpp注意它已弃用且不在 PyPI 包中。系统装不了扩展模块、或需要兜底旧生成代码设PROTOCOL_BUFFERS_PYTHON_IMPLEMENTATIONpython接受性能下降。任何切换之后用api_implementation.Type()片段确认实际生效的后端它只是诊断手段不是稳定 API。【免费下载链接】protobufProtocol Buffers - Googles data interchange format项目地址: https://gitcode.com/GitHub_Trending/pr/protobuf创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
