CPython 3.6.0a1 变更全解析从 PEP 498 字符串插值到内存分配器调试体系【免费下载链接】cpythonThe Python programming language项目地址: https://gitcode.com/GitHub_Trending/cp/cpython本文以 CPython 仓库 Misc/NEWS.d/3.6.0a1.rstCPython 3.6.0a1 新闻片段2016-05-16 发布为核心骨架系统梳理该里程碑版本在核心语法、标准库、C API、安全、构建与测试维度上的全部关键变更。读者将掌握 f-stringPEP 498、secrets模块PEP 506、PYTHONMALLOC内存调试体系、ast.Constant常量折叠等新特性的设计初衷、源码落点与正确用法并能对照当前仓库源码定位每条变更的原始实现。一、版本背景与变更总览3.6.0a1是 CPython 3.6 系列的第一个 alpha 版本发布日期为 2016-05-16。该版本定下了 3.6 全系列的技术基调其后续正式版3.6.0中为人熟知的三大招牌特性——f-string 字符串插值、secrets安全随机模块、PYTHONMALLOC内存分配器调试机制——全部在本次 alpha 中首次落地。按新闻片段中的.. section:字段统计本次变更的分布情况大致如下条目按时间倒序排列从date: 9135到date: 8860章节代表性变更Securityhttp.serverWindows 目录穿越修复、SSL 证书存储只读打开Core and BuiltinsPEP 498 f-string、ast.Constant、PYTHONMALLOC、Py_FinalizeEx()Librarysecrets模块、decimal.Decimal.as_integer_ratio()、zipfile写入支持IDLEIDLE Dark 主题、断点颜色自定义、帮助系统重构Tests--list-tests、--huntrleaks扩展、PGO 测试开关Build--with-lto、--with-icc、--pgo构建参数WindowsOpenSSL 升级、launcher 魔数更新C APIPyArg_ParseTupleAndKeywords()错误类型统一下面按主题深入展开每条变更均标注了新闻片段原文要点并结合当前仓库源码给出实现佐证。二、核心语言新特性Core and Builtins2.1 PEP 498f-string 字面量字符串插值bpo-24965本版本实现了 PEP 498 Literal String Interpolation允许在字符串字面量中直接嵌入表达式运行时求值并转换为普通字符串。文档给出的行为示例为给定x 3则fvalue{x} value3。x 3 fvalue{x} # - value3 f{x:5} # 支持格式说明符右对齐占 5 格 f{x} # 3.8 支持调试表达式3.6 尚未引入从当前仓库语法看f-string 的语法规则已沉淀在 Grammar/python.gram 中fstring_middle由fstring_replacement_field组成替换字段的语法为{ annotated_rhs debug_expr? conversion[fstring_conversion] format[fstring_full_format_spec] rbrace}即大括号内依次是表达式、可选的调试标记、可选的!转换符如!r、!s、!a和可选的:格式说明。这解释了为什么 f-string 与普通字符串的常量折叠路径不同——它在语法层就被拆解为表达式节点。f-string 表达式在运行时求值因此它天然不是编译期常量不能参与 [bpo-26204] 中描述的常量语句折叠优化。2.2 新增 AST 节点 ast.Constantbpo-26146本版本新增一类 AST 节点ast.Constant可被外部 AST 优化器使用编译器本身并不直接产生该节点。同时配套的编译器变更bpo-26204是编译器现在忽略所有类型的常量语句——bytes、str、int、float、complex、名称常量None、False、True、Ellipsis和ast.Constant而不再仅限于 str 和 int。def f(): 1.0 # 纯常量表达式语句编译时被忽略 1 2 # 常量折叠后同样被忽略同一条目bpo-25843还修复了一个常量合并的正确性问题编译代码时如果常量值相等但类型不同不得合并。例如f1, f2 lambda: 1, lambda: 1.0现在会被正确编译为两个不同函数f1()返回int的1f2()返回float的1.0即便1与1.0数值相等。2.3 语法放宽函数声明参数列表支持尾随逗号bpo-9232修改 Python 语法允许函数声明的参数列表末尾带逗号。文档给出的示例为def f(*, a 3,): # 现在合法* 后的关键字参数列表允许尾随逗号 pass这与调用点f(a1,)早已允许尾随逗号的规则对齐方便多行参数列表的版本控制与格式化工具如 Black生成更稳定的 diff。当前仓库 Grammar/python.gram 中关于参数列表的规则注释仍然保留了对最终参数无尾随逗号这一情形的处理说明印证了该语法规则长期稳定的状态。2.4 调用性能优化纯元组解包调用避免拷贝bpo-26802优化仅使用解包的函数调用如func(*tuple)无其他位置参数、无关键字参数场景避免复制该元组。类似的优化思路贯穿该版本bytes.replace(b, b.)、bytearray.replace(b, b.)也被专门优化bpo-26574bytes % args与bytearray % args借助新的私有_PyBytesWriterAPI 分别获得最高 2 倍和 2.55 倍的格式化加速bpo-25349、bpo-25399。2.5 数字与文本编解码加速float.fromhex()类方法针对精确浮点场景优化速度提升 2 倍bpo-27005单数字 long 的 floor/模除法优化微基准显示 22.5 倍提升内置divmod也提速约 10%bpo-26289另见 bpo-26315UTF-8 解码器在ignore、replace、surrogateescape错误处理器下提速最高 15 倍bpo-25301UTF-8 编码器在上述错误处理器基础上还支持surrogatepass提速最高 75 倍bpo-25267ASCII 与 latin1 编码器配合surrogateescape提速最高 3 倍bpo-25227bytes.fromhex()与bytearray.fromhex()提速 23.5 倍bpo-25401。三、内存管理与解释器生命周期3.1 PYTHONMALLOC 环境变量可配置的内存分配器bpo-26516 系列本版本引入PYTHONMALLOC环境变量用于选择 Python 内存分配器及/或安装调试钩子。这是 3.6 时代排查内存问题最重要的调试入口。相关配套变更包括PyMem_SetupDebugHooks现在也可用于 release 模式编译的 Pythonbpo-26516PYTHONMALLOCSTATS环境变量同样支持 release 模式若被设置为空字符串则不再生效bpo-26516debug 模式下即使 Python 配置为不使用 pymalloc也会在内存分配器上安装调试钩子bpo-26516调试钩子现在对PyObject_Malloc系列函数的无 GIL 调用进行检测bpo-26558PyMem_Malloc系列函数在无 GIL 时被调用会触发致命错误bpo-26563出错时调试钩子会借助tracemalloc模块给出内存块被分配时的回溯bpo-26564。本新闻片段同时披露了一个重要的行为变更bpo-26249PyMem_Malloc域PYMEM_DOMAIN_MEM的内存函数现在改用 pymalloc 分配器而非系统malloc。这带来一个直接的兼容性影响——未持有 GIL 就调用PyMem_Malloc的应用现在可能崩溃。新闻片段明确建议使用PYTHONMALLOCdebug环境变量来校验应用中内存分配器的使用是否规范。# 启用全部调试钩子检测越界、无 GIL 调用、重复释放等 PYTHONMALLOCdebug ./python script.py # 统计各分配器内存使用release 模式同样可用 PYTHONMALLOCSTATS1 ./python script.py从当前仓库看PYTHONMALLOC的解析逻辑位于 Python/initconfig.c 与 Python/preconfig.c预配置阶段即读取而 pymalloc 分配器本体在 Objects/obmalloc.c 中实现其入口_PyObject_MallocObjects/obmalloc.c在尺寸满足条件时走pymalloc_alloc的快速池分配路径大块则回落系统分配器——这正是小对象分配提速bpo-23601dict 键对象改走 Python 小对象分配器背后的统一机制。3.2 Py_FinalizeEx()可检测流刷新失败的新终结 APIbpo-5319新增Py_FinalizeEx()API允许 Python 在刷新缓冲流失败时设置退出状态 120而传统的Py_Finalize()无返回值、无法上报此类失败。该 API 声明位于 Include/pylifecycle.h与Py_Finalize(void)Include/pylifecycle.h并列说明两者是长期并存的两个终结入口。int res Py_FinalizeEx(); if (res 0) { /* 刷新 stdio 缓冲失败以状态码 120 退出 */ exit(120); }3.3 其他内存与运行时修复修复Py_BuildValue()使用N格式单元失败时的潜在引用泄漏bpo-26168修复创建带注解函数时的潜在引用泄漏bpo-26991super.__init__被多次调用时不再泄漏内存bpo-26718但文档明确警告直接调用super.__init__并非受支持用法gc.get_objects()不再包含含 NULL 指针的损坏元组bpo-26811大量不安全的属性赋值代码被替换为专用宏Py_SETREFbpo-20440sys.setrecursionlimit()现在在新递归上限相对当前递归深度过低时抛出RecursionError同时修正了低水位标记公式使其单调该标记用于决定线程状态的溢出标志何时被重置bpo-25274。四、标准库新增与增强Library4.1 secrets 模块密码学强度随机数bpo-26996PEP 506本版本按 PEP 506 新增secrets模块用于生成适合管理密钥、账户认证、令牌等场景的密码学强度随机数。当前仓库实现位于 Lib/secrets.py其模块文档直接引用 PEP 506。核心 API 与默认行为源码中DEFAULT_ENTROPY 32即默认返回 32 字节熵import secrets secrets.token_bytes(16) # 16 字节随机字节串 secrets.token_hex(16) # 16 字节对应的十六进制文本32 字符 secrets.token_urlsafe(16) # 16 字节对应的 URL 安全 Base64 文本 secrets.choice(seq) # 从序列中安全随机选择 secrets.randbelow(n) # 返回 [0, n) 内的安全随机整数 secrets.compare_digest(a, b) # 常数时间比较防时序攻击从 Lib/secrets.py 的源码可以看到token_bytes最终通过random.SystemRandom().randbytes(nbytes)生成即熵源始终是操作系统级 CSPRNG如os.urandom这正是secrets 不使用random模块默认的可预测生成器这一设计要点的实现基础。同期变更还要求uuid.uuid4始终使用os.urandom作为随机源bpo-25515与 secrets 的熵源策略保持一致。4.2 decimal 模块Decimal.as_integer_ratio()bpo-25928新增Decimal.as_integer_ratio()方法返回精确表示该 Decimal 值的(numerator, denominator)整数对。statistics模块随即改用该方法bpo-25974替代此前基于浮点转换的间接做法。from decimal import Decimal Decimal(1.25).as_integer_ratio() # - (5, 4)4.3 zipfile打开 ZIP 写入数据bpo-26039zipfile.ZipFile.open()现在除了解压读取外还可以用于向 ZIP 文件内写入数据。配套新增zipfile.ZipInfo.from_file()与zipfile.ZipInfo.is_dir()bpo-26039 另一条目且ZipFile现在总是为目录条目写入ZIP_STORED头bpo-25624。import zipfile with zipfile.ZipFile(demo.zip, w) as zf: with zf.open(hello.txt, w) as f: f.write(bhello from zipfile)4.4 上下文管理器协议在标准库中铺开本版本在多处落实上下文管理器协议telnetlib.Telnet成为上下文管理器bpo-25485socketserver模块新增上下文管理器支持bpo-26404引入contextlib.AbstractContextManager与typing.ContextManagerbpo-25609为类型注解提供抽象基类os.scandir()迭代器新增close()方法并支持上下文管理器协议bpo-25994且在迭代出错时也会关闭文件描述符bpo-26117。4.5 标准库行为修正与体验优化urllib.request 代理与重定向代理环境变量改为优先使用小写形式bpo-26804no_proxy主机匹配改为大小写不敏感且不再错误匹配后缀相同的无关主机名bpo-26864重定向目标 URL 中的非 ASCII 字节会被百分号编码bpo-17214仅含查询字符串的重定向目标得以正确处理bpo-14132。http.server启动时打印服务器 URLbpo-24902请求头字段过多时返回 413 响应而非粗暴断开连接bpo-26586内部_quote_html()被移除改用html.escape(quoteFalse)bpo-26585。subprocess允许stderr重定向到stdout而无需同时重定向stdoutbpo-22274已确认死亡的进程不再允许send_signal()/terminate()/kill()操作避免误伤其他进程bpo-6973Windows 下STARTUPINFO被加入__all__bpo-26782。datetimedatetime.isoformat()新增可选timespec参数用于选择时间部分的精度bpo-19475fromtimestamp()/utcfromtimestamp()对微秒的舍入改为 ROUND_HALF_EVEN与round(float)一致而非原先的向负无穷舍入bpo-23517修复astimezone()的缺陷bpo-26616timezone.utc名称改为简洁的UTC不再是UTC-00:00bpo-22241。asyncio新增loop.create_futurebpo-27041、loop.get_exception_handlerbpo-27040、asyncio.StreamReader.readuntil()bpo-26050、asyncio.run_coroutine_threadsafe()bpo-25304可跨线程向事件循环提交协程并返回concurrent.futures.FutureEventLoop.stop()语义变更bpo-25593。collections / OrderedDictOrderedDict实例的__dict__改为按需创建bpo-25949C 实现中键的哈希在多数操作中只计算一次bpo-25462修复move_to_end()导致迭代时段错误或挂起的缺陷bpo-25406垃圾回收器现在能打破含 OrderedDict 的引用环bpo-25935迭代哈希不稳定键的 OrderedDict 在 C 实现中同样抛出KeyErrorbpo-25449。unittest.mock新增Mock.assert_called()与Mock.assert_called_once()bpo-26323修复mock_open().reset_mock无限递归bpo-18622side_effect重新允许为异常bpo-23661MagicMock._Call补充__ne__实现bpo-25195。re 模块修复(?x)标志下的调试输出bpo-26475消除正则表达式解析中的循环引用bpo-25554快速搜索优化现支持以捕获组开头的模式bpo-24426。statisticsmedian改用bisect而非线性搜索bpo-26002修复极小数与极大数混合时的均值计算问题mean/variance显著提速bpo-25177。ElementTree 性能iterparse()提速 2 倍、整体解析提速 10%bpo-25638深拷贝提速 20 倍bpo-25869iter()迭代提速 40%、itertext()提速最高 2.5 倍bpo-25873。文件与路径Path.glob()遇到无效模式时抛出ValueErrorbpo-23076**模式不再穿越符号链接bpo-26012、遍历时忽略PermissionErrorbpo-24120os.walk()不再使用与树深度成正比数量的文件描述符bpo-25995。五、C API 与内部接口线程状态访问新增私有_PyThreadState_UncheckedGet()函数用于获取当前 Python 线程状态但不因 NULL 触发致命错误。新闻片段明确指出自 3.5.1 起_PyThreadState_Current变量不再对外暴露以隐藏原子 C 类型的实现细节、规避编译器问题必须改用新函数访问bpo-26154。参数解析错误统一PyArg_ParseTupleAndKeywords()的所有编程错误统一抛SystemError此前部分场景抛RuntimeErrorbpo-26312解析es#、et#格式单元时的缓冲区溢出现在抛ValueError而非TypeError格式字符串的编程错误抛SystemErrorbpo-26198。__sizeof__动态化内置类型的__sizeof__改为使用动态基本大小使sys.getsizeof()对定义了__slots__的子类也能正确计算bpo-25421。实例不可 pickle 的限制收紧带状态但既非 list/dict 子类、也未实现任何 pickle 相关方法__reduce__、__reduce_ex__、__getnewargs、__getnewargs_ex__、__getstate__的扩展类型实例不再能被 pickle包括memoryviewbpo-22995默认__reduce__/__reduce_ex__实现拒绝未定义__new__的内置类型bpo-22995 另一条目。f_trace修复frame.f_trace被设置为None时不再抛TypeErrorbpo-20041。PYTHONIOENCODING优先级现在在设置 stdin/stdout 的错误处理器时优先于 localebpo-25339。六、安全修复Security本版本包含若干值得关注的安全相关修复其中两条属于 Windows 平台http.server 目录穿越漏洞bpo-26657修复 Windows 上http.server的目录遍历漏洞。这是对 3.3.4rc1 与 3.4.0rc1 引入回归的修复。Windows 路径分隔符与 URL 路径处理的差异使得..穿越在 Windows 上成为可能该修复统一了路径规范化逻辑。证书存储只读打开bpo-25939Windows 上ssl.enum_certificates以只读方式打开证书存储避免意外写入同时修复ssl._load_windows_store_certs在证书存储为空时的失败问题bpo-26313。SSLv3 默认禁用bpo-25530创建ssl.SSLContext时默认禁用存在漏洞的 SSLv3 协议。SSL 内存泄漏修复SSLSocket.getpeercert()bpo-25569与其姊妹方法getpeercer()bpo-25578拼写即如此中的内存泄漏。SSL 语义修正SSLSocket.sendall()改为返回None与普通 socket 文档一致bpo-25951recv()/read()传入负数长度时抛ValueError而非SystemErrorbpo-26644recv(0)/read(0)正确返回 0 字节而非最多 1024 字节bpo-23804。空字节与类型名类型名中禁止空字符bpo-25961。缓冲区越界读取int()、float()、compile()、exec()、eval()接收 bytes-like 对象时避免越界读取——这类对象不保证以空字节结尾而旧实现假设其如此bpo-24802。七、IDLE 开发环境更新本次 alpha 对 IDLE 进行了大规模体验升级核心变更集中在界面主题与调试体验IDLE Dark 深色主题bpo-24820新增内置深色配色主题近似 IDLE Classic 的反色钴蓝色背景字符串、注释、关键字等仍保持绿/红/橙等辨识色。2015 年 11 月之前发布的 IDLE 可通过 Save as New Custom Theme 另存为自定义主题如Custom Dark使用。断点颜色自定义bpo-24820 另一条目用户可在 Settings → Custom Highlighting 中设置断点颜色。调试器稳定性bpo-15348 系列关闭调试器窗口前先停止调试器引擎避免被捕获并忽略的RuntimeError修复关闭 shell/调试器/重复激活时的挂起问题bpo-24455 综合 15347、15348、24455 三个问题。扩展配置并入 Preferences 对话框bpo-24782扩展配置由独立对话框改为 Preferences 对话框中的选项卡。帮助系统bpo-16893以help.html替代help.txt配合新编写的 tkinter HTML 查看器展示文档。约定调整idlelib大部分为私有实现、随时可能变更官方建议通过idlelib.idle.*启动 IDLEbpo-24861idlelib.idlever被弃用bpo-24199。八、测试体系Tests测试基础设施在本次 alpha 中新增了若干实用工具python -m test --list-tests列出全部测试bpo-22806--huntrleaks在原有内存泄漏检测基础上扩展为同时检查文件描述符泄漏bpo-18174新增-P/--pgo开关在执行测试套件以服务 PGO 构建时抑制错误输出bpo-25188新增test.support.check__all__()助手用于校验各模块__all__与文档 API 一致bpo-23883新增test.support.check_no_resource_warning()断言测试期间未发出ResourceWarningbpo-26325修复--testdirTESTDIR时不自动添加test.前缀bpo-26295OrderedDict测试从test_collections拆分为独立文件test_ordered_dictbpo-25616。九、构建系统Build与平台支持--with-ltobpo-25702configure新增--with-lto在make profile-opt构建时启用链接时优化LTO可在 profile-opt 基础上再获得百分之几的速度提升但部分编译器/工具链用 LTO 生成的代码不稳定官方建议依赖 LTO 前充分测试。--with-iccbpo-25827configure新增对 Intel C 编译器ICC的支持。Windows PGO 构建bpo-25348PCbuild\build.bat新增--pgo与--pgo-job参数旧脚本build_pgo.bat被移除。OpenSSL 升级bpo-26465、bpo-26268Windows 构建升级到 OpenSSL 1.0.2g随后进一步升级到 1.0.2fOS X 10.5 32 位安装包同步使用 1.0.2g。交叉编译改进bpo-22359、bpo-26884交叉编译时禁用_freeze_importlib与pgen的运行规则其输出已随源码保存修复扩展模块的交叉编译链接。64 位 Windows 默认交叉编译bpo-25850默认采用交叉编译方式构建 64 位 Windows 版本。十、Tools 与杂项pyvenv 脚本弃用bpo-25154pyvenv命令行脚本被弃用统一推荐python3 -m venv。python-configbpo-25440修复python-config --extension-suffix的输出。unparse.pybpo-26489Tools/parser/unparse.py 新增字典解包支持。python-gdb.pybpo-26799修复 gdb 扩展在 Python 可执行文件加载前被加载时获取 C 类型的问题改为按需获取。imp 模块升级弃用bpo-0imp模块由 PendingDeprecationWarning 升级为 DeprecationWarning。2to3bpo-139382to3将StringTypes转换为元组。十一、变更溯源与验证路径对于希望深入源码验证上述变更的读者以下仓库路径可作为起点内存分配器与调试钩子分配器本体在 Objects/obmalloc.cpymalloc_alloc于 Objects/obmalloc.c、对外入口_PyObject_Malloc于 Objects/obmalloc.cPYTHONMALLOC解析位于 Python/initconfig.c 与 Python/preconfig.c解释器终结 APIPy_FinalizeEx声明于 Include/pylifecycle.hf-string 语法替换字段规则位于 Grammar/python.gramsecrets模块实现Lib/secrets.py模块文档引用 PEP 506默认熵 32 字节定义于 Lib/secrets.pyAST 常量节点ast.Constant相关逻辑可查阅 Python/Python-ast.c 与 Python/ast.cIDLE 主题与调试器idlelib源码位于 Lib/idlelib含 config 相关模块、debugger 相关模块测试框架python -m test即 regrtest实现位于 Lib/testlibregrtest子目录。十二、版本演进视角从 3.6.0a1 看 CPython 的工程方法论纵览 3.6.0a1 的新闻条目可以提炼出 CPython 社区长期坚持的几条工程原则这也是阅读Misc/NEWS.d系列文件的正确姿势性能优化围绕真实热点该版本优化清单高度聚焦——编解码错误处理器路径surrogateescape等、bytes %格式化、fromhex、单数字除法。这些正是文本处理与数值计算的标准热点每条优化均附微基准数据如2.5~5 倍最高 75 倍。内存安全与引用计数是 C 实现的第一优先级refleak、segfault、use after free、buffer overread等关键词高频出现且修复后几乎都配套新增回归测试如--huntrleaks的扩展。回归可追溯每条新闻片段携带bpo编号、日期、作者与原始章节信息并与后续正式版的Misc/NEWS汇总互相印证。这是 CPython 长期可维护性的重要制度保障。行为变更标注清楚如PyMem_Malloc域改用 pymalloc 这类影响第三方扩展的变更文档直接给出应对措施PYTHONMALLOCdebug验证体现了对下游生态的兼容性关怀。对开发者而言这份变更清单既是一份3.6 新特性速查手册也是一份如何为 CPython 贡献补丁的活教材——每一个条目背后都对应一个可复现的 issue、一个明确的修复提交与一组回归测试。【免费下载链接】cpythonThe Python programming language项目地址: https://gitcode.com/GitHub_Trending/cp/cpython创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
