chinese-xinhua 完整指南免费构建中文语言知识库的终极方案【免费下载链接】chinese-xinhua:orange_book: 中华新华字典数据库。包括歇后语成语词语汉字。项目地址: https://gitcode.com/gh_mirrors/ch/chinese-xinhua做中文应用最头疼的往往不是模型而是没有干净的语言数据成语释义残缺、歇后语散落在各处、词语库动辄几 GB 的脏格式。chinese-xinhua 是一份开箱即用的中华新华字典数据库以纯 JSON 格式收录 16,142 个汉字、264,434 个词语、31,648 个成语和 14,032 条歇后语MIT 许可、零依赖、零服务clone 下来就能直接喂给你的应用。能力全景透视四套数据资产一次配齐这份数据库的价值在于覆盖面 × 结构化两个维度的乘积数据资产文件规模关键字段成语data/idiom.json3 万余条释义、拼音、例句、典故出处、首字母缩写词语data/ci.json26 万余条词语 释义另有 data/ci.csv 表格版汉字data/word.json1.6 万余字拼音、部首、笔画、多音字详细解释歇后语data/xiehouyu.json1.4 万余条谜面riddle 谜底answer三个值得注意的格式优势单一 JSON 数组结构每个文件就是一个对象数组json.load一步到位无需解析嵌套 schema任何语言都能直接消费。字段自包含成语一条记录里同时有pinyin、explanation、example、derivation典故、abbreviation首字母缩写专为接龙设计汉字一条记录里连strokes笔画、radicals部首、多音字分条解释都备齐了。全量数据本地化总大小约 75 MB无网络请求、无 API 限额项目早期提供过在线 API2018 年已下线现在纯靠本地数据反而更稳定。部署与数据资产映射30 秒拿到手获取仓库只需一条命令git clone https://link.gitcode.com/i/2475a4231e12c4e64c522a35f7af0c22目录结构与职责一一对应看一遍就能建立心智模型chinese-xinhua/ ├── data/ # 数据资产核心 │ ├── idiom.json # 成语 │ ├── word.json # 汉字 │ ├── ci.json / ci.csv # 词语JSON CSV 双格式 │ └── xiehouyu.json # 歇后语 ├── scripts/ # 数据采集与清洗脚本 └── archived/ # 归档数据成语去重前的原始数据data/ 是唯一需要关心的目录。scripts/ 里保留了chengyu.py、ci.py、word.py、xiehouyu.py等抓取脚本和clean.ipynb去重笔记——这些是数据的生产流水线想理解数据边界或想补充自己需要的语料时可以照着思路做但注意本仓库是只读参考请勿在仓库内直接改动。archived/idiom-dirty.json 是去重前的脏数据仅作存档使用时请忽略。核心功能极简实战加载、查询、转换三步走以下每个片段都是最小可运行单元跑通即完成对应能力验证。第一步加载成语库import json with open(data/idiom.json, encodingutf-8) as f: idioms json.load(f)第二步点查与筛选# 点查精确命中某个成语 hit next(i for i in idioms if i[word] 胸有成竹) print(hit[pinyin], hit[explanation]) # 筛选包含龙字的成语 dragon [i for i in idioms if 龙 in i[word]]第三步数据转换JSON → 表格import pandas as pd df pd.read_json(data/xiehouyu.json) df.to_csv(xiehouyu.csv, indexFalse, encodingutf-8-sig)进阶一点成语的abbreviation字段如abdy对应阿鼻地狱天然适合做接龙索引——按末字拼音或首字母建一个dict即可把 O(n) 的遍历查询变成 O(1) 的字典查表这是接龙类应用的性能关键。典型业务场景落地 教育工具成语接龙与汉字练习接龙引擎的核心逻辑就是末字 首字匹配用word字段建索引即可完成汉字数据带笔画、部首、多音字解释足以支撑书写教学类应用的题库生成无需再对接任何字典接口。 NLP 语料与预处理ci.json的 26 万词表可直接作为中文分词词典或 OOV 词库的基线成语的example例句字段是现成的短语级例句语料适合做语义相似性实验或 few-shot 提示词的样例库用pandas按释义长度、字段完整性做一轮过滤即可产出干净的结构化训练集。 内容与文化研究歇后语的谜面—谜底结构是天然的问答对可用于文化问答 Bot成语derivation字段保留了典籍出处做典故溯源、词源分析时省去大量人工查证。进阶避坑与维护机制避坑清单编码问题所有文件必须用utf-8显式打开Windows 下直接open()不指定编码大概率报UnicodeDecodeError。内存预算ci.json约 25 MB全量载入内存约 100~200 MB服务里建议只加载业务需要的子集或用ci.csv做流式读取。数据完整性个别词条的释义含\n换行和引号嵌套落库前先做一轮strip与引号清洗。版本口径README 中的数量统计31,648 成语是发布口径与逐条len()的结果可能有细微出入对外承诺数据量时建议以实际计数为准。只读原则本仓库定位为数据镜像请勿在仓库内修改、新增或删除文件你的衍生清洗结果请输出到自己的工作目录。持续维护机制项目的变更历史见 README.md 的 Changelog2018 年 2 月上线成语/歇后语/汉字8 月补充词语12 月完成成语去重并下线 API——数据经历过显式的去重治理可信度较高。采用 MIT 许可证商业使用无需额外授权作者明确数据源自网络整理若涉及侵权会主动删除商用前建议知悉这一风险声明。需要扩充数据时可参考 scripts/ 中保留的抓取与清洗脚本思路在自己的环境中构建数据管道。一份 75 MB 的 JSON换来了汉字、词语、成语、歇后语四条完整的语言资产线——把数据握在本地你的中文应用就拥有了不依赖外部服务的地基。【免费下载链接】chinese-xinhua:orange_book: 中华新华字典数据库。包括歇后语成语词语汉字。项目地址: https://gitcode.com/gh_mirrors/ch/chinese-xinhua创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
