【免费下载链接】ternlight项目地址https://gitcode.com/gh_mirrors/ter/ternlight点击查看免费下载ternlight 是一个用 5-7 MB WebAssembly 包在本地完成语义嵌入embedding的轻量级搜索库。想正确评测 ternlight 性能关键就是盯住三个指标冷启动Cold start、热延迟Warm latency和吞吐量Throughput——它们分别回答首次加载多慢、生产环境每次调用多快、批量构建索引多快。本教程带你用仓库自带的官方基准脚本跑通完整性能测试并附上官方参考数据方便校准你自己的结果。一、评测前必懂ternlight 性能的四把尺子官方把运行时性能拆解为四个互补指标方法论见 docs/eval-methodology.md指标回答的问题对应场景冷启动 Cold start从import到首次embed()返回要多久页面加载、Worker 首次请求热延迟 Warm latency引擎预热后每次调用稳态耗时生产环境输入即搜体验吞吐量 Throughput持续顺序负载下每秒处理多少条离线批量建索引内存峰值 Memory peak100 次连续embed()期间的峰值 RSS排查内存泄漏与分配压力 常见误区只测平均延迟。用户真实体验取决于p95/p99 分位数这也是官方脚本的默认输出。二、冷启动测试从 import 到第一次 embed冷启动包含三段成本Wasm 实例化、tokenizer 初始化、model.bin解析与权重解包详见 docs/eval-methodology.md。官方基准脚本 perf.js 的测量方式值得借鉴用高精度计时器包住require(engine)得到 require 耗时用一条极短的废查询如warmup触发首次embed()把模型懒初始化成本剥离出来——避免查询长度干扰初始化耗时两者相加即冷启动总时长输出 JSON 中记为cold_start_ms.total。官方参考数据M4 MaxNode 20SIMD 开启冷启动约112 msrequire 首次推理见 docs/architecture.md。各项目运行时的 SLO 目标可在 eval/compatibility/runtimes.yaml 查到Node 22 为 600 ms、浏览器 1500 ms、Cloudflare Workers 仅 200 ms边缘运行时对延迟极其敏感。三、热延迟测试p50 / p95 / p99 分布才是答案热延迟衡量引擎热起来后的稳态单次耗时是用户在生产环境看到的真实数字。perf.js 的做法内置15 条典型查询覆盖常见长短的搜索语句每条重复10 次共 150 个样本正式计时前额外做 5 次 warmup 调用让 JIT 和缓存稳定样本排序后取 min / p50 / p95 / p99 / max / mean 全套分位数。官方参考数据M 系列 MacNode/V8int4 构建包热延迟 p50单线程吞吐ternlight/mini2.5 ms~400 emb/sternlight/base5.1 ms~195 emb/s以上数字来自 README.md更细的 p95约 4 ms与 ~450 emb/s 持续吞吐见 docs/architecture.md 的实测表。四、吞吐量测试离线建索引的速度上限吞吐量 持续顺序负载下的strings/sec对应一次性给整个文档库建向量索引这类离线场景。单线程顺序循环调用embed()并统计每秒条数即可注意与热延迟测量共用同一查询集避免不同语料导致结果不可比结果可近似由 p50 反推1000 / p50_ms官方脚本因此把吞吐列为可派生指标见 eval/benchmarks/README.md记录时注明构建变体emb_int4/emb_int8/emb_ternary——不同量化档位差异明显。顺带一提perf.js 还会输出内存快照RSS / heap_used和包体积.wasmmodel.bin tokenizer 总字节数一次跑完四项指标。五、上手实战三步跑通官方基准第 1 步构建引擎基准脚本要求引擎已构建cd engine wasm-pack build --target nodejs --features emb_int8 cd ..第 2 步先跑语义冒烟测试——性能数字再漂亮模型输出是垃圾也没意义。smoke.js 会对 10 组句子对数据在 eval/benchmarks/corpus/smoke-pairs.json算余弦相似度逐行给出 OK / FLAG 判定node eval/benchmarks/smoke.js第 3 步跑性能基准JSON 落到 stdout、人类可读摘要落到 stderrnode eval/benchmarks/perf.js eval/benchmarks/results/$(date %Y%m%d)-perf.json输出 JSON 自带commit、主机信息平台 CPU 型号 Node 版本与构建摘要——这就是版本锚定的来源每次发布同一套 harness结果可比。完整版评测由 scripts/run-eval.sh 统一调度并按版本归档为results/vX.Y.Z.jsonschema 见 eval/results/README.md再自动重生成 eval/REPORT.md 记分卡。六、常见踩坑清单5 个让评测失效的错误#错误做法正确姿势1复用已加载进程测冷启动必须全新进程require 首次embed()一起计时2不做 warmup 直接测热延迟先跑若干次调用等 JIT/缓存稳定3只记平均值记录 p50/p95/p99 全部分位4不记录环境commit、CPU、Node 版本、feature flag 缺一不可5只看速度不看质量性能前先用 smoke / Spearman 确认语义没退化最后一条尤其重要引擎 bug 和模型缺陷都会表现为指标下降官方原则是先证质量、再谈速度——Spearman 评测脚本见 eval/quality/spearman.js当前质量基线见 eval/quality/RESULTS.md。七、性能的另一面速度要与质量、体积一起读上表图是官方质量-体积帕累托图从 fp32 教师模型90.9 MB压缩到 int4 构建4.6 MB约 20 倍只损失 0.165 Spearman。评测 ternlight 时多快必须和多准、多小并排呈现否则单看延迟数字会严重误导选型决策。八、评测速查表Quick Reference指标测什么官方参考值int4, M 系 Mac测量脚本冷启动require 首次 embed~112 msperf.js热延迟稳态单次耗时 p50mini 2.5 ms / base 5.1 msperf.js吞吐量持续顺序 strings/secmini ~400 / base ~195由 p50 派生内存峰值100 次调用 RSS见 JSON 输出memory_mbperf.js包体积wasm bin 字节数7 MB gzippedbaseperf.js一句话总结全新进程测冷启动、warmup 后测热延迟、顺序循环测吞吐、全程锚定 commit 与环境——照 eval/benchmarks/README.md 的流程执行你的 ternlight 性能数据就具备了可比性与说服力。赞分享【免费下载链接】ternlight项目地址https://gitcode.com/gh_mirrors/ter/ternlight点击查看免费下载相关推荐Apache OpenWhisk 性能测试指南基于 wrk 与 Gatling 的吞吐量、延迟与冷启动压测实践Apache OpenWhisk 性能测试指南基于 wrk 与 Gatling 的吞吐量、延迟与冷启动压测实践 导读本文以 Apache OpenWhisk后端云原生微服务Pika性能基准测试如何评估系统吞吐量与响应延迟Pika性能基准测试如何评估系统吞吐量与响应延迟 Pika是一个兼容Redis协议的高性能键值数据库专为海量数据存储设计。通过全面的性能基准测试您可以准确数据库KV存储后端主从复制数据同步OpenAtom终极指南如何正确解读Web框架性能测试的P99延迟与吞吐量数据终极指南如何正确解读Web框架性能测试的P99延迟与吞吐量数据 在Web开发中选择合适的Web框架是提升应用性能的关键一步。GitHub加速计划we/w性能测试开发工具后端上一篇Toonflow 工作区文件工具让 Agent 安全读写项目文件的完整指南下一篇Folia 安装教程3 条路线 15 分钟跑起全屏歌词动画播放器创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
