RWKV社区现正式发布三项高额悬赏任务每项任务奖金30万元面向HF Transformers、vLLM、SGLang三大生态为RWKV-7打造生产级适配。 任务总览适配目标奖金核心要求Hugging Face Transformers30万元完整PEFT、RL库兼容vLLM30万元dynamic batching、chunked prefill、state cacheSGLang30万元同上 统一性能基准所有适配需达到RWKV-LM Albatross 引擎的生产级性能。参考基准RWKV-7 7.2BRTX 5090单卡指标性能批大小960生成10,250 token/s批大小320生成9,650 token/s批大小1生成145 token/s批大小1预填充11,289 token/sAlbatross实现了“永远恒定速度、永远恒定显存”所有适配需达到同等水平并在各种batch size下全面对标。1️⃣ HF Transformers 适配30万元需达到生产级稳定性核心要求完整兼容PEFTLoRA、Adapter等微调方法无缝可用完整兼容RL库TRL、DPO等强化学习对齐工具State-Tuning支持RWKV-7特有的状态微调精度、速度、显存占用全面对标Albatross2️⃣ vLLM 适配30万元RWKV社区已有nano-vllm支持Int8量化开发中本次任务要求完整生产级实现Dynamic Batching动态批次调度Chunked Prefill分块预填充State CacheRNN状态缓存管理须对标Albatross的吞吐和延迟3️⃣ SGLang 适配30万元需实现与vLLM同等规格的生产级适配Dynamic Batching Chunked Prefill State Cache性能对标Albatross 硬件与量化要求支持全部常见专业卡和消费卡NVIDIARTX 30/40/50系列、A100/H100等AMD通过ROCm支持量化推理支持8bit、4bit量化显存占用显著下降速度不低于16bit FP16 了解方式
