「Strata」是一款在本地运行 AI 大模型的推理工具，0.2.9 版本把重点放在了提示词处理（Prefill）速度上。
Prefill 指的就是你把长文档、几万行代码交给本地模型后，它读完内容、开始回答之前的那段等待时间。这次在 Windows + AMD Strix Halo 上运行 Qwen3.8 IQ3_S，32K 提示词的吞吐从 778 tok/s 涨到 1460 tok/s，约 88%，同一段内容从 41 秒缩到 22 秒。经常让本地 AI 读长文档、审代码、跑 Agent 的人感受会很明显。
亮点：
- AMD 默认启用 F16 Matrix Core 内核：8K 提示词提升 80%，32K 提升 88%
- NVIDIA 同步优化：RTX PRO 5000 上 8 路并发提升约 45%，Linux 下默认启用 Gated DeltaNet 的 Tensor Core 内核
- Intel Arc B 系列继续调优：可自动识别并使用多张显卡，双 B65 短提示词 439 tok/s，单卡为 221 tok/s
- 多张 AMD 显卡修复：四张 R9700 无需手动指定 GPU，解码速度从 7.8～25.7 tok/s 提升到 57.7～103.7 tok/s
- 新增 Unsloth 1-bit DeepSeek 量化：UD-IQ1_S 241GB、UD-IQ1_M 258GB，61 项任务完成 53 项，接近 2.25-bit 版的 56 项
代价同样存在：通过批处理服务器处理单个请求时，解码速度下降约 2.7%。另外 Web 聊天界面在超长回答下不再那么卡顿。
平台：Windows / Linux，覆盖 AMD、NVIDIA、Intel 显卡。
⚠️ 版权与免责声明：部分资源收集于互联网，不保证完全可用。
下载前请先阅读本站《免责声明》；
若遇到链接失效，可通过评论或留言联系管理员补档。
资源仅供个人学习参考，请于下载后 24 小时内删除；
如涉及版权问题，请速联系本站处理。
评论 (0)