Strata 是一个开源项目，让只有 8GB 显存的普通电脑也能在本地跑起千亿参数的大模型。
它做的事很直接：把模型拆开，一部分留在显存，一部分放到系统内存，还有一部分丢给 SSD，显卡显存的需求就被摊薄了。以 1250 亿参数的 Qwen3.8-Flash-Next 为例，原始版本要吃掉 360GB 显存，而在 Strata 下，8GB 显存加 16GB 内存就能起步，实测生成速度 19～21 tok/s；12GB 显存配 64GB 内存可以摸到 50～90 tok/s。对只想在本地跑点小任务的人来说，最大的意义是只花电费，没有 API 费用，也不限量。
亮点：
- 门槛极低：8GB 显存即可尝试，RTX 3060 / 4060 Ti / 5070、RX 9060 XT / 9070 XT 乃至更老的 Quadro 都有实测数据。
- 三级卸载：显存、内存、SSD 分层承载模型，但别用机械硬盘，慢到没法用。
- 内存才是真门槛：32GB 只能跑大幅压缩的精简量化版；48GB 可保留完整专家结构；64GB 适合日常；96GB 能上更高精度的 IQ4。
- 速度够用：40 tok/s 左右就能日常使用，60 tok/s 以上相当流畅。
- AMD 有替代：A 卡用户可以用同类项目 gufo，思路一致。
适合的用途包括本地问答、文档处理、图片识别、智能家居，甚至让它帮你安装和维护 Linux 系统。
平台方面，这是一套面向桌面独显的本地推理方案，N 卡与 A 卡各有对应实现。
⚠️ 版权与免责声明：部分资源收集于互联网，不保证完全可用。
下载前请先阅读本站《免责声明》；
若遇到链接失效，可通过评论或留言联系管理员补档。
资源仅供个人学习参考，请于下载后 24 小时内删除；
如涉及版权问题，请速联系本站处理。
评论 (0)