热点事件持续更新
BigMoeOnEdge 端侧流式运行大 MoE 模型
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
2026年10月20日，Hacker News 的 Show HN 出现开源项目 BigMoeOnEdge。该项目基于 llama.cpp 公共 API 实现 MoE 流式推理：每个 token 只把所需专家留在内存，其余专家按需从存储读入。这样，大于内存的模型也能在手机和笔记本上运行，且输出与全内存运行一致。目前报道仅介绍其实现方式与效果，未提及发布时间表或性能数据。
AI 根据报道生成 · 2 小时前更新
最新进展10月20日 23:45
开源项目 BigMoeOnEdge 基于 llama.cpp 实现大 MoE 模型端侧流式推理。报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- Hacker News · Show HNBigMoeOnEdge 基于 llama.cpp 让大 MoE 模型在手机和笔记本上流式运行
开源项目 BigMoeOnEdge 在 llama.cpp 公共 API 之上实现 MoE 流式推理，只把每个 token 需要的专家留在内存，其余按需从存储读入，使大于内存的模型也能运行且输出与全内存运行一致。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。