TokenGate 用学习式 token 剪枝让 LLM prefill 更快更省内存

TokenGate 是一个可即插即用的小组件，让已有大模型在长上下文 prefill 阶段做端到端可学习的 token 剪枝。在多项任务上首 token 延迟快 1.4 到 11.3 倍、峰值内存低 1.5 到 3.4 倍且精度不降，相比此前最好的 token 剪枝方法 prefill 最多快 6.4 倍、峰值内存低 2 倍。