Hacker News · 首页新帖·· 4 小时前AI 评分71
spinf 开源推理服务器 spinf-serve，单张 24GB GPU 一次读取回答多个问题
Show HN: Spinf-serve – inference server for bulk scoring and decisions
AI 导读
spinf 以 Apache 2.0 开源推理服务器 spinf-serve，一次读取内容即可回答多个分类或抽取问题，每个答案返回选项概率而非生成文本。
标题与摘要由 AI 辅助生成，事实与观点以原文为准。
来源：Hacker News · 首页新帖 · github.com
本站标题、摘要与推荐理由由 AI 辅助生成；原文版权归来源所有。