TokenSpeed：面向智能体工作负载的高速LLM推理引擎
一个给智能体工作负载提速的LLM推理引擎，把C++调度和Python执行拆开，兼顾性能与迭代。
GitHub lightseekorg/tokenspeed 更新 2026-10-16 分支 main 星标 2.5K 分叉 336
Python/C++/CUDA LLM推理 Scheduler与MLA NVIDIA与AMD GPU

🧭 决策指南

为什么现在热： 材料显示它在2026-10-16日榜新增30星；同期README发布NVIDIA Vera Rubin的TokenSpeed MLA 2、Qwen3.8-Flash-Next在GB300达到685 tokens/s，以及AMD MI355X上的Kimi K3进展，这些新硬件和模型性能信号足以解释当前关注度，但无法仅凭材料确认具体传播原因。

适合，如果你

  • 你要部署Qwen3.8-Flash-Next，并拥有NVIDIA GB300资源
    README News列出该模型在NVIDIA GB300上的685 tokens/s per user结果
  • 你的服务属于agentic workloads，并关注Kimi K3或Qwen3.8等模型
    README正文将agentic workloads列为设计目标，News列出Kimi K3和Qwen3.8支持
  • 你需要在NVIDIA与AMD硬件之间使用统一的Kernel扩展模型
    Differentiation章节描述portable public API、centralized registry和heterogeneous accelerators插件机制
  • 你希望用C++保证调度资源安全，同时保留Python研究迭代速度
    Differentiation章节明确描述C++ finite-state-machine控制平面与Python执行平面的分工

不适合，如果你

  • 你需要README直接提供安装或启动命令来完成首次运行
    所给README材料只有Docs Index、Getting Started和Launching a Server链接，没有可复制命令
  • 你的目标硬件不是README列出的Blackwell、GB300、NVIDIA Vera Rubin或AMD MI355X
    README性能和新闻材料集中在这些硬件，未列出其他硬件兼容范围
  • 你要求成熟版本线和大量维护者作为生产选型依据
    项目元数据显示仅2个版本、10位贡献者，最新版本为0.1.1

前置条件

  • README将目标定义为production agentic workloads。
  • README列出NVIDIA Blackwell上的MLA实现。
  • README新闻列出NVIDIA GB300、NVIDIA Vera Rubin和AMD Instinct MI355X。
  • README提供Getting Started、Launching a Server、Model Recipes和Parallelism文档链接。

要注意

  • 不要把685 tokens/s外推到未列出的模型或GPU
    README将685 tokens/s明确写给Qwen3.8-Flash-Next与NVIDIA GB300
  • 不要把Blackwell MLA结果等同于所有加速器的结果
    Kernels章节只明确称MLA为Blackwell上的实现
  • 首次运行不能从README复制命令完成
    所给README正文和列表没有安装、启动或服务命令

替代方案

  • TensorRT-LLM：材料未说明TensorRT-LLM在何种具体场景下优于TokenSpeed。
    README Differentiation章节
  • vLLM：材料未说明vLLM在何种具体场景下优于TokenSpeed。
    README正文

材料未说明

  • README未说明支持的Python、CUDA、CMake和编译器版本。
  • README未说明安装步骤、依赖安装命令和服务启动命令。
  • README未说明NVIDIA GB300、Vera Rubin或AMD MI355X以外硬件的兼容矩阵。
  • README未说明685 tokens/s测试的输入长度、并发量、批处理配置或端到端延迟。
  • README未说明Qwen3.8-Flash-Next、Kimi K3和其他模型的完整支持列表。
  • README未说明生产部署的稳定性、故障恢复和监控能力。

💡 深度解析

6
适合 我想用 Python 快速试验执行策略，同时让 C++ 负责请求生命周期和 KV cache 资源安全；TokenSpeed 是否适合这种研发方式？
适合读者： 需要用 Python 快速修改执行逻辑、但不愿直接改动 C++ 调度核心的 LLM 推理研究人员

适合，因为控制平面与执行平面的明确分离正是 TokenSpeed 的主要架构卖点。

  • Scheduler 将 C++ 用于控制平面，将 Python 用于执行平面；README 明确表示 Python 执行层用于快速迭代并降低研究人员和工程师的认知负担。
  • 请求生命周期、KV cache 所有权和重叠执行时序被编码为有限状态机，核心资源复用还由编译期类型系统强化，而不是完全依赖运行时检查。
  • Kernel 通过公共 API、集中式注册和选择模型与核心引擎隔离，研究者可以在不重写整个调度器的情况下替换或扩展底层实现。
  • 但这不是纯 Python 项目：项目包含 C++、CUDA 和 CMake，修改核心调度或 Kernel 仍要求理解并发、资源所有权和底层构建链。
  • README「The first to separate the control plane from the execution plane」
  • README「The execution plane is implemented in Python, enabling fast iteration」
  • README「request lifecycles and KV cache state ... at compile time rather than runtime」
  • 项目数据：Python、C++、CUDA、CMake 均出现在语言分布中
材料未说明：README 未说明 Python 执行层的扩展接口、调试工具和热加载能力。；README 未说明修改状态机或 Kernel 后有哪些自动化并发、资源回收和回归测试。
视情况 我需要同时评估 Qwen、GLM 和 DeepSeek，并把推理服务用于生产 Agent；项目只有 v0.1.1 和 2 个 release，我现在适合采用吗？
适合读者： 准备把早期版本 TokenSpeed 用于 Qwen、GLM 和 DeepSeek 多模型服务的部署负责人

视情况，模型方向与生产 Agent 目标匹配，但公开版本成熟度和逐模型兼容性仍是采用门槛。

  • README 的 News 列出了 Qwen、GLM、Kimi、DeepSeek 等模型的快速适配案例，说明项目重视前沿模型的 Day 0 支持。
  • 文档提供 Model Recipes、Launching a Server、Server Parameters、Compatible Parameters 和 Parallelism 入口，具备从模型配方到服务配置的部署路径。
  • 项目数据只有 2 个 release，最新为 v0.1.1；这不能证明 API、升级策略或故障恢复已经达到稳定生产标准。
  • README 还强调性能依赖具体模型、硬件和配置，因此不能假设三个模型共享同一套参数或 Kernel 支持。

如果生产环境要求成熟的升级与回滚契约，当前信息不足以直接确认适合。

  • README News「Qwen」「GLM」「DeepSeek」相关 Day 0 与优化案例
  • README Documentation「Model Recipes」「Launching a Server」「Server Parameters」「Compatible Parameters」「Parallelism」
  • 项目数据：latest_release 为 v0.1.1，release_count 为 2
材料未说明：README 未说明 v0.1.1 的 API 稳定性、兼容性策略、升级路径和回滚机制。；README 未列出 Qwen、GLM、DeepSeek 各自完整支持的模型版本、量化格式、并行配置和故障恢复能力。；README 未提供生产环境 SLA、错误率或长期运行稳定性数据。
适合 我需要在 NVIDIA GB300 上服务 Qwen3.8-Flash-Next，并优化代码代理的多轮对话、长上下文和每用户解码速度，TokenSpeed 适合吗？
适合读者： 在 NVIDIA GB300 上部署 Qwen3.8-Flash-Next、面向生产级代码代理的推理基础设施工程师

适合，因为这个组合正是 README 展示的目标工作负载和硬件路径。

  • 项目明确面向 agentic workloads，重点处理多轮请求、长上下文和高解码负载。
  • News 给出了在 NVIDIA GB300 上服务 Qwen3.8-Flash-Next、685 tokens/s per user 的案例，但该数字属于特定模型、硬件和测试条件。
  • Scheduler 使用 C++ 控制平面与 Python 执行平面，并以有限状态机管理请求生命周期和 KV cache 所有权，适合请求频繁交错的代理服务。
  • Blackwell 上的 MLA 实现和 SMG-integrated AsyncLLM 分别覆盖注意力性能与 CPU 侧请求处理开销。

因此它比面向普通短请求的通用方案更匹配你的目标，但不能把案例数字直接当作生产保证。

  • README「TokenSpeed is ... designed for agentic workloads」
  • README「685 tokens/s per user: serving Qwen3.8-Flash-Next on NVIDIA GB300」
  • README「Scheduler: C++ control plane and Python execution plane」
  • README「one of the fastest MLA ... implementations on Blackwell」
材料未说明：README 未说明你的实际上下文长度、并发分布和 KV cache 容量下的首 Token 延迟、端到端延迟与显存峰值。；README 未说明 Qwen3.8-Flash-Next 生产部署所需的具体模型配方、驱动和 CUDA 版本。
适合 我在 NVIDIA B200 上评估 Kimi K2.5，业务是多轮 Agent 请求；如果我不能只看 tokens/s，TokenSpeed 值得纳入对比吗？
适合读者： 负责 B200 上 Kimi K2.5 Agent 服务的性能工程师，需要同时比较吞吐、首 Token 延迟和 KV cache 占用

适合纳入对比，但必须按 Agent 工作负载和多维指标评估，而不是只复现 README 的单一性能数字。

  • README 提供了 TokenSpeed 与 TensorRT-LLM 在 B200、Kimi K2.5、agentic workloads 上的 Pareto 曲线，说明项目关注吞吐与延迟的权衡。
  • 项目定位不是单纯追求单模型 tokens/s，而是处理多轮对话、长上下文、交错请求和高解码占比。
  • Scheduler 显式管理 KV cache 所有权和请求生命周期，适合把 KV cache 占用、并发稳定性和请求排队纳入测试。
  • 但 README 没有给出 Pareto 图中全部原始数据，也没有承诺你的上下文长度、并发模式或精度设置能复现相同曲线。
  • README「TokenSpeed vs. TensorRT-LLM Pareto curves on agentic workloads (Kimi K2.5, B200)」
  • README「designed for agentic workloads」
  • README「Request lifecycle, KV cache ownership, and overlap timing are encoded as a finite-state machine」
材料未说明：README 未提供 B200/Kimi K2.5 Pareto 曲线的完整原始数据、并发点和测试参数。；README 未说明首 Token 延迟、端到端延迟和显存峰值的统一测量格式。
视情况 我需要在 NVIDIA 和 AMD 平台上适配 TML Inkling 的 FP4 推理，并希望 Kernel 通过稳定接口独立演进；TokenSpeed 适合吗？
适合读者： 需要在 NVIDIA 与 AMD 平台快速适配新模型和 FP4 格式的 Kernel 工程师

视情况，架构上高度匹配，但具体 FP4 算子覆盖和平台成熟度不能仅凭 README 确认。

  • News 明确提到 TML Inkling 在 NVIDIA 和 AMD 上以 FP4 运行，并链接到 TokenSpeed 相关内容，说明该模型格式属于项目适配范围。
  • Kernels 被定义为可插拔、分层的独立子系统，具有便携式公共 API、集中式注册表和 Kernel 选择机制，适合将硬件专用实现与核心引擎解耦。
  • Differentiation 提到异构加速器插件机制，理论上可为 NVIDIA 与 AMD 提供不同实现路径。
  • 但 README 未列出 Inkling 所需的全部 FP4 算子、量化布局、编译依赖和两类 GPU 的性能对等性，因此仍需确认具体 Kernel 能力。
  • README「TML Inkling ... FP4 Inference on NVIDIA and AMD with TokenSpeed」
  • README「pluggable, layered kernel system with a portable public API and a centralized registry」
  • README「an extensible plugin mechanism for heterogeneous accelerators」
材料未说明：README 未说明 Inkling FP4 在各平台上的具体 Kernel 清单、精度误差和性能差异。；README 未说明自定义 Kernel 插件的 ABI/API 稳定性、测试要求及构建流程。
视情况 我需要在 AMD Instinct MI355X 上部署 Kimi K3，同时不希望把推理引擎绑定到 NVIDIA CUDA，TokenSpeed 适合我的约束吗？
适合读者： 使用 AMD Instinct MI355X 部署 Kimi K3、需要保持异构硬件路线的模型服务工程师

视情况，项目明确支持 AMD 方向，但 README 只证明了适配路线和个别案例，不能据此确认所有 Kimi K3 服务配置都成熟。

  • News 明确列出 “Kimi K3 Optimization on AMD Instinct MI355X GPUs with TokenSpeed”，说明该硬件与模型组合是项目关注对象。
  • Kernel 采用便携式公共 API、集中式注册表、选择机制和插件扩展，设计目标是让异构加速器接入而不重写整个引擎。
  • Differentiation 还提到 NVIDIA 与 AMD 的硬件和工程支持，项目并非只围绕 CUDA 设计。
  • 但 README 没有列出 MI355X 上 Kimi K3 的完整启动参数、算子覆盖、精度限制或性能指标，因此实际可用性仍取决于对应 recipe 和软件栈。
  • README「Kimi K3 Optimization on AMD Instinct MI355X GPUs with TokenSpeed」
  • README「portable public API, centralized registry and selection model, and an extensible plugin mechanism for heterogeneous accelerators」
  • README「serious hardware and engineering support from vendors like NVIDIA and AMD」
材料未说明：README 未给出 MI355X 的 ROCm、驱动和编译工具链版本要求。；README 未说明 Kimi K3 在 MI355X 上支持的精度、并行策略、上下文长度和故障恢复行为。

✨ 核心亮点

  • C++ Scheduler与Python执行平面分离请求生命周期和KV缓存
  • 可插拔Kernels提供统一API、中央注册表与异构加速器插件机制
  • Qwen3.8-Flash-Next在NVIDIA GB300达到685 tokens/s每用户
  • README列出NVIDIA Vera Rubin与AMD MI355X的模型优化

🔧 工程化

  • Scheduler用C++有限状态机管理请求生命周期与KV缓存所有权
  • Kernels采用分层插件架构，包含Blackwell上的MLA实现
  • Entrypoint提供SMG集成的AsyncLLM，降低CPU侧请求处理开销

⚠️ 风险

  • 项目仅有2个版本、10位贡献者，最新版本为0.1.1
  • README未提供安装命令、硬件最低要求或可复制启动命令
  • 685 tokens/s数据仅明确对应Qwen3.8-Flash-Next与NVIDIA GB300

👥 适合谁？

  • 需要服务Qwen3.8或Kimi K3等大模型智能体工作负载的团队
  • 使用NVIDIA Blackwell、GB300或AMD MI355X硬件的推理工程师
  • 希望分离C++控制平面与Python执行平面的研究和工程团队