DeepSeek 开源推理框架 DeepInfer;AI 算子 ForgeKernel 同周登顶英伟达与升腾两榜,加速比 1.835×,尚待核实。
据雷锋网报道,DeepSeek 近日全面开源推理框架 DeepInfer,在模型权重和 FlashMLA、DeepGEMM 等算子库之后,把模型运行的完整链路也开放了。同一篇报道称,截至 10 月 22 日,完全由 AI 编写、无人工逐行调优的算子 ForgeKernel 同时登顶英伟达 SOL-ExecBench FlashInfer-Bench 合集榜和升腾 CANNBench A3 硬件榜,基准加速比 1.835×、领先第二名 25%,并称其在 DeepSeek v4.1 Flash 的算子上超越了 DeepSeek 开源的英伟达版本。算子效率直接决定同一块显卡的推理速度和每个 token 的成本,这类结果关系到推理价格。不过上述说法目前仅出自这一篇转述报道,未附榜单或代码仓库的原始链接,尚待核实。
rss · 雷锋网 · 10月26日 06:58
「为什么是现在」 报道把两件事放在同一周:DeepSeek 开源 DeepInfer 是已确认的动作,而 ForgeKernel 登顶两榜并超越手调版本目前只有这一处来源。如果能在榜单原始数据中核实名次和加速比,它将成为'AI 能否自主完成底层算子工程'这一讨论的直接证据,因此值得先查证、再跟进。
「可做角度」 可做角度:把'工程师逐行手调 FlashMLA 到硬件极限 90% 以上'与'据称纯 AI 生成、零人工逐行调优的 ForgeKernel 同周登顶两榜'并置,讲清手调与 AI 生成在评测口径、优化手段上的具体差别;动笔前先到两个榜单和开源仓库的原始出处核实 1.835× 加速比、名次与开源范围,避免转述未证实的性能说法。
做AI项目,先看AI雷达 - AiRadar.com.cn · 全部AI快讯 →