OpenRouter发布教程：用应用自身任务对比各模型的准确率、成本与耗时
OpenRouter 于 11 月 12 日在官方博客发布《How to Benchmark LLMs》教程，介绍一种自建评测方法：用应用自身的输入与输出格式构造任务，对候选模型运行相同的任务，再比较打分后的准确率、计费成本与请求耗时三项指标。教程给出的唯一具体数据是平台方自己的主张：在其 60 个合成任务上、分三轮重复测试，GPT-6.1 Sol 在所测试的契约与设置下 180/180 全部通过。这一结果样本小、任务为合成且未经独立验证，应视为公司数据而非客观结论。该方法的直接适用对象是在多个模型之间做选型的开发者。
rss · OpenRouter 公告 · 11月12日 00:00
「为何值得现在关注」 这是 OpenRouter 官方今天刚发布的教程，明确把「用自己应用的任务做评测」作为选型方法来推广，可与公开榜单思路形成对照。已发生的变化是教程和方法的发布本身；而其中 GPT-6.1 Sol 的满分表现只是平台方在合成任务上的数据，对其他场景的实际效果尚未得到独立验证。
「可做角度」 可做角度：按教程提出的三项指标（打分准确率、计费成本、请求耗时）演示一个最小规模的自建评测流程，同时点明其示例数据的局限——结果来自平台方在 60 个合成任务上的自测，读者实操时应换成自己的真实任务再下结论，而不是照搬单一模型的满分结果。
做AI项目，先看AI雷达 - AiRadar.com.cn · 全部AI快讯 →