GitHub热榜
模型与训练涨星 +54榜单日期 2026-11-13整理:AI雷达增益 0捕获 0

TensorFold:不依赖 Python 的单二进制大模型

用 Zig 写的大模型推理引擎,在 Apple Silicon 和 NVIDIA GPU 上以单二进制跑 Metal/CUDA 推理,不依赖 Python 和 MLX,部署干净。想给产品嵌轻量推理后端、做本地部署的工程师值得关注;它还自带 ATC 工具管理 AI Agent 认领 issue,agent 协作玩法值得围观。需要会编译 Zig,门槛中等。

项目自述 · 据 README 提炼

TensorFold 是用 Zig 写的大模型推理引擎,主打「一个二进制搞定推理」:读取模型权重、请求分词、Metal/CUDA 核心计算全部收进单个 Zig 二进制,在 Apple Silicon 和 NVIDIA GPU 上直接提供服务,无需安装 Python 和 MLX,README 还提到 Vulkan 支持。它解决的是常规推理栈依赖一整套 Python 环境、部署重的问题——编译好二进制就能起服务,适合做本地推理、边缘部署或给自研产品嵌一个轻量推理后端。项目另一个亮点是把 AI Agent 参与开源开发流程化了:内置 contributor skill,配合 Agent Traffic Control(ATC 0.9.4+)管理智能体认领——先 `atc check ISSUE.json` 查任务是否空闲,`atc claim` 认领,干活期间 `atc pulse` 保持打卡避免五分钟超时,收尾 `atc land` 再提 PR,防止多个 agent 撞车重复劳动。上手需要会编译 Zig 项目、有对应 GPU,门槛中等偏高;适合推理/系统方向工程师,以及想围观 agent 协作开发玩法的人。

ashhart/TensorFold · 创建于 5 个月前

2026-11-13 榜单 · ★ 1,948(进页自动刷新) · 本期涨星 +54 · Fork 392 · 语言 Zig

标签:ai / ai-tools / llm / llm-inference / llm-tools

GitHub 仓库 ↗   项目主页 ↗

做AI项目,先看AI雷达 - AiRadar.com.cn · 全部GitHub热榜 →