英特尔开源的推理加速工具包,把 PyTorch、ONNX 等训好的模型转换后,在 Intel CPU/GPU 等设备上跑得更快更省资源,覆盖视觉、语音、NLP 与扩散模型。想在自己电脑离线跑 AI 应用(本地问答、本地画图)的人可以试试;要有 Python 基础,模型转换有一定学习成本。
问题:训练好的模型直接推理又慢又吃资源,在 CPU 或边缘设备上尤其明显。OpenVINO 是开源的深度学习推理优化与部署工具包,覆盖计算机视觉、语音识别、生成式 AI、NLP 大小语言模型等任务。亮点:模型来源灵活,支持 PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle、JAX/Flax 训练的模型;通过 Optimum Intel 可直接从 Hugging Face Hub 集成 transformers 和 diffusers 模型,转换后部署无需原框架;平台兼容广,从边缘到云端都能高效部署,降低资源占用。上手:pip 安装 OpenVINO,用 Optimum Intel 转换模型,再调用其推理 API(Python/C++)跑起来,文档按 Feature 与 Daily 更新。适合想在本地或 Intel 硬件上离线跑 LLM、文生图、视觉检测、追求零 API 成本的动手党;纯新手需要先会一点 Python。
openvinotoolkit/openvino · 创建于 8 年前
2026-11-22 榜单 · ★ 11,946(进页自动刷新) · 本期涨星 +200 · Fork 3,603 · 语言 C++
标签:ai / computer-vision / deep-learning / deploy-ai / diffusion-models / generative-ai / good-first-issue / inference / llm-inference / natural-language-processing / nlp / openvino
做AI项目,先看AI雷达 - AiRadar.com.cn · 全部GitHub热榜 →