不训练就能改本地大模型的行为:去拒答、去 AI 味、去谄媚,用对比提示词加打分器做数学调整,游戏 PC 一下午搞定。玩本地部署、定制模型服务的可研究;需要显卡和命令行基础,合规风险自己把握。
项目自述 · 据 README 提炼
heretic 解决一个以前只有坐拥大量算力的公司才玩得起的问题:修改(Modify)而不只是运行一个语言模型。它不做昂贵训练,而是用一组数学技巧,基于对比示例提示词加匹配的打分器来引导模型行为,在你的游戏 PC 上一下午就能完成。能改什么:默认动作是压制拒答、去除审查(remove censorship);换配置文件还能去 slop(AI 废话味)、去幽默、去谄媚、调整情绪对齐,分别对应 config.noslop.toml、config.nohumor.toml、config.nosyco.toml、config.emotions.toml。硬件上,任何你本机跑得动的开源模型都能改;显存吃紧可启用 bitsandbytes 4-bit 量化(设 quantization 为 bnb_4bit),把处理模型所需显存压到与跑量化版相当,精度略降。对读者的用处:做本地模型部署、定制模型风格、打造差异化 AI 服务时,比租卡微调便宜得多、快得多。门槛:需要本地 GPU 环境、命令行和基本配置能力;注意调整模型行为涉及合规与安全风险,去审查类用途务必谨慎掂量。
p-e-w/heretic
2026-11-03 榜单 · ★ 420(进页自动刷新) · 本期涨星 +420 · 语言 Python
做AI项目,先看AI雷达 - AiRadar.com.cn · 全部GitHub热榜 →