开源 Sub2API 模型质量巡检工具,支持自动剔除、冷却复测与通过后恢复
[开源] 给 Sub2API 做了个降智巡检工具,支持自动剔除、冷却复测、通过恢复
一名开发者开源了面向 Sub2API 账号池的模型质量巡检工具,可定时测试上游账号表现,并在标准答案题答错时自动暂停该账号调度。账号冷却后需通过全部复测题才能恢复接单;自动剔除默认关闭,工具还支持超时或限额时切换同组账号、记录结果及查看历史回答。
最近在折腾 Sub2API 的账号池,做了个模型质量巡检工具,分享给有同样需求的佬友。
一个分组里挂了好几个上游账号,接口都能正常返回,但有的账号碰到同一道题就是答不好。我想做的是让 Sub2API 自己定时出题、记录结果,发现异常就先把那个账号移出调度,等复测过了再放回来。 可以直接嵌进 Sub2API 巡检服务用 Docker Compose 单独部署,连上已有的 Sub2API,再加一个自定义菜单,就能在原来的面板里打开巡检页面。沿用 Sub2API 登录,无需改网关源码。 管理员可以配置巡检,普通用户也能选自己的 Key 测一轮。 自动剔除后,怎么恢复? 举个例子,给一个分组设成每小时巡检一次,选一道逻辑题和一道 JSON 题。如果某个账号明确答错了标准答案题,开启自动剔除后,巡检就会暂时停用这个账号的调度。
冷却结束后,系统会单独复测原账号。这时候账号还在暂停调度,全部复测题通过才会恢复接单。 如果没通过,就继续冷却。遇到超时、限额之类的请求问题,巡检可以按优先级换同组账号,结果也会单独记录。
自动剔除默认关闭,可以先跑几轮看看结果,再决定要不要开。 能测哪些题? 内置了糖果题、逻辑选择题、数值计算、JSON 指令遵循、指纹观察、鹈鹕骑自行车。每个分组可以多选题目,还能改题干、标准答案和每题请求次数。
有标准答案的题可以自动判。像「鹈鹕骑自行车」这类题,可以直接在结果页看 SVG 作品,也能翻历史,把不同时间的回答放在一起看。单轮答错适合当排查线索,判断模型表现有多稳定,可以多看几轮。
项目基于 NoonWake.AI 的 AI Drool Router 二次开发。欢迎佬友试用,尤其想听听大家平时都用什么题来测模型,或者希望巡检遇到什么情况时自动暂停账号。项目地址 https://github.com/daQzi/code1024-drool-router
来源:V2EX · v2ex.com