跳到正文
V2EX·· 3 小时前AI 评分18

小模型训练、蒸馏和端侧推理的门槛高吗?

做模型训练、蒸馏门槛高吗

AI 导读

V2EX 用户讨论小模型训练、蒸馏、微调及端侧推理的门槛,并探讨业务团队能否快速上手训练垂直领域模型。回复指出,算力和难以量化效果是主要障碍,参数蒸馏需运行大模型,API 形式的 SFT 也有较高 token 费用;另有观点认为,云端部署和更长上下文可能是替代思路。

来源:V2EX · v2ex.com