小模型训练、蒸馏与端侧推理门槛讨论

V2EX 用户讨论小模型训练、蒸馏、微调和端侧推理，结论是业务团队上手的主要障碍包括算力和效果难以量化，具体门槛取决于采用的方案。 回复指出，参数蒸馏需要运行大模型，使用 API 做监督微调（SFT）则可能产生较高的 token 费用；也有用户提出，云端部署或采用更长上下文可以作为替代思路。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。