跳到正文
V2EX·· 2 小时前AI 评分42

我给 OnlyOffice + WASM 浏览器文档编辑器加了本地 AI 助手,不花 API 费用

不花一分钱 API,我给 OnlyOffice + WASM 浏览器文档编辑器加了个本地 AI 助手

AI 导读

作者为 OnlyOffice + WASM 浏览器文档编辑器加入本地 AI 助手,可用自然语言操作文档,并支持 WebMCP 供 agent 操作。AI 基于 WebLLM、WASM 和本地小模型,试用 Qwen-1.7B 与 Qwen-4B 后发现,后者回答质量有所提升但耗时更长;项目仍提供 API 配置项,AI 功能处于实验阶段且代码已完全开源。

正文

去年分享过把 OnlyOffice + WASM 跑在浏览器里的文档编辑器:

https://www.v2ex.com/t/1141764

现在这种项目在 github 上已经一大把了,层出不穷。毕竟都是开源项目,也很合理。最近 AI 发展日新月异,寻思还有没有什么可以蹭上的地方。

于是我给它加上了 AI 助手。现在可以直接用自然语言操作文档——选中、改写、摘要、批注、排版、导出,AI 能直接调用我在当前网站上提供和封装的工具来干活。整个网页也支持了 WebMCP ,可以让 agent 直接操作。

下面是我的演示例子,当然不只是 excel ,其他的也都支持

需要说明的是,实际体验中基于设备的不同,思考过程会更慢,要等更久才出结果。

因为技术上采用的是 WebLLM + WASM + 本地小模型,跟当前用户设备性能有一些关系。

如果走正常的大模型 API 服务,作为一个开源项目,这部分成本是无法承担的。不过还好随着 WebLLM 和 WASM 的发展,模型的发展,对于 Web 的适配和本地小模型能力都越来越强了,现在总算勉强能用了(是真的非常勉强跟,跟正经的大模型没的比)。

我先试了 Qwen-1.7B ,思路是模型尽量小,先试试效果。这个版本输出速度不错,基本秒问秒回,但就是回答质量一般,工具调用不准,属于模型偶尔开窍了才能用的情况。于是后面换到 Qwen-4B ,质量是提升了一些,但回答的时间长了很多。不知道还有没有什么优化的空间,这个后面再想想。

在任何场景,直接点开、加载模型就能用,同时维护者也没有任何成本,这也是我一直想做的事情,尽量减少用户的理解和心智负担,也减少维护者的成本和负担。不需要大部分用户知道什么是 baseUrl ,key ,这些可能对 v 友来说耳熟能详的东西。

想的还是很好的,但是小模型的回答速度,回答质量,调用工具的准确性实在有点难绷,最后想了想,就还是加上了 API 配置项。

期望后面本地小模型和工具能越来越强吧,或者 token 能再便宜一点。

代码已完全开源,readme 也备注 AI 部分目前还在实验阶段,有问题或者建议随便反馈,最好直接提 issue ,最最好是直接提 PR 。

在线体验: https://edit.chaxus.com/ 源码: https://github.com/ranuts/document

来源:V2EX · v2ex.com