智元发布具身全模态交互大模型 WITA-Omni
号称行业首个具身全模态端到端交互大模型，智元发布 WITA-Omni
智元正式发布 WITA-Omni（硅光动语全模态大模型），官方称其为行业首个具身全模态端到端交互大模型。该模型支持音视频、触觉和本体状态输入，以及机器人动作、表情等输出；官方称其交互响应最快约 400 毫秒、平均约 600 毫秒，并支持上百种语言和方言交流。
IT之家 11 月 10 日消息，“智元 AGIBOT”公众号今天（10 日）晚间发文宣布，智元正式发布 WITA-Omni（硅光动语全模态大模型）。
根据官方介绍，该模型也是行业首个具身全模态端到端交互大模型。WITA-Omni 基于机器人本体感知数据深度训练，除了音视频输入输出，还新增支持触觉、本体状态等输入，以及机器人动作、表情等输出，让机器人第一次拥有为物理世界而生的“交互大脑”。
基于流式全双工架构，WITA-Omni 可做到边听、边想、边应、边动、边做表情，减少传统串行处理中的等待。交互响应最快约 400 毫秒、平均约 600 毫秒，较业内平均水平快近 3 倍。
同时，全模态拒识让机器人交互不再需要唤醒词，全程自然对话。系统结合对话朝向、视频、音频、声纹、唇动、姿态、语义和上下文，决策当前发言是否需要回应。面对多人交谈或环境广播等干扰时，极大降低误触发，让机器人更懂“看场合”。
WITA-Omni 支持上百种语言和方言的免切换自由交流，并结合全双工架构，实现了流式同声传译（语言传译 & 方言传译），以及双向互译。
WITA-Omni 情感表现力更加拟人。倾听时，机器人能够通过细腻的表情和自然的头部动作给予回应；表达时，结合参数化的面部表情、富有感染力的声音与协调的肢体动作，生动呈现开心、惊讶、激动、悲伤、满意、痛哭、认真与自信等几十种情绪。每种情绪还能展现不同强度：同样是开心，既可以浅浅一笑，也可以开怀大笑，让对话更真实、更有温度。
WITA-Omni 不仅能说、能看、能动，还能画。例如，想讲一个复杂产品时，或想给孩子讲一个科普小知识时，WITA-Omni 会智能决策，将一言难尽的内容在面部屏幕实时可视化出来，让用户一目了然。
此外，WITA-Omni 能够持续感知周围环境、用户状态及其变化，自主思考、决策并采取行动，在恰当时机主动发起互动。官方宣称，机器人也能有自己的“小心思”：见到贵宾，会主动欢迎、伸手握手；收到点赞，会开心回应；看到用户挥手告别，也会立刻挥手相送。
据IT之家此前报道，今年 7 月，WITA-Omni Preview 模型以 85.21 分综合成绩登顶登顶 DailyOmni 全模态理解榜单，超过千问、Gemini、豆包、英伟达等国内外领先模型，并在八项细分指标中的六项取得第一。
相关阅读：
来源：IT之家 · ithome.com