跳到正文
腾讯新闻·· 2 天前精选AI 评分77

腾讯混元Hy4实测:从游戏广告吐槽生成游戏,并测试长任务能力

吐槽了一下游戏广告,Hy4就给我开发了一款游戏

AI 导读

作者实测腾讯混元Hy4,发现仅以游戏广告为话题与其交流后,Hy4便主动提出并生成了一款游戏。文章还测试了Hy4的图像绘制、3D建模、火箭仿真、游戏开发和办公任务,并与Opus 5.5对比部分结果。腾讯称Hy4是Hy系列首个具备视觉理解能力的模型,权重将于近期开源;其定价与Hy4 preview相同。

推荐理由

文章通过绘图、3D建模、火箭仿真和游戏开发等实测,比较Hy4在长任务中的执行与校验表现,可用于判断其在办公和开发场景的应用边界。

正文

问AI · Hy4“许愿式编程”依托何种技术底座?

图片

11月4日,腾讯混元发布最新一代大语言模型Hy4,同时宣布模型权重将于近期开源。

Hy4是Hy系列第一个引入视觉理解能力的模型,可以完成细粒度图像处理、复杂图表分析和数学视觉推理。

Hy4最大特点就是“长”。混元官方表示,相较于Hy4 preview,Hy4预训练和后训练上显著扩展了数据和训练规模,大幅提升指令遵循、长文理解、长程智能体等综合效果。

图片

办公场景,Hy4在WorkBuddy的平均效果得分83.18分,任务通过率96.15%,12个场景里9个排名国内第一。金融场景,混元联合腾讯金融科技FiT找了213位专家做众测,其中153位来自外部头部金融机构,579个真实金融任务跑下来,综合表现位居开源模型第一。

前端与游戏开发场景,GameDev和GameLogic相比preview分别提升19.1%和9.8%。科学研究,TenureTrail内部评测覆盖7大学科、123项可执行研究任务。

并且在混元自建的测试中,幻觉率从preview的12.95%降到7.2%,猜测导致的错误率从23.1%降到5.6%。

此外,Hy4的定价和Hy4 preview相同,输入6元/百万tokens,输出18元/百万tokens,缓存命中0.3元/百万tokens。并且以低成本为主的Hy4 flash也将在近期发布。

本文除了实测逐一验证官方公布的各项核心指标,还专门尝试了当下热门的“许愿式编程”场景。实测中,我仅仅是跟Hy4吐槽了一下当前的游戏广告,它就为我专门开发了一款游戏。

图片

对比Opus 5.5,长任务实测

正如官方新闻通稿描述的一样,Hy4多了视觉理解能力,也能执行长任务。所以我给了Hy4一张图片,并让它用JSPaint工具把这张图片给一笔一笔地画出来,并且还让它用视频的方式记录下来作画的过程。

提示词:

我最近迷上了绘画。请使用 Chrome 浏览器中的 JSPaint 工具,通过鼠标操作和笔触绘制出我给你的图像,并将整个绘制过程中的每一次鼠标动作和变化都记录成视频

原图:

图片

Hy4生成效果:

相同提示词对比Opus 5.5:

整个生成过程时间为1个小时零31分钟。这道题目除了测试模型的视觉理解、长任务以外,还考验了模型是否能形成“视觉闭环”。

这是Hy4刚开始画的作品,画完之后它并没有提交,相反它开始仔细比对通过JSPaint画出来的作品和原图之间的差别。

图片

随后Hy4开始对那些明显和原图有出入的地方进行细化,比如图片中的眼睛部分,最终成为了现在的样子。

图片

图片

这道题同样也考察了模型的“动手能力”,Hy4也是混元系列首次支持电脑操作(Computer Use)的模型,所以才能用JSPaint作画。

光是这样还不够,我又测试了Hy4在3D任务上的长任务能力。

提示词:

用Threejs在单个HTML里创建一座蒸汽朋克风格的钟楼,要求有完整可运转的内部传动系统。外部:石砖塔身(程序化生成砖块排列)、尖顶、四面钟盘内部(可通过按钮切换成剖面视图):不少于12个不同大小的齿轮,按真实齿数比咬合,主发条带动整套系统;钟摆左右摆动,周期约2秒整点时,铜钟摆动,鸟群从塔顶飞出,蒸汽喷出(粒子系统)日夜循环:窗户在夜间亮灯,光线投射阴影提供时间加速滑块(1x~100x)

Hy4生成效果:

相同提示词对比Opus 5.5:

表面上看,这个测试看的是模型的3D建模能力,但实际上这是一道陷阱题,它考验的是模型的数学和推理能力。

提示词中的“按真实齿数比咬合”,得模型自己算出来。Hy4的推理结果是r=m·N/2、中心距r₁+r₂、ω₂=−ω₁·N₁/N₂。在这之后,模型还需要用齿槽相位公式,让一齿对一槽。并且由于题目要求“蒸汽风格”,就需要模型把这些数学结果换算成gl_PointSize的像素。

在Hy4的输出结果中,当鼠标放到齿轮上时,会显示出准确的数值。可是查看钟楼内部时如果发生视角变动,那么背景墙壁贴图就会发生闪烁。

相较之下Opus 5.5在这方面做得更好,但是钟表的位置出现了穿模。

既然谈到了Hy4的数学能力,那不妨就多聊聊。Hy4由于扩大了后训练规模,使得它的科学能力很强。于是我以火箭发射为题,要求Hy4全程自己推算结果,实现完整的火箭发射过程。

提示词:

设计一个能把 5 吨载荷送入 400 km 近圆轨道的三级火箭。给出各级的干重、燃料量、比冲、推力,考虑重力损失和大气阻力损失。用代码模拟发射全过程的高度、速度和过载曲线,并证明最终速度达到约 7.67 km/s。

Hy4计算结果如下:

图片

相同提示词对比Opus 5.5:

图片

这道题测试的是长程的闭环自洽能力。Hy4一开始也没有按照我给它的提示词直接干活,而是把提示词中的“证明最终速度达到约7.67 km/s”,变成了恒等式v_f= Δv_ideal − L_g − L_d − L_s。

基于此,再把恒等式的四项都变成积分量。这样下来,整个提示词就变成了一个自我校验闭环,只要用两条完全独立的计算是同一个末速度,那就说明仿真结果准确。

不过Opus 5.5最后还非常贴心地给出了物理仿真源码。

图片

游戏与办公

腾讯官方表示,“视觉理解的引入也使Hy4的前端与游戏开发能力显著提升。我们对前端的复杂交互、业务逻辑、状态管理、前后端联动等方面进行了针对性优化,模型生成的界面不仅好看,并且功能完整可用。”

在游戏开发场景,Hy4与腾讯IEG专业游戏开发者合作,重点提升了功能实现、玩法逻辑、状态理解、资产处理等能力,实现了对UE、Unity、Godot等主流引擎的深度适配,并开始扩展至多人联机游戏开发。

这也是腾讯的老本行了,那实际测试结果如何呢?

提示词:

用单个 HTML 文件做一个类《吸血鬼幸存者》的割草游戏:玩家自动攻击,击杀掉落经验,升级时三选一技能(至少 12 种,可组合进化),5 种敌人和 1 个 Boss,波次难度递增,有存档和结算界面。不用外部素材,全部程序化绘制。

Hy4生成效果:

“幸存者”类游戏是前段时间的热门游戏类型,Hy4把这个关键词拆解成了状态机、空间网格碰撞、武器tick、绘制层、DOM界面和存档序列化。

而且除了基础的存档功能外,Hy4还给游戏加入了幸存者中常见的“局外增强”功能。我在提示词中并没有要求这个功能,但是增加这个功能以后,就可以让游戏变得更丰富。

提示词:

用 Canvas 或 WebGL 实现一个沙盘模拟:沙、水、油、火、木头、酸、植物等至少 10 种元素元素之间有反应规则(水加火产生蒸汽,酸腐蚀木头,植物吸水生长),支持画笔、橡皮和暂停。

Hy4生成效果:

这依然是一个陷阱题,一个能玩的“沙盘”,除了基础的物理规则以外,还必须有密度分层、寿命与相变、火焰贴住燃料、预设场景、暂停时的单步、笔刷与速度、响应式布局。

不过上述都至少有个明确的提示词,Hy4或多或少能理解它到底应该开发个什么游戏。最近“许愿式编程”很火,假如我以“许愿式编程”要求Hy4生成游戏,又会是怎样呢?

于是我新建任务,和Hy4吐槽最近那些游戏广告。我跟Hy4说:“最近什么海水过滤器、电鳗发电机、河豚制氧器不是挺火的吗?但是当我点进广告的时候发现根本不是那么回事。”

Hy4回复我说:“有人看了近20个版本的广告,却一秒实机演示都没有。真实游戏被网友评价为需要收集资源、到处点点点,不充钱或不看广告就很肝。”

最后Hy4问我要不要根据这些开发一个游戏,我同意了Hy4的请求,不过除此以外我并没有给出任何提示词,甚至我都没有跟Hy4说这个游戏应该是什么类型的。

看来Hy4也支持“许愿式编程”。

效果如下:

同样的,办公也是Hy4的重点场景。Hy4可以自己检索复杂数据,直接生成Doc、PPT、XML等文件。

提示词:

我是一名英雄联盟赛事分析师,平时负责战队青训营的教学任务。S16 全球总决赛正在进行,为提升青训队员对比赛的快速分析能力,现对青训生和试训队员做一次“S16 赛事复盘小讲课”。输出为一份可打开的 PPT 文件,命名为“S16赛事复盘小讲课”。

Hy4生成效果:

Hy4 preview的技术报告提到,“Hy4 preview在自身研发的全链路过程中发挥了积极价值,首次参与训练方法、数据策略、评估体系和底层算子的自动优化。模型提出方案、运行实验并根据结果继续迭代,实验产生的代码、日志和反馈进入下一轮探索,形成初步的递归自我改进闭环。”

可以从Hy4的实测结果里看到,无论是哪种类型的任务,“闭环”始终是模型的核心。比如一开始画图的视觉闭环、发射火箭的数学闭环、再到后面开发游戏的玩法闭环。

“闭环”也是上下文之后的一个发展趋势,反馈回来的东西,得在下一次迭代里兑现成改动。如果兑现不了,就只是转了一圈,白白消耗掉了算力。

来源:腾讯新闻 · view.inews.qq.com