阿里开源 Qwen-UI-Agent：真机实战把大模型变成“超级替身”

2026年8月28日 74点热度 0人点赞 0条评论

大家好，我是蓝戒。本篇我们来聊聊：“阿里GUI智能体新突破”。

不知道大家有没有试过让现在的 AI 帮你在电脑或手机上干活？

理想很丰满：“AI，帮我订一张明天最早去杭州的高铁票，顺便在盒马买好晚饭食材。”

现实很骨感：AI 在模拟器里答题头头是道，一放到真机上，遇到一个 App 开屏广告就懵了；遇到滑动验证码直接卡死；或者在美团、小红书、微信之间切个屏，上一步查到的地址转头就忘。

过去很长一段时间，所谓的“GUI 智能体（图形界面 Agent）”大多活在实验室的模拟沙盒里。

但最近，阿里千问团队（MAI-UI 团队）正式开源并发布了全新的技术报告——Qwen-UI-Agent

。

它直接把战场搬到了真实物理手机和真实操作系统上，在 MobileWorld-Real 真机评测中跑出了 92.2% 的惊人成功率，在 WebArena 网页操作评测中也以 73.6% 超越了一众闭源顶流模型。

今天蓝戒就带大家拆解一下：阿里这个能操控手机、电脑、网页的 GUI 智能体，到底掌握了哪些让它“真能干活”的独门秘籍？

要理解 Qwen-UI-Agent 的突破，得先看看传统 UI Agent 为什么老是在真实世界“掉链子”：

模拟器与真机的巨大鸿沟：真实手机上有花哨的开屏弹窗、版本更新提示、动态权限申请，甚至弱网环境。在模拟器里跑得好，在真机上分分钟抓瞎。
纯靠“鼠标点击”效率极低：明明终端里一行 bash 脚本就能批量改完 50 个文件名，很多 Agent 却非要像人类一样用鼠标点开文件夹一个一个敲，又慢又容易出错。
缺乏跨端协同能力：手机收到通知、电脑处理工作、浏览器查资料，现实中的任务往往横跨多台设备，而传统 Agent 只能单兵作战。
被动等待指令：用户不给口令，Agent 永远处于挂起状态，无法对突发事件做出主动响应。

阿里的思路非常直接：别在虚拟沙盒里闭门造车了，给 Agent 接入上百台真实手机和真实操作系统，让它在真实世界的摸爬滚打中学会操作屏幕。

这是 Qwen-UI-Agent 最硬核的底座。

阿里团队直接搭建了接入 100+ 台物理真实手机、覆盖 150+ 款主流 App 的真机移动运行时，并自建了包含 400 多个真实生活任务的 MobileWorld-Real 评测基准。

在真机环境下，模型学会了如何应对日常的各种突发状况：

所以在实测中，无论是先去抖音搜“百香果酸汤肥牛”图文笔记提取食材，再去盒马 App 精准选购加购并预约配送；还是在 12306 查车次后自动同步到钉钉安排会议，它都能一气呵成。

很多智能体之所以笨重，是因为它们把“看屏幕”和“点屏幕”当成了唯一手段。

Qwen-UI-Agent 提出了统一动作空间（Unified Action Space）：

眼睛看 GUI，双手敲 CLI：遇到图形界面就点按拖拽；遇到复杂的文件处理或系统计算，直接调用 cli_command 在后台执行 Bash 脚本。
批处理动作（Batched Actions）：传统 Agent 点一下屏幕就要等模型推理一轮；Qwen-UI-Agent 支持在一轮思考中输出连续的动作序列（批处理占比超过 40%）。

在 OSWorld-v2 长程电脑任务评测中，这种混合机制让任务步数直接减少了近 60%，既大幅提升了响应速度，又帮用户省下了大把 Token。

你有没有想过，未来真正的 AI 助理应该长什么样？

Qwen-UI-Agent 在架构上设计了一个轻量级 Harness 调度层，让它具备了主动服务（Proactive Service）和跨端协同能力：

场景设想：你的手机突然收到一条“航班取消”的系统通知。
智能体响应：
1. 手机端捕捉到通知信号，识别受影响的出行日程；
2. 自动唤起 DeepSearch 检索当天的替代航班和票价；
3. 通过手机端弹出改签方案征求你的同意；
4. 确认后在手机上完成改签，同时联动电脑端修改钉钉日程并向参会人同步新时间。

它不再只是一个听话的聊天窗口，而是变成了一个能感知数字世界动态、跨越手机与电脑的主动执行管家。

根据公开的技术报告数据，Qwen-UI-Agent 在各项权威评测中均展现出了极强的统治力：

手机真机端（MobileWorld-Real）：斩获 92.2% 成功率，超越了包括 GPT-5.6 Sol (85.4%) 和 Claude Opus 4.8 (84.7%) 在内的一众闭源模型。
浏览器端（WebArena）：取得 73.6% 的成功率，逼近人类专家水平（78.2%）。
长周期电脑端（OSWorld-Verified）：取得 79.5% 的高分，在兼顾极低执行步数的同时保持顶尖的完成质量。