产品概述
Cradle是一个通用计算机控制(GCC)框架,由昆仑万维、北京智源人工智能研究院等联合推出。它不需要任何内部API,仅通过屏幕截图作为输入、键盘鼠标操作作为输出,就能让AI代理像人类一样直接控制计算机完成各种任务。
核心优势
Cradle最大的特点是通用性极强——不依赖任何软件的内部接口,可以自由地与任何开闭源软件交互,从游戏到办公软件都能操控。它内置了强大的推理和自我反思能力:AI可以评估自己之前操作是否成功、分析失败原因,然后调整策略。同时,Cradle还能像人一样积累和复用技能,每次操作的成功经验都会存入长期记忆,下次遇到类似任务时直接调用。
基于大型多模态模型(如GPT-4V),Cradle能识别屏幕上的视觉元素、文字和音频信息,然后自主推断当前该做什么任务、策划具体技能、生成鼠标键盘操作步骤。整个过程完全模拟人类操作电脑的方式。
适用场景
- 游戏环境:已成功应用于《荒野大镖客2》《星露谷物语》《城市天际线》等复杂游戏,实现自动操控。
- 日常软件:浏览器、邮件客户端、办公软件等,可用于自动化办公。
- 专业软件:图形设计、视频编辑等需要精细操作的工具。