Cradle

一个能让AI像人一样直接操控电脑的多模态框架,通过看屏幕截图和动鼠标键盘来玩游戏、用软件,全开源。

Github 🆓 免费 🔓 开源
✨ 不依赖任何API,通用控制任意软件✨ 自我反思机制,持续优化操作✨ 支持复杂游戏和办公软件自动操控✨ 多模态输入:屏幕截图+音频理解✨ 全开源,社区可自由扩展和复现
🌐 访问官网 →

产品概述

Cradle是一个通用计算机控制(GCC)框架,由昆仑万维、北京智源人工智能研究院等联合推出。它不需要任何内部API,仅通过屏幕截图作为输入、键盘鼠标操作作为输出,就能让AI代理像人类一样直接控制计算机完成各种任务。

核心优势

Cradle最大的特点是通用性极强——不依赖任何软件的内部接口,可以自由地与任何开闭源软件交互,从游戏到办公软件都能操控。它内置了强大的推理和自我反思能力:AI可以评估自己之前操作是否成功、分析失败原因,然后调整策略。同时,Cradle还能像人一样积累和复用技能,每次操作的成功经验都会存入长期记忆,下次遇到类似任务时直接调用。 基于大型多模态模型(如GPT-4V),Cradle能识别屏幕上的视觉元素、文字和音频信息,然后自主推断当前该做什么任务、策划具体技能、生成鼠标键盘操作步骤。整个过程完全模拟人类操作电脑的方式。

适用场景