CUA开源计算机使用代理基础设施，跨平台AI代理控制桌面系统

CUA：计算机使用代理的开源基础设施

你是否曾经希望AI代理能够像人类一样操作完整的桌面系统？CUA（发音”koo-ah”）的出现，旨在彻底解决这个问题。它是一个开源的基础设施项目，为计算机使用代理提供沙箱环境、SDK和基准测试，帮助开发者训练和评估能够控制完整桌面系统（macOS、Linux、Windows）的AI代理。

截至收录：
CUA项目stars数：10220
CUA项目forks数：556

CUA项目目录截图

CUA项目核心亮点

🌟 跨平台支持：支持Windows、Linux和macOS三大操作系统，提供统一的pyautogui-like API接口。
🎯 模型生态丰富：内置模型动物园，支持OpenAI、Anthropic、HuggingFace等多种AI模型，支持本地和云端推理。
🔒 沙箱环境安全：提供虚拟容器环境，确保AI代理的操作在隔离的沙箱中进行，保障系统安全。
🧩 模块化设计：采用模块化架构，支持计算机控制、代理框架、MCP服务器等多个独立组件，便于定制和扩展。

CUA项目快速开始

只需几步，你就能开始使用CUA：

1. 安装Agent SDK：

   pip install cua-agent[all]

2. 创建你的第一个计算机使用代理：

   from agent import ComputerAgentagent = ComputerAgent(
   model="anthropic/claude-3-5-sonnet-20241022",
   tools=[computer],
   max_trajectory_budget=5.0
   )
   
   messages = [{"role": "user", "content": "Take a screenshot and tell me what you see"}]
   
   async for result in agent.run(messages):
   for item in result["output"]:
   if item["type"] == "message":
   print(item["content"][0]["text"])

3. 安装计算机控制模块：

   pip install cua-computer[all]

CUA项目应用场景

场景一：自动化测试：开发者可以使用CUA创建AI代理来自动化执行跨平台的软件测试任务，提高测试效率。
场景二：桌面自动化：企业可以使用CUA构建智能助手，自动完成日常的桌面操作任务，如文件管理、应用程序操作等。
场景三：AI代理训练：研究人员可以使用CUA的沙箱环境和基准测试来训练和评估新的计算机使用代理模型。
用户案例：目前，CUA正在Hack the North黑客松中举办计算机使用代理挑战赛，吸引了全球开发者的参与。

CUA项目链接

trycua / cua项目地址：https://github.com/trycua/cua

本文地址：https://www.tgoos.com/16754