Computer Use Preview：基于Gemini的浏览器自动化智能体，实现自然语言操控电脑

Computer Use Preview：让AI智能体学会使用你的电脑

你是否曾幻想过，只需一句简单的自然语言指令，就能让一个AI智能体帮你完成网页搜索、填写表单、点击按钮等繁琐的电脑操作？Google Gemini团队推出的 Computer Use Preview 项目，正是这一愿景的早期预览。它是一个基于Gemini模型的浏览器自动化智能体，能够理解你的意图，并通过控制真实的浏览器来执行任务，为自动化测试、数据抓取、工作流辅助等领域带来了革命性的可能。

截至收录：
Computer Use Preview项目stars数：2695
Computer Use Preview项目forks数：344

Computer Use Preview项目目录截图

Computer Use Preview项目核心亮点

• 🧠 强大的模型驱动：核心由Google Gemini模型驱动，使其能够理解复杂的自然语言指令，并规划出在浏览器中执行的操作步骤。
• 🌐 真实浏览器交互：并非模拟HTTP请求，而是通过Playwright或Browserbase控制真实的Chrome浏览器，可以处理JavaScript渲染的现代网页，交互更真实可靠。
• ⚙️ 灵活的后端支持：提供本地（Playwright）和云端（Browserbase）两种运行环境，用户可以根据需求在便捷性和可扩展性之间做出选择。
• 🔧 清晰易用的CLI：通过一个简单的Python脚本和命令行参数，即可快速启动并让智能体执行任务，降低了使用门槛。

Computer Use Preview项目快速开始

只需几步，你就能让AI智能体开始帮你操作浏览器：
1. 环境准备：
“`bash
# 克隆项目并进入目录
git clone https://github.com/google/computer-use-preview.git
cd computer-use-preview

# 创建Python虚拟环境并安装依赖
python3 -m venv .venv
source .venv/bin/activate
pip install -r requirements.txt

# 安装Playwright及其浏览器
playwright install-deps chrome
playwright install chrome
```

1. 配置API密钥（以Gemini API为例）：
   bash
# 设置你的Gemini API密钥
export GEMINI_API_KEY="YOUR_GEMINI_API_KEY"
2. 运行你的第一个指令：
   bash
# 让智能体去Google搜索“Hello World”
python main.py --query "Go to Google and type Hello World into the search bar" --env="playwright"

Computer Use Preview项目应用场景

• 自动化测试与QA：可以编写自然语言描述的测试用例，让智能体自动执行端到端的UI测试，验证关键用户流程。
• 智能数据采集：对于需要登录、翻页或与动态元素交互才能获取数据的网站，可以指令智能体模拟真人操作进行信息抓取。
• 重复性工作流自动化：自动完成每日例行报告生成、跨系统数据录入、社交媒体内容发布等固定流程的网页操作。
• 无障碍辅助工具：为行动不便的用户提供一种通过语音或文本指令来控制电脑完成网页任务的潜在方式。

Computer Use Preview项目链接

google-gemini / computer-use-preview项目地址：https://github.com/google-gemini/computer-use-preview

本文地址：https://www.tgoos.com/44540