核心流程总览
flowchart TD
A[开始] --> B[1. 环境准备<br>安装 Git, Python, Node.js]
B --> C[2. 克隆项目]
C --> D[3. 安装Python依赖]
D --> E[4. 安装浏览器<br>与驱动(自动)]
E --> F[5. 配置API密钥]
F --> G[6. 下载模型文件]
G --> H{选择启动方式}
H --> I[方式一:命令行运行<br>python main.py -u URL]
H --> J[方式二:API服务<br>python -m openwebui.scripts.serve]
I --> K[在终端查看<br>提取的JSON数据]
J --> L[通过Web界面<br>(localhost:8080)交互]
第一步:环境准备
在开始之前,请确保你的电脑上已经安装了以下基础软件:

- Git: 用于下载项目代码。
下载地址:https://git-scm.com/
- Python (版本 >= 3.10): OpenClaw 的核心运行环境。
- 下载地址:https://www.python.org/downloads/ 安装时请务必勾选 “Add Python to PATH”。
- Node.js (版本 18+): 因为 Playwright 是基于 Node.js 的浏览器自动化框架。
下载地址:https://nodejs.org/ 建议选择 LTS(长期支持)版本。
- 一个可用的 LLM API 密钥: OpenClaw 需要调用大模型来理解你的指令,目前主要支持 Anthropic Claude API,你需要去 Anthropic 官网 注册并获取一个 API Key。
第二步:下载与安装 OpenClaw
- 打开终端(Windows:CMD 或 PowerShell;Mac/Linux:Terminal)。
- 克隆项目代码:
git clone https://github.com/zhayujie/openclaw.git cd openclaw
- 安装 Python 依赖:
pip install -r requirements.txt
- 国内用户如果下载慢,可以使用清华源:
pip install -r requirements.txt -i https://pypi.tuna.tsinghua.edu.cn/simple
- 国内用户如果下载慢,可以使用清华源:
- 安装 Playwright 的浏览器(Chromium)及驱动:
playwright install chromium
这一步会自动下载浏览器,请保持网络畅通。
第三步:配置 API 密钥
OpenClaw 需要通过环境变量来读取你的 Claude API Key。
- Windows (PowerShell):
$env:ANTHROPIC_API_KEY="你的-claude-api-key"
- Windows (CMD):
set ANTHROPIC_API_KEY=你的-claude-api-key
- Mac / Linux (Terminal):
export ANTHROPIC_API_KEY="你的-claude-api-key"
- 注意:这种方式只在当前终端窗口有效,如果想永久设置,可以把上面这行命令添加到你的 shell 配置文件(如
~/.bashrc或~/.zshrc)中,然后执行source ~/.zshrc。
- 注意:这种方式只在当前终端窗口有效,如果想永久设置,可以把上面这行命令添加到你的 shell 配置文件(如
第四步:下载视觉模型文件
OpenClaw 使用一个视觉模型来“看懂”网页截图,第一次运行时,它会自动从 Hugging Face 下载模型文件(约 2-3 GB),请确保网络畅通,或者你可以提前手动下载。
- 在项目根目录创建一个
models文件夹。 - 从 Hugging Face 手动下载以下两个文件:
pytorch_model-00001-of-00002.binpytorch_model-00002-of-00002.bin
- 将它们放入
openclaw/models/MiniCPM-V-2_6-int4/目录下。
第五步:使用 OpenClaw
你有两种主要的使用方式:
通过命令行直接运行(最直接)
基本命令格式如下:
python main.py -u "<目标网页URL>" -i "<你的自然语言指令>"
示例:抓取 GitHub Trending 页面的仓库信息
python main.py -u "https://github.com/trending" -i "提取今天 trending 页面里所有仓库的名字、作者、星星数和主要编程语言,以 JSON 数组格式返回。"
程序会自动:
- 打开浏览器访问该 URL。
- 对页面进行截图。
- 将截图和你的指令发送给 Claude 和视觉模型进行分析。
- 在终端输出提取到的结构化数据(通常是 JSON 格式)。
作为 API 服务启动(提供 Web 界面)
OpenClaw 可以与 Open WebUI 集成,提供一个友好的图形界面。
- 安装 Open WebUI(在项目根目录下):
pip install open-webui
- 启动服务:
python -m openwebui.scripts.serve
- 打开浏览器,访问
http://localhost:8080。 - 在 WebUI 中,你可以像聊天一样输入 URL 和指令,系统会返回提取的数据。
高级参数与技巧
- 模型选择:默认使用 Claude 3 Haiku(快速且便宜),你可以在命令中指定其他模型,如更强大的
claude-3-5-sonnet-20241022。python main.py -u "https://example.com" -i "你的指令" --llm_model_name="claude-3-5-sonnet-20241022"
- 处理需要登录的网站:OpenClaw 支持使用已保存的浏览器上下文(Cookies)。
- 单独运行一个脚本登录目标网站并保存状态。
- 在主命令中通过
--context_dir参数指定保存的上下文目录。
- 页面等待与交互:如果页面需要滚动或点击才能加载完整内容,可以在指令中详细说明,“请先滚动到页面底部,然后提取所有产品的名称和价格”。
常见问题与解决
- 报错
ANTHROPIC_API_KEY未设置:请严格按照第三步重新设置环境变量,并确保在同一个终端窗口运行命令。
- 模型下载非常慢或失败:
使用手动下载方式(见第四步),或配置科学上网。
- Playwright 浏览器启动失败:
- 确保已经成功运行了
playwright install chromium。 - 尝试安装系统依赖:
playwright install-deps。
- 确保已经成功运行了
- Claude API 调用额度不足或报错:
- 登录 Anthropic 控制台检查 API Key 的余额和可用状态。
- 确认你使用的模型(如
claude-3-5-sonnet)在你的计划中是可用的。
- 提取结果不准确:
- 优化你的指令,尽可能清晰、具体,明确指定需要的数据字段和格式。
- 对于复杂页面,可以尝试让模型分步骤操作(“先点击这个标签页,再提取表格内容”)。
使用 OpenClaw 的核心步骤就是:准备环境 -> 下载项目 -> 装依赖 -> 配 Key -> 下模型 -> 运行命令。
它最大的优势是用自然语言告诉它你要什么,它就能自动规划操作并提取数据,非常适合抓取结构复杂或动态加载的网站,开始时可以从简单的公开页面(如 GitHub Trending、新闻列表页)试起,熟悉后再挑战更复杂的场景。
项目正在快速迭代,遇到问题时,最好的方法是去项目的 GitHub Issues 页面查找或提问,祝你使用顺利!