Peekaboo - Mac 屏幕感知 AI Agent 自动化工具

Peekaboo 是 macOS 上的高保真屏幕捕获与 AI 驱动的 GUI 自动化工具，通过自然语言指令即可操控整个桌面。

核心能力

• 像素级截屏：支持窗口、屏幕、菜单栏捕获，可选 Retina 2x 缩放
• 自然语言 Agent：链式调用 see → click → type → scroll → hotkey → menu → window → app → dock → space
• 无障碍直接操作：set-value 直接设置可编辑值，perform-action 调用命名动作（AXPress 等）
• 菜单与 menubar 发现：结构化 JSON 输出，无需实际点击即可遍历
• 多屏自动化：跨多个显示器同步操作
• 多提供商 AI：通过 Tachikoma 接入 OpenAI、Anthropic、xAI/Grok、Google Gemini、Ollama、LM Studio 等

安装

# macOS app + CLI（Homebrew）
brew install steipete/tap/peekaboo

# MCP Server（Node 22+，无需全局安装）
npx -y @steipete/peekaboo

快速示例

# 截全屏并保存
peekaboo image --mode screen --retina --path ~/Desktop/screen.png

# 自然语言自动化
peekaboo agent "Open Notes and create a TODO list with three items"

MCP 配置

{
  "mcpServers": {
    "peekaboo": {
      "command": "npx",
      "args": ["-y", "@steipete/peekaboo"],
      "env": {
        "PEEKABOO_AI_PROVIDERS": "openai/gpt-5.5,anthropic/claude-opus-4-7"
      }
    }
  }
}

系统要求

• macOS 15.0+ (Sequoia)
• 需授予屏幕录制 + 无障碍权限

生态

• PeekabooWin — Windows 重写版（JavaScript + PowerShell）
• PeekabooX — Linux 重写版（Rust + Python）