### 一、核心定位

工业级机械臂通常只能执行固定坐标指令——面对屏幕图标位置随手机型号、分辨率、布局变化的场景，传统方案需要为每台手机手动打点标定，繁琐且脆弱。ArmPilot Control 解决的就是这个问题：

 让机械臂像人类操作员一样"看着屏幕做事"。

它把机械臂变成一只装了摄像头和触控笔的自动操作员——摄像头是眼睛（看），AI 模型是大脑（想），机械臂是手（做）。用户不再需要填写像素坐标或脚本步骤，只需要告诉软件："打开百度搜索并登录"，它会自己看、自己判断、自己点。

软件下载地址：https://mega.nz/folder/wFRUAAyT#_K6jVFwNGdvXFXvPAj3gCA

### 二、功能全景 1. 设备与连接

- 支持多机械臂管理（同一软件可操控多台设备，配置相互独立）

- 自动识别 USB 串口（CH340/CH341 驱动随安装包内置）

- 自动拉起已停的 JxbService 驱动，系统重启后首次 Connect 无需手动干预

- 提供一键安装驱动按钮，普通用户图形界面完成 2. 机位标定（Slot Setup）

- 全局标定一次完成：图像中心、触控笔偏移、50mm 标尺卡对齐

- 每个机位只需再选一次图像中心即可完整推导其余参数

- 摄像头支持 AF/EXP/分辨率/横竖屏切换

- AI 自动标定 ：点一个按钮，机械臂按 50px 步长扫描全局运动包络，AI 自动识别手机数量并逐台创建机位，填写屏幕边界、键盘区域、导航键坐标、系统类型 3. 手动测试（Manual Test）

- Jog 面板精确控制机械臂 XY 移动（0.1/0.5/1/5mm 步进）

- Pen down / Pen up / Click / Home 快捷动作

- 画面实时显示 PX（像素）与 MM（机械臂坐标）

- 左键调试点击、右键拖动笔划

- 切换不同机位，机械臂自动回到对应图像中心 4. 脚本录制（Script Recorder）

- 开启录制后对画面的点击/滑动自动记录为脚本步骤

- 支持回放、倍速执行（0.5× / 1× / 2×）

- 脚本保存后所有机械臂共享

- 录制模式区分单击/双击，按下拖动自动记为滑动 5. 脚本制作（Script Maker）

从零编排富自动化流程：

- 点击 / 长按 / 滑动 / 输入文字 / 导航键 / 等待

- 找图 / 找文字（OCR + 全帧/区域搜索策略）

- 条件分支 / 循环 / 设置变量

- AI 自动步骤 ：在脚本中插入"AI 自动"节点，填写自然语言目标，运行到此节点时 AI 自动完成视觉识别→逐轮动作→反馈闭环

- 执行过程可暂停/续跑，运行日志实时输出 6. AI 视觉任务（AI Tasks）

这是最核心的全自动模式—— 用户只写一句话 ：

 "打开短信，给 10086 发送内容 1234"

软件自动执行：

1. 视觉识别当前屏幕所有图标位置

2. AI 判断"短信"图标在哪，决定点哪

3. 点击、等页面加载

4. 再次识别当前屏幕

5. AI 判断"输入框在哪、发送按钮在哪"

6. 逐轮执行直到 AI 判定任务完成

每一轮 AI 都能看到最新的屏幕画面，支持多轮反馈（点错了能自我修正）。可设置最大轮次防止卡死。

 7. AI 配置（nav.ai）

- 双供应商独立配置，切换即用：

  - Google Gemini （海外）：gemini-3.6-flash 等

  - 阿里云通义千问 Qwen-VL （国内直连）：qwen3-vl-flash

- 每家的 API Key / 模型 / Base URL 独立保存，互不影响

- 支持温度调节（0-2，建议 0.2）

- 测试连接按钮自动诊断账号可用模型清单

- 所有 Key 仅保存在本机 localStorage，不上传任何第三方 8. 多语言与国际化

- 界面支持 11 种语言一键切换（中/英/德/西/法/印尼/意/日/韩/俄/泰）

- 默认英文，完全适合国际用户 9. 日志与帮助

- 运行日志实时显示（可复制、清空）

- 内置完整的使用帮助文档，覆盖每个功能页

- Bug 反馈与二次开发入口（Bugs & Custom Dev）

### 三、典型应用场景

1. 自动化测试 ：批量验证 UI 操作流程（"登录→浏览→下单"），测试覆盖率更高、无人值守

2. 批量内容操作 ：运营账号群发、App 商店评论回复、社交平台定时互动

3. 远程操控辅助 ：把物理世界的机械臂变成远程可访问的虚拟手指

4. 教学演示 ：在屏幕前直观展示机械臂如何"看懂"并执行操作

### 四、安装与上手

1. 安装包`ArmPilot Control Setup 2.0.0.exe` 双击运行，选择安装目录

2. 启动后点左侧「安装驱动」按钮（一次即可）

3. 在 AI 配置页选择 Google 或千问，填入 API Key，点测试连接 + 保存

4. 回到机位设置页，点「开始 AI 自动配置」（或手动完成全局标定+新建机位）

5. 点 Connect，开始用手动测试 / 脚本 / AI 任务三种模式操控机械臂

系统要求 ：Windows 10/11（64 位）、可用的 USB 串口、网络（调用云 AI）