### 一、核心定位

工業級機械手臂通常只能執行固定座標指令－面對螢幕圖示位置隨手機型號、解析度、佈局變化的場景，傳統方案需要為每台手機手動打點標定，繁瑣且脆弱。 ArmPilot Control 解決的就是這個問題：

讓機械手臂像人類操作員一樣"看著螢幕做事"。

它把機械手臂變成一隻裝了攝影機和觸控筆的自動操作員——攝影機是眼睛（看），AI 模型是大腦（想），機械手臂是手（做）。使用者不再需要填寫像素座標或腳本步驟，只需要告訴軟體："打開百度搜尋並登入"，它會自己看、自己判斷、自己點。

軟體下載網址：https://mega.nz/folder/wFRUAAyT#_K6jVFwNGdvXFXvPAj3gCA

### 二、功能全景1. 裝置與連接

- 支援多機械手臂管理（同一軟體可操控多台設備，配置相互獨立）

- 自動辨識USB 串列埠（CH340/CH341 驅動程式隨安裝包內建）

- 自動拉起已停的JxbService 驅動，系統重新啟動後首次Connect 無需手動幹預

- 提供一鍵安裝驅動按鈕，一般使用者圖形介面完成2. 機位標定（Slot Setup）

- 全域標定一次完成：影像中心、觸控筆偏移、50mm 標尺卡對齊

- 每個機位只需再選一次影像中心即可完整推導其餘參數

- 攝影機支援AF/EXP/解析度/橫豎螢幕切換

- AI 自動標定：點一個按鈕，機械臂按50px 步長掃描全局運動包絡，AI 自動識別手機數量並逐台創建機位，填寫屏幕邊界、鍵盤區域、導航鍵坐標、系統類型3.手動測試（Manual Test）

- Jog 面板精確控制機械手臂XY 移動（0.1/0.5/1/5mm 步進）

- Pen down / Pen up / Click / Home 快速動作

- 畫面即時顯示PX（像素）與MM（機械手臂座標）

- 左鍵調試點擊、右鍵拖曳筆劃

- 切換不同機位，機械手臂自動回到對應影像中心 4.腳本錄製（Script Recorder）

- 開啟錄製後對畫面的點擊/滑動自動記錄為腳本步驟

- 支援回放、倍速執行（0.5× / 1× / 2×）

- 腳本保存後所有機械手臂共享

- 錄製模式區分點擊/雙擊，按下拖曳自動記為滑動5. 腳本製作（Script Maker）

從零編排富自動化流程：

- 點選/ 長按/ 滑動/ 輸入文字/ 導航鍵/ 等待

- 找圖片/ 找文字（OCR + 全幀/區域搜尋策略）

- 條件分支/ 循環/ 設定變數

- AI 自動步驟：在腳本中插入"AI 自動"節點，填寫自然語言目標，運行到此節點時AI 自動完成視覺識別→逐輪動作→反饋閉環

- 執行過程可暫停/續跑，運行日誌即時輸出6. AI 視覺任務（AI Tasks）

這是最核心的全自動模式— 使用者只寫一句話：

"打開短信，給10086 發送內容1234"

軟體自動執行：

1. 視覺辨識目前螢幕所有圖示位置

2. AI 判斷"簡訊"圖示在哪，決定點哪

3. 點擊、等頁面加載

4. 再次辨識目前螢幕

5. AI 判斷"輸入框在哪、發送按鈕在哪"

6. 逐輪執行直到AI 判定任務完成

每一輪AI 都能看到最新的螢幕畫面，支援多輪回饋（點錯了能自我修正）。可設定最大輪次防止卡住。

7. AI 配置（nav.ai）

- 雙供應商獨立配置，切換即用：

- Google Gemini （海外）：gemini-3.6-flash 等

- 阿里雲通義千問Qwen-VL （國內直連）：qwen3-vl-flash

- 每家的API Key / 模型/ Base URL 獨立保存，互不影響

- 支援溫度調節（0-2，建議0.2）

- 測試連線按鈕自動診斷帳號可用模型清單

- 所有Key 僅保存在本機localStorage，不上傳任何第三方8. 多語言與國際化

- 介面支援11 種語言一鍵切換（中/英/德/西/法/印尼/意/日/韓/俄/泰）

- 預設英文，完全適合國際使用者9.日誌與幫助

- 運行日誌即時顯示（可複製、清空）

- 內建完整的使用幫助文檔，覆蓋每個功能頁

- Bug 回饋與二次開發入口（Bugs & Custom Dev）

### 三、典型應用場景

1. 自動化測試：批次驗證UI 操作流程（"登入→瀏覽→下單"），測試覆蓋率更高、無人值守

2. 大量內容操作：經營帳號群發、App 商店評論回覆、社群平台定時互動

3. 遠端操控輔助：把物理世界的機械手臂變成遠端可存取的虛擬手指

4. 教學示範：在螢幕前直觀展示機械手臂如何"看懂"並執行操作

### 四、安裝與上手

1. 安裝套件`ArmPilot Control Setup 2.0.0.exe` 雙擊執行，選擇安裝目錄

2. 啟動後點左側「安裝驅動」按鈕（一次即可）

3. 在AI 設定頁選擇Google 或千問，填入API Key，點測試連線+ 儲存

4. 回到機位設定頁，點選「開始AI 自動設定」（或手動完成全域標定+新機位）

5. 點Connect，開始用手動測試/ 腳本/ AI 任務三種模式操控機械手臂

系統需求：Windows 10/11（64 位元）、可用的USB 串列埠、網路（呼叫雲端AI）