### I. Penentuan Posisi Inti

Lengan robot kelas industri biasanya hanya dapat mengeksekusi perintah koordinat tetap. Ketika dihadapkan pada skenario di mana posisi ikon layar bervariasi tergantung pada model ponsel, resolusi, dan tata letak, solusi tradisional memerlukan kalibrasi manual untuk setiap ponsel, sebuah proses yang membosankan dan rentan. ArmPilot Control memecahkan masalah ini:

Untuk memungkinkan lengan robot "melakukan berbagai hal sambil melihat layar," sama seperti operator manusia.

Perangkat ini mengubah lengan robot menjadi operator otomatis yang dilengkapi dengan kamera dan stylus—kamera adalah mata (untuk melihat), model AI adalah otak (untuk berpikir), dan lengan robot adalah tangan (untuk melakukan). Pengguna tidak perlu lagi mengisi koordinat piksel atau langkah-langkah skrip; mereka hanya perlu memberi tahu perangkat lunak, "Buka pencarian Baidu dan masuk," dan perangkat lunak akan melihat, menilai, dan mengklik secara otomatis.

Tautan unduhan perangkat lunak: https://mega.nz/folder/wFRUAAyT#_K6jVFwNGdvXFXvPAj3gCA

### II. Gambaran Fungsional 1. Perangkat dan Koneksi

- Mendukung manajemen multi-lengan robot (beberapa perangkat dapat dikendalikan oleh perangkat lunak yang sama, dengan konfigurasi independen).

- Secara otomatis mengenali port serial USB (driver CH340/CH341 disertakan dalam paket instalasi)

- Secara otomatis memulai ulang driver JxbService yang berhenti; tidak diperlukan intervensi manual untuk koneksi pertama setelah sistem dihidupkan ulang.

- Menyediakan tombol instalasi driver sekali klik; pengguna biasa dapat menyelesaikan proses melalui antarmuka grafis. 2. Pengaturan Slot

- Kalibrasi global diselesaikan dalam satu langkah: pemusatan gambar, pergeseran stylus, dan penyelarasan penggaris 50mm.

- Untuk setiap posisi kamera, hanya pusat gambar yang perlu dipilih sekali lagi untuk mendapatkan parameter lainnya secara lengkap.

- Kamera ini mendukung peralihan mode AF/EXP/resolusi/lanskap/potret.

- Kalibrasi Otomatis AI: Mengklik tombol akan mengaktifkan lengan robot yang memindai keseluruhan area gerak dalam langkah 50px. AI secara otomatis mengidentifikasi jumlah ponsel dan membuat posisi kamera untuk masing-masing ponsel, mengisi batas layar, area keyboard, koordinat tombol navigasi, dan jenis sistem. 3. Tes Manual

- Panel kontrol Jog mengontrol pergerakan XY lengan robot secara presisi (langkah 0,1/0,5/1/5 mm).

- Pintasan pena turun / pena naik / klik / beranda

- Layar menampilkan PX (piksel) dan MM (koordinat lengan robot) secara real-time.

- Klik kiri untuk menyesuaikan, klik kanan untuk menyeret garis.

- Beralih ke posisi kamera yang berbeda, lengan robot secara otomatis kembali ke tengah gambar yang sesuai. 4. Perekam Skrip

- Setelah perekaman dimulai, klik/gesekan pada layar akan secara otomatis direkam sebagai langkah-langkah skrip.

- Mendukung pemutaran dan penyesuaian kecepatan (0,5× / 1× / 2×)

- Skrip tersebut dibagikan oleh semua lengan robot setelah disimpan.

- Mode perekaman membedakan antara klik tunggal/klik ganda; menekan dan menyeret secara otomatis direkam sebagai geser. 5. Pembuat Skrip

Merancang proses otomatisasi yang kompleks dari awal:

- Ketuk/Tekan lama/Geser/Masukkan teks/Tombol navigasi/Tunggu

- Pencarian gambar/pencarian teks (OCR + strategi pencarian bingkai penuh/wilayah)

- Percabangan bersyarat / Perulangan / Pengaturan variabel

- Langkah Otomatisasi AI: Sisipkan node "Otomatisasi AI" ke dalam skrip, isi target bahasa alami, dan ketika skrip mencapai node ini, AI akan secara otomatis menyelesaikan pengenalan visual → tindakan berurutan → siklus umpan balik.

- Proses eksekusi dapat dijeda/dilanjutkan, dan log yang berjalan akan ditampilkan secara real-time. 6. Tugas Visi AI

Ini adalah mode otomatis sepenuhnya—pengguna hanya perlu menulis satu kalimat:

Buka pesan teks Anda dan kirim "1234" ke 10086.

Perangkat lunak berjalan secara otomatis:

1. Identifikasi secara visual posisi semua ikon pada layar saat ini.

2. AI menentukan letak ikon "Pesan" dan memutuskan mana yang akan diklik.

3. Klik, tunggu hingga halaman dimuat.

4. Identifikasi ulang layar saat ini

5. AI menentukan "di mana kotak input berada dan di mana tombol kirim berada".

6. Jalankan putaran demi putaran hingga AI menentukan tugas telah selesai.

Setiap putaran AI dapat melihat tampilan layar terbaru dan mendukung beberapa putaran umpan balik (dapat mengoreksi diri sendiri jika melakukan kesalahan). Jumlah putaran maksimum dapat diatur untuk mencegahnya macet.

7. Konfigurasi AI (nav.ai)

- Dua vendor dapat dikonfigurasi secara independen, dan peralihan di antara keduanya siap digunakan:

- Google Gemini (luar negeri): gemini-3.6-flash, dll.

- Alibaba Cloud Qwen-VL (Koneksi langsung di dalam China): qwen3-vl-flash

- Setiap Kunci API/Model/URL Dasar disimpan secara independen dan tidak memengaruhi yang lain.

- Penyesuaian suhu didukung (0-2, 0,2 disarankan).

- Tombol uji koneksi secara otomatis mendiagnosis ketersediaan akun dan daftar model.

- Semua kunci hanya disimpan di localStorage dan tidak diunggah ke basis data pihak ketiga mana pun. 8. Multibahasa dan Internasionalisasi

- Antarmuka ini mendukung peralihan satu klik antara 11 bahasa (Tionghoa/Inggris/Jerman/Spanyol/Prancis/Indonesia/Italia/Jepang/Korea/Rusia/Thailand).

- Bahasa default adalah bahasa Inggris, sangat cocok untuk pengguna internasional. 9. Log dan Bantuan

- Tampilan log runtime secara real-time (dapat disalin dan dihapus)

- Mencakup dokumentasi bantuan pengguna lengkap, yang meliputi setiap halaman fungsi.

- Portal umpan balik bug dan pengembangan kustom (Bugs & Custom Dev)

### III. Skenario Aplikasi Khas

1. Pengujian Otomatis: Verifikasi batch proses operasi UI ("Login → Jelajahi → Lakukan Pemesanan"), dengan cakupan pengujian yang lebih tinggi dan operasi tanpa pengawasan.

2. Pemrosesan konten secara massal: Pengiriman pesan massal ke akun, membalas ulasan di App Store, dan interaksi terjadwal di platform media sosial.

3. Bantuan kendali jarak jauh: Mengubah lengan robot fisik menjadi jari virtual yang dapat diakses dari jarak jauh.

4. Demonstrasi Pengajaran: Demonstrasikan secara visual di layar bagaimana lengan robot "memahami" dan melakukan operasi.

### IV. Instalasi dan Memulai

1. Klik dua kali untuk menjalankan paket instalasi `ArmPilot Control Setup 2.0.0.exe` dan pilih direktori instalasi.

2. Setelah memulai, klik tombol "Instal Driver" di sebelah kiri (hanya sekali).

3. Pada halaman konfigurasi AI, pilih Google atau Qianwen, masukkan Kunci API, lalu klik Uji Koneksi + Simpan.

4. Kembali ke halaman pengaturan posisi kamera dan klik "Mulai Konfigurasi Otomatis AI" (atau selesaikan kalibrasi global secara manual dan buat posisi kamera baru).

5. Klik Hubungkan untuk mulai mengontrol lengan robot menggunakan salah satu dari tiga mode: pengujian manual, skrip, atau tugas AI.

Persyaratan Sistem: Windows 10/11 (64-bit), port serial USB yang tersedia, jaringan (untuk mengakses AI berbasis cloud)