### I. Posizionamento del nucleo

I bracci robotici di livello industriale in genere possono eseguire solo comandi a coordinate fisse. Quando ci si trova di fronte a scenari in cui la posizione delle icone sullo schermo varia a seconda del modello di telefono, della risoluzione e del layout, le soluzioni tradizionali richiedono una calibrazione manuale per ogni telefono, un processo tedioso e delicato. ArmPilot Control risolve questo problema:

Per consentire ai bracci robotici di "svolgere compiti guardando uno schermo", proprio come gli operatori umani.

Trasforma il braccio robotico in un operatore automatizzato dotato di telecamera e stilo: la telecamera è l'occhio (per vedere), il modello di intelligenza artificiale è il cervello (per pensare) e il braccio robotico è la mano (per fare). Gli utenti non devono più inserire coordinate in pixel o passaggi di script; devono solo dire al software: "Apri la ricerca Baidu ed effettua l'accesso", e questo cercherà, valuterà e cliccherà automaticamente.

Link per il download del software: https://mega.nz/folder/wFRUAAyT#_K6jVFwNGdvXFXvPAj3gCA

### II. Panoramica funzionale 1. Dispositivi e connessioni

- Supporta la gestione di più bracci robotici (più dispositivi possono essere controllati dallo stesso software, con configurazioni indipendenti).

- Riconosce automaticamente le porte seriali USB (i driver CH340/CH341 sono inclusi nel pacchetto di installazione)

- Riavvia automaticamente i driver JxbService arrestati; non è richiesto alcun intervento manuale per la prima connessione dopo un riavvio del sistema.

- Fornisce un pulsante per l'installazione del driver con un solo clic; gli utenti normali possono completare il processo tramite un'interfaccia grafica. 2. Configurazione dello slot

- Calibrazione globale completata in un solo passaggio: centratura dell'immagine, offset dello stilo e allineamento del righello da 50 mm.

- Per ogni posizione della telecamera, è sufficiente selezionare nuovamente il centro dell'immagine per ricavare completamente i parametri rimanenti.

- La fotocamera supporta la commutazione tra AF/EXP/risoluzione/paesaggio/ritratto.

- Calibrazione automatica AI: cliccando su un pulsante si attiva un braccio robotico che scansiona l'area di movimento globale con incrementi di 50 pixel. L'IA identifica automaticamente il numero di telefoni e crea le posizioni della fotocamera per ciascuno, riempiendo i bordi dello schermo, l'area della tastiera, le coordinate dei tasti di navigazione e il tipo di sistema. 3. Test manuale

- Il pannello di controllo Jog controlla con precisione il movimento XY del braccio robotico (passi di 0,1/0,5/1/5 mm).

- Scorciatoie da tastiera: penna abbassata / penna alzata / clic / Home

- Lo schermo visualizza in tempo reale i valori in PX (pixel) e MM (coordinate del braccio robotico).

- Fare clic con il pulsante sinistro del mouse per regolare, fare clic con il pulsante destro del mouse per trascinare i tratti

- Passando a diverse posizioni della telecamera, il braccio robotico ritorna automaticamente al centro dell'immagine corrispondente. 4. Registratore di script

- Una volta avviata la registrazione, i clic/scorrimenti sullo schermo vengono automaticamente registrati come passaggi dello script.

- Supporta la riproduzione e la regolazione della velocità (0,5× / 1× / 2×)

- Lo script viene condiviso da tutti i bracci robotici dopo essere stato salvato.

- La modalità di registrazione distingue tra clic singolo/doppio clic; la pressione e il trascinamento vengono registrati automaticamente come scorrimento. 5. Script Maker

Orchestra processi di automazione complessi partendo da zero:

- Tocca/Tieni premuto/Scorri/Inserisci testo/Tasti di navigazione/Attendi

- Ricerca immagini/ricerca testo (OCR + strategia di ricerca a schermo intero/area)

- Ramificazione condizionale / Cicli / Impostazione delle variabili

- Passaggi di automazione AI: Inserisci un nodo "Automazione AI" nello script, inserisci il target in linguaggio naturale e, quando lo script raggiunge questo nodo, l'IA completerà automaticamente il ciclo di riconoscimento visivo → azione sequenziale → feedback.

- Il processo di esecuzione può essere messo in pausa/ripreso e il registro di esecuzione viene visualizzato in tempo reale. 6. Attività di visione artificiale

Questa è la modalità completamente automatica di base: l'utente deve solo scrivere una frase:

Apri il tuo SMS e invia "1234" al numero 10086.

Il software si esegue automaticamente:

1. Identifica visivamente la posizione di tutte le icone presenti sullo schermo corrente.

2. L'intelligenza artificiale determina dove si trova l'icona "Messaggi" e decide quale toccare.

3. Fai clic e attendi il caricamento della pagina.

4. Reidentificare la schermata corrente

5. L'intelligenza artificiale determina "dove si trova la casella di input e dove si trova il pulsante di invio".

6. Eseguire round per round finché l'IA non determina che l'attività è completata.

Ogni ciclo di intelligenza artificiale può visualizzare l'ultima schermata visualizzata e supporta più cicli di feedback (è in grado di autocorregersi in caso di errore). È possibile impostare un numero massimo di cicli per evitare che il sistema si blocchi.

7. Configurazione AI (nav.ai)

- È possibile configurare due fornitori in modo indipendente e passare dall'uno all'altro è già pronto all'uso:

- Google Gemini (estero): gemini-3.6-flash, ecc.

- Alibaba Cloud Qwen-VL (connessione diretta in Cina): qwen3-vl-flash

- Ogni chiave API/modello/URL di base viene memorizzato in modo indipendente e non influisce sugli altri.

- La regolazione della temperatura è supportata (0-2, 0,2 consigliato).

- Il pulsante "Verifica connessione" diagnostica automaticamente la disponibilità dell'account e l'elenco dei modelli.

- Tutte le chiavi sono memorizzate solo in localStorage e non vengono caricate in alcun database di terze parti. 8. Multilingue e internazionalizzazione

- L'interfaccia supporta il passaggio con un solo clic tra 11 lingue (cinese/inglese/tedesco/spagnolo/francese/indonesiano/italiano/giapponese/coreano/russo/tailandese).

- La lingua predefinita è l'inglese, perfettamente adatta agli utenti internazionali. 9. Registri e Guida

- Visualizzazione in tempo reale dei log di runtime (copiabili e cancellabili)

- Include la documentazione completa di aiuto per l'utente, che copre ogni pagina relativa alle funzioni.

- Portale per la segnalazione di bug e lo sviluppo personalizzato (Bugs & Custom Dev)

### III. Scenari applicativi tipici

1. Test automatizzati: verifica in batch dei processi operativi dell'interfaccia utente ("Login → Navigazione → Effettua ordine"), con maggiore copertura dei test e funzionamento senza presidio.

2. Elaborazione in batch dei contenuti: invio di messaggi di massa agli account, risposta alle recensioni sull'App Store e interazioni programmate sulle piattaforme dei social media.

3. Assistenza tramite controllo remoto: Trasformazione di un braccio robotico fisico in un dito virtuale accessibile da remoto.

4. Dimostrazione didattica: Mostrare visivamente sullo schermo come il braccio robotico "comprende" ed esegue le operazioni.

### IV. Installazione e avvio

1. Fare doppio clic per eseguire il pacchetto di installazione `ArmPilot Control Setup 2.0.0.exe` e selezionare la directory di installazione.

2. Dopo l'avvio, fare clic sul pulsante "Installa driver" a sinistra (una sola volta).

3. Nella pagina di configurazione dell'IA, seleziona Google o Qianwen, inserisci la chiave API e fai clic su Verifica connessione + Salva.

4. Torna alla pagina delle impostazioni della posizione della telecamera e fai clic su "Avvia configurazione automatica AI" (oppure completa manualmente la calibrazione globale e crea una nuova posizione della telecamera).

5. Fai clic su Connetti per iniziare a controllare il braccio robotico utilizzando una delle tre modalità: test manuale, script o attività AI.

Requisiti di sistema: Windows 10/11 (64 bit), porta seriale USB disponibile, rete (per accedere all'IA cloud)