### I. Positionnement central

Les bras robotisés industriels ne peuvent généralement exécuter que des commandes à coordonnées fixes. Face à des situations où la position des icônes à l'écran varie selon le modèle de téléphone, la résolution et la disposition, les solutions traditionnelles nécessitent un étalonnage manuel pour chaque téléphone, une opération fastidieuse et délicate. ArmPilot Control résout ce problème :

Pour permettre aux bras robotisés de « faire des choses tout en regardant un écran », tout comme les opérateurs humains.

Ce système transforme le bras robotisé en un opérateur automatisé équipé d'une caméra et d'un stylet : la caméra joue le rôle de l'œil (pour voir), le modèle d'IA celui du cerveau (pour réfléchir) et le bras robotisé celui de la main (pour agir). Plus besoin de saisir de coordonnées de pixels ni de programmer des étapes ; il suffit de dire au logiciel : « Ouvrez la recherche Baidu et connectez-vous », et celui-ci analysera, évaluera et cliquera automatiquement.

Lien de téléchargement du logiciel : https://mega.nz/folder/wFRUAAyT#_K6jVFwNGdvXFXvPAj3gCA

### II. Aperçu fonctionnel 1. Appareils et connexions

- Prend en charge la gestion de plusieurs bras robotisés (plusieurs appareils peuvent être contrôlés par le même logiciel, avec des configurations indépendantes).

- Reconnaissance automatique des ports série USB (les pilotes CH340/CH341 sont inclus dans le package d'installation)

- Redémarre automatiquement les pilotes JxbService arrêtés ; aucune intervention manuelle n'est requise pour la première connexion après un redémarrage du système.

- Fournit un bouton d'installation de pilote en un clic ; les utilisateurs non experts peuvent effectuer la procédure via une interface graphique. 2. Configuration des emplacements

- Calibrage global réalisé en une seule étape : centrage de l'image, décalage du stylet et alignement de la règle de 50 mm.

- Pour chaque position de caméra, il suffit de sélectionner une nouvelle fois le centre de l'image pour obtenir l'intégralité des paramètres restants.

- L'appareil photo prend en charge la commutation AF/EXP/résolution/paysage/portrait.

- Calibrage automatique par IA : Un clic active un bras robotisé qui scanne l’enveloppe de mouvement globale par incréments de 50 px. L’IA identifie automatiquement le nombre de téléphones et crée des positions de caméra pour chacun, en renseignant les limites de l’écran, la zone du clavier, les coordonnées des touches de navigation et le type de système. 3. Test manuel

- Le panneau de commande Jog contrôle avec précision le mouvement XY du bras robotique (pas de 0,1/0,5/1/5 mm).

Raccourcis : stylo baissé / stylo relevé / clic / Accueil

- L'écran affiche en temps réel les PX (pixels) et les MM (coordonnées du bras robotique).

- Cliquez avec le bouton gauche pour ajuster, cliquez avec le bouton droit pour déplacer les traits.

- En changeant de position de caméra, le bras robotisé revient automatiquement au centre de l'image correspondante. 4. Enregistreur de script

- Une fois l'enregistrement lancé, les clics/glissements sur l'écran sont automatiquement enregistrés comme étapes du script.

- Prend en charge la lecture et le réglage de la vitesse (0,5× / 1× / 2×)

- Le script est partagé par tous les bras robotiques après son enregistrement.

- Le mode d'enregistrement fait la distinction entre clic simple et double clic ; les appuis et les glissements sont automatiquement enregistrés comme des glissements. 5. Créateur de scripts

Orchestrer des processus d'automatisation riches à partir de zéro :

- Appuyer brièvement/Appuyer longuement/Glisser/Saisir du texte/Touches de navigation/Attendre

- Recherche d'images/recherche de texte (OCR + stratégie de recherche plein écran/région)

- Branchement conditionnel / Boucles / Définition de variables

- Étapes d'automatisation IA : Insérez un nœud « Automatisation IA » dans le script, renseignez la cible en langage naturel, et lorsque le script atteint ce nœud, l'IA effectuera automatiquement la reconnaissance visuelle → action séquentielle → boucle de rétroaction.

Le processus d'exécution peut être mis en pause/repris, et le journal d'exécution est généré en temps réel. 6. Tâches de vision par IA

Il s'agit du mode entièrement automatique de base : l'utilisateur n'a qu'à écrire une seule phrase :

Ouvrez votre messagerie texte et envoyez « 1234 » au 10086.

Le logiciel s'exécute automatiquement :

1. Identifiez visuellement la position de toutes les icônes sur l'écran actuel.

2. L'IA détermine où se trouve l'icône « Messages » et décide sur laquelle appuyer.

3. Cliquez et attendez que la page se charge.

4. Réidentifier l'écran actuel

5. L'IA détermine « où se trouve la zone de saisie et où se trouve le bouton d'envoi ».

6. Exécuter tour par tour jusqu'à ce que l'IA détermine que la tâche est terminée.

Chaque cycle d'IA visualise l'affichage le plus récent et prend en charge plusieurs cycles de retour d'information (avec auto-correction en cas d'erreur). Un nombre maximal de cycles peut être défini pour éviter tout blocage.

7. Configuration de l'IA (nav.ai)

- Les deux fournisseurs peuvent être configurés indépendamment, et le passage de l'un à l'autre est prêt à l'emploi :

- Google Gemini (à l'étranger) : gemini-3.6-flash, etc.

- Alibaba Cloud Qwen-VL (Connexion directe en Chine) : qwen3-vl-flash

- Chaque clé API/modèle/URL de base est stocké indépendamment et n'affecte pas les autres.

- Le réglage de la température est pris en charge (0-2, 0,2 recommandé).

- Le bouton de test de connexion diagnostique automatiquement la disponibilité du compte et la liste des modèles

- Toutes les clés sont stockées uniquement dans le stockage local et ne sont téléchargées sur aucune base de données tierce. 8. Multilinguisme et internationalisation

- L'interface permet de basculer en un clic entre 11 langues (chinois/anglais/allemand/espagnol/français/indonésien/italien/japonais/coréen/russe/thaï).

- La langue par défaut est l'anglais, parfaitement adapté aux utilisateurs internationaux. 9. Journaux et aide

- Affichage en temps réel des journaux d'exécution (possibilité de les copier et de les effacer)

- Comprend une documentation d'aide utilisateur complète, couvrant chaque page de fonction.

- Portail de signalement des bogues et de développement personnalisé (Bugs & Custom Dev)

### III. Scénarios d'application typiques

1. Tests automatisés : Vérification par lots des processus d'opération de l'interface utilisateur (« Connexion → Navigation → Passer une commande »), avec une couverture de test plus élevée et un fonctionnement sans surveillance.

2. Traitement par lots de contenu : envoi de messages en masse aux comptes, réponses aux avis sur l’App Store et interactions programmées sur les plateformes de médias sociaux.

3. Assistance par télécommande : Transformer un bras robotique physique en un doigt virtuel accessible à distance.

4. Démonstration pédagogique : Montrer visuellement à l'écran comment le bras robotique « comprend » et effectue des opérations.

### IV. Installation et mise en route

1. Double-cliquez pour exécuter le package d'installation `ArmPilot Control Setup 2.0.0.exe` et sélectionnez le répertoire d'installation.

2. Après le démarrage, cliquez sur le bouton « Installer le pilote » à gauche (une seule fois).

3. Sur la page de configuration de l'IA, sélectionnez Google ou Qianwen, entrez la clé API et cliquez sur Tester la connexion + Enregistrer.

4. Retournez à la page des paramètres de position de la caméra et cliquez sur « Démarrer la configuration automatique de l’IA » (ou effectuez manuellement l’étalonnage global et créez une nouvelle position de caméra).

5. Cliquez sur Connecter pour commencer à contrôler le bras robotique en utilisant l'un des trois modes : test manuel, script ou tâche d'IA.

Configuration requise : Windows 10/11 (64 bits), port série USB disponible, réseau (pour accéder à l’IA dans le cloud)