### I. Kernpositionierung

Industrieroboterarme können üblicherweise nur Befehle mit festen Koordinaten ausführen. Wenn die Positionen der Bildschirmsymbole je nach Telefonmodell, Auflösung und Layout variieren, erfordern herkömmliche Lösungen eine manuelle Kalibrierung für jedes einzelne Telefon – ein mühsamer und fehleranfälliger Prozess. ArmPilot Control löst dieses Problem:

Um Roboterarme in die Lage zu versetzen, „Aufgaben zu erledigen, während sie auf einen Bildschirm schauen“, genau wie menschliche Bediener.

Es verwandelt den Roboterarm in einen automatisierten Bediener mit Kamera und Stift – die Kamera ist das Auge (zum Sehen), das KI-Modell das Gehirn (zum Denken) und der Roboterarm die Hand (zum Ausführen). Nutzer müssen keine Pixelkoordinaten oder Skriptschritte mehr eingeben; sie sagen der Software lediglich: „Öffne die Baidu-Suche und melde dich an“, und sie schaut, beurteilt und klickt automatisch.

Software-Download-Link: https://mega.nz/folder/wFRUAAyT#_K6jVFwNGdvXFXvPAj3gCA

### II. Funktionsübersicht 1. Geräte und Anschlüsse

- Unterstützt die Verwaltung mehrerer Roboterarme (mehrere Geräte können mit derselben Software und unabhängigen Konfigurationen gesteuert werden).

- Erkennt automatisch USB-Seriell-Ports (CH340/CH341-Treiber sind im Installationspaket enthalten)

- Startet automatisch gestoppte JxbService-Treiber neu; für die erste Verbindung nach einem Systemneustart ist kein manueller Eingriff erforderlich.

- Bietet eine Schaltfläche zur Treiberinstallation mit nur einem Klick; normale Benutzer können den Vorgang über eine grafische Oberfläche abschließen. 2. Steckplatzkonfiguration

- Globale Kalibrierung in einem Schritt abgeschlossen: Bildzentrierung, Stiftversatz und Ausrichtung des 50-mm-Lineals.

- Für jede Kameraposition muss nur noch einmal der Bildmittelpunkt ausgewählt werden, um die restlichen Parameter vollständig abzuleiten.

- Die Kamera unterstützt AF/EXP/Auflösung/Querformat/Hochformat-Umschaltung.

- Automatische KI-Kalibrierung: Ein Klick aktiviert einen Roboterarm, der den gesamten Bewegungsbereich in 50-Pixel-Schritten abtastet. Die KI erkennt automatisch die Anzahl der Smartphones und erstellt für jedes Gerät die entsprechenden Kamerapositionen. Dabei werden Bildschirmgrenzen, Tastaturbereich, Koordinaten der Navigationstasten und Systemtyp berücksichtigt. 3. Manueller Test

- Das Jog-Panel steuert präzise die XY-Bewegung des Roboterarms (Schritte von 0,1/0,5/1/5 mm).

- Stift absetzen / Stift loslassen / Klicken / Startknopf-Tastenkombinationen

- Auf dem Bildschirm werden PX (Pixel) und MM (Koordinaten des Roboterarms) in Echtzeit angezeigt.

- Linksklick zum Anpassen, Rechtsklick zum Verschieben der Striche

- Beim Wechsel der Kameraposition kehrt der Roboterarm automatisch in die Mitte des jeweiligen Bildes zurück. 4. Skriptaufzeichnung

Sobald die Aufnahme startet, werden Klicks/Wischgesten auf dem Bildschirm automatisch als Skriptschritte aufgezeichnet.

- Unterstützt Wiedergabe und Geschwindigkeitsanpassung (0,5× / 1× / 2×)

- Das Skript wird nach dem Speichern von allen Roboterarmen gemeinsam genutzt.

- Der Aufnahmemodus unterscheidet zwischen Einzel- und Doppelklicks; Drücken und Ziehen werden automatisch als Wischen aufgezeichnet. 5. Skript-Generator

Orchestrieren Sie komplexe Automatisierungsprozesse von Grund auf:

- Tippen/Langes Drücken/Wischen/Text eingeben/Navigationstasten/Warten

- Bildsuche/Textsuche (OCR + Vollbild-/Bereichssuche)

- Bedingte Verzweigungen / Schleifen / Variablen setzen

- Schritte der KI-Automatisierung: Fügen Sie einen "KI-Automatisierungs"-Knoten in das Skript ein, geben Sie das natürlichsprachliche Ziel ein, und wenn das Skript diesen Knoten erreicht, führt die KI automatisch eine visuelle Erkennung → sequentielle Aktion → Feedbackschleife durch.

Der Ausführungsprozess kann pausiert/fortgesetzt werden, und das Laufzeitprotokoll wird in Echtzeit ausgegeben. 6. Aufgaben im Bereich KI-Vision

Dies ist der vollautomatische Kernmodus – der Benutzer muss nur einen Satz schreiben:

Öffne deine SMS und sende "1234" an 10086.

Die Software wird automatisch ausgeführt:

1. Ermitteln Sie visuell die Positionen aller Symbole auf dem aktuellen Bildschirm.

2. Die KI ermittelt, wo sich das Symbol „Nachrichten“ befindet und entscheidet, welches angetippt werden soll.

3. Klicken Sie und warten Sie, bis die Seite geladen ist.

4. Den aktuellen Bildschirm erneut identifizieren.

5. Die KI bestimmt, „wo sich das Eingabefeld und wo sich die Schaltfläche zum Senden befindet“.

6. Führe die Aufgabe Runde für Runde aus, bis die KI feststellt, dass die Aufgabe abgeschlossen ist.

Jede KI-Runde kann die aktuelle Bildschirmanzeige einsehen und unterstützt mehrere Feedbackrunden (sie kann Fehler selbst korrigieren). Um ein Einfrieren zu verhindern, kann eine maximale Anzahl an Runden festgelegt werden.

7. KI-Konfiguration (nav.ai)

- Zwei Anbieter können unabhängig voneinander konfiguriert werden, und der Wechsel zwischen ihnen ist sofort möglich:

- Google Gemini (Übersee): gemini-3.6-flash, etc.

- Alibaba Cloud Qwen-VL (Direktverbindung innerhalb Chinas): qwen3-vl-flash

- Jeder API-Schlüssel/jedes Modell/jede Basis-URL wird unabhängig gespeichert und hat keinen Einfluss auf andere.

- Temperatureinstellung wird unterstützt (0-2, 0,2 empfohlen).

- Die Schaltfläche „Verbindung testen“ prüft automatisch die Kontoverfügbarkeit und die Modellliste.

Alle Schlüssel werden ausschließlich im lokalen Speicher abgelegt und nicht in Datenbanken von Drittanbietern hochgeladen. 8. Mehrsprachigkeit und Internationalisierung

Die Benutzeroberfläche unterstützt das Umschalten zwischen 11 Sprachen mit einem Klick (Chinesisch/Englisch/Deutsch/Spanisch/Französisch/Indonesisch/Italienisch/Japanisch/Koreanisch/Russisch/Thailändisch).

- Standardmäßig ist Englisch eingestellt, ideal für internationale Nutzer. 9. Protokolle und Hilfe

- Echtzeitanzeige von Laufzeitprotokollen (können kopiert und gelöscht werden)

- Enthält eine vollständige Benutzerhilfedokumentation, die jede Funktionsseite abdeckt.

- Portal für Fehlerfeedback und kundenspezifische Entwicklung (Fehler & Kundenspezifische Entwicklung)

### III. Typische Anwendungsszenarien

1. Automatisiertes Testen: Stapelweise Überprüfung der UI-Bedienungsprozesse („Anmelden → Durchsuchen → Bestellung aufgeben“), mit höherer Testabdeckung und unbeaufsichtigtem Betrieb.

2. Stapelverarbeitung von Inhalten: Massennachrichten an Accounts, Beantwortung von App-Store-Rezensionen und geplante Interaktionen auf Social-Media-Plattformen.

3. Unterstützung durch Fernsteuerung: Umwandlung eines physischen Roboterarms in einen aus der Ferne zugänglichen virtuellen Finger.

4. Lehrdemonstration: Zeigen Sie visuell auf dem Bildschirm, wie der Roboterarm "versteht" und Operationen ausführt.

### IV. Installation und Erste Schritte

1. Doppelklicken Sie auf die Installationsdatei „ArmPilot Control Setup 2.0.0.exe“, um sie auszuführen, und wählen Sie das Installationsverzeichnis aus.

2. Klicken Sie nach dem Start auf die Schaltfläche „Treiber installieren“ auf der linken Seite (nur einmal).

3. Wählen Sie auf der Seite zur KI-Konfiguration Google oder Qianwen aus, geben Sie den API-Schlüssel ein und klicken Sie auf Verbindung testen + Speichern.

4. Kehren Sie zur Seite mit den Kamerapositionseinstellungen zurück und klicken Sie auf „Automatische KI-Konfiguration starten“ (oder führen Sie die globale Kalibrierung manuell durch und erstellen Sie eine neue Kameraposition).

5. Klicken Sie auf Verbinden, um die Steuerung des Roboterarms mit einem der drei Modi zu starten: manueller Test, Skript oder KI-Aufgabe.

Systemvoraussetzungen: Windows 10/11 (64-Bit), verfügbarer USB-Seriell-Anschluss, Netzwerk (für den Zugriff auf Cloud-KI)