### I. Posicionamiento central

Los brazos robóticos de grado industrial generalmente solo pueden ejecutar comandos de coordenadas fijas. Ante situaciones en las que la posición de los iconos en pantalla varía según el modelo, la resolución y la disposición del teléfono, las soluciones tradicionales requieren una calibración manual para cada dispositivo, un proceso tedioso y delicado. ArmPilot Control resuelve este problema:

Para que los brazos robóticos puedan "hacer cosas mientras miran una pantalla", igual que los operadores humanos.

Transforma el brazo robótico en un operador automatizado equipado con cámara y lápiz óptico: la cámara es el ojo (para ver), el modelo de IA es el cerebro (para pensar) y el brazo robótico es la mano (para actuar). Los usuarios ya no necesitan introducir coordenadas de píxeles ni pasos de script; solo tienen que indicarle al software: «Abre la búsqueda de Baidu e inicia sesión», y este buscará, analizará y hará clic automáticamente.

Enlace de descarga del software: https://mega.nz/folder/wFRUAAyT#_K6jVFwNGdvXFXvPAj3gCA

### II. Descripción general funcional 1. Dispositivos y conexiones

- Admite la gestión de múltiples brazos robóticos (varios dispositivos pueden controlarse con el mismo software, con configuraciones independientes).

- Reconoce automáticamente los puertos serie USB (los controladores CH340/CH341 están incluidos en el paquete de instalación).

- Reinicia automáticamente los controladores JxbService detenidos; no se requiere intervención manual para la primera conexión después de un reinicio del sistema.

- Proporciona un botón de instalación de controladores con un solo clic; los usuarios comunes pueden completar el proceso a través de una interfaz gráfica. 2. Configuración de ranura

- Calibración global completada en un solo paso: centrado de la imagen, desplazamiento del lápiz óptico y alineación con regla de 50 mm.

- Para cada posición de la cámara, solo es necesario seleccionar una vez más el centro de la imagen para obtener completamente los parámetros restantes.

- La cámara admite la conmutación de AF/EXP/resolución/horizontal/retrato.

- Calibración automática por IA: Al pulsar un botón, se activa un brazo robótico que escanea el área de movimiento global en pasos de 50 píxeles. La IA identifica automáticamente el número de teléfonos y crea posiciones de cámara para cada uno, rellenando los límites de la pantalla, el área del teclado, las coordenadas de las teclas de navegación y el tipo de sistema. 3. Prueba manual

- El panel de control Jog controla con precisión el movimiento XY del brazo robótico (pasos de 0,1/0,5/1/5 mm).

- Atajos de teclado: bajar el lápiz / soltar el lápiz / clic / Inicio

- La pantalla muestra los píxeles (PX) y las coordenadas del brazo robótico (MM) en tiempo real.

- Haz clic izquierdo para ajustar, clic derecho para arrastrar los trazos.

- Al cambiar a diferentes posiciones de cámara, el brazo robótico regresa automáticamente al centro de la imagen correspondiente. 4. Grabador de guiones

- Una vez que comienza la grabación, los clics/deslizamientos en la pantalla se registran automáticamente como pasos del guion.

- Admite reproducción y ajuste de velocidad (0,5× / 1× / 2×)

- El script es compartido por todos los brazos robóticos una vez guardado.

- El modo de grabación distingue entre clic simple y doble; presionar y arrastrar se graban automáticamente como deslizamiento. 5. Creador de scripts

Orqueste procesos de automatización complejos desde cero:

- Tocar/Mantener pulsado/Deslizar/Introducir texto/Teclas de navegación/Esperar

- Búsqueda de imágenes/texto (OCR + estrategia de búsqueda de fotograma completo/región)

- Ramificación condicional / Bucle / Configuración de variables

- Pasos de automatización de IA: Inserte un nodo "Automatización de IA" en el script, complete el objetivo de lenguaje natural y, cuando el script llegue a este nodo, la IA completará automáticamente el reconocimiento visual → acción secuencial → bucle de retroalimentación.

- El proceso de ejecución se puede pausar/reanudar y el registro de ejecución se muestra en tiempo real. 6. Tareas de visión artificial

Este es el modo automático básico: el usuario solo necesita escribir una frase:

Abre tu mensaje de texto y envía "1234" al 10086.

El software se ejecuta automáticamente:

1. Identifique visualmente la posición de todos los iconos en la pantalla actual.

2. La IA determina dónde se encuentra el icono de "Mensajes" y decide cuál pulsar.

3. Haz clic y espera a que se cargue la página.

4. Vuelva a identificar la pantalla actual.

5. La IA determina "dónde está el cuadro de entrada y dónde está el botón de enviar".

6. Ejecutar ronda por ronda hasta que la IA determine que la tarea está completa.

Cada ronda de IA puede ver la última información mostrada en pantalla y admite múltiples rondas de retroalimentación (puede autocorregirse si comete un error). Se puede establecer un número máximo de rondas para evitar que se bloquee.

7. Configuración de IA (nav.ai)

- Los proveedores duales se pueden configurar de forma independiente, y el cambio entre ellos está listo para usar:

- Google Gemini (en el extranjero): gemini-3.6-flash, etc.

- Alibaba Cloud Qwen-VL (conexión directa dentro de China): qwen3-vl-flash

- Cada clave API/modelo/URL base se almacena de forma independiente y no afecta a las demás.

- Se admite el ajuste de temperatura (0-2, se recomienda 0,2).

- El botón de prueba de conexión diagnostica automáticamente la disponibilidad de la cuenta y la lista de modelos.

- Todas las claves se almacenan únicamente en el almacenamiento local y no se cargan en ninguna base de datos de terceros. 8. Multilingüe e internacionalización

- La interfaz permite cambiar entre 11 idiomas con un solo clic (chino/inglés/alemán/español/francés/indonesio/italiano/japonés/coreano/ruso/tailandés).

- El idioma predeterminado es el inglés, ideal para usuarios internacionales. 9. Registros y ayuda

- Visualización en tiempo real de los registros de ejecución (se pueden copiar y borrar).

- Incluye documentación completa de ayuda al usuario, que abarca todas las páginas de funciones.

- Portal de comentarios sobre errores y desarrollo personalizado (Errores y desarrollo personalizado)

### III. Escenarios de aplicación típicos

1. Pruebas automatizadas: Verificación por lotes de los procesos de operación de la interfaz de usuario ("Iniciar sesión → Navegar → Realizar pedido"), con mayor cobertura de pruebas y operación desatendida.

2. Procesamiento de contenido por lotes: Envío masivo de mensajes a cuentas, respuesta a reseñas en la App Store e interacciones programadas en plataformas de redes sociales.

3. Asistencia por control remoto: Transformación de un brazo robótico físico en un dedo virtual accesible de forma remota.

4. Demostración didáctica: Demuestre visualmente en la pantalla cómo el brazo robótico "entiende" y realiza las operaciones.

### IV. Instalación y primeros pasos

1. Haga doble clic para ejecutar el paquete de instalación `ArmPilot Control Setup 2.0.0.exe` y seleccione el directorio de instalación.

2. Después de iniciar, haga clic en el botón "Instalar controlador" de la izquierda (solo una vez).

3. En la página de configuración de IA, seleccione Google o Qianwen, introduzca la clave API y haga clic en Probar conexión + Guardar.

4. Vuelva a la página de configuración de la posición de la cámara y haga clic en "Iniciar configuración automática de IA" (o complete manualmente la calibración global y cree una nueva posición de la cámara).

5. Haz clic en Conectar para empezar a controlar el brazo robótico utilizando uno de los tres modos: prueba manual, script o tarea de IA.

Requisitos del sistema: Windows 10/11 (64 bits), puerto serie USB disponible, conexión de red (para acceder a la IA en la nube).