### I. 핵심 포지셔닝

산업용 로봇 팔은 일반적으로 고정 좌표 명령만 실행할 수 있습니다. 휴대폰 모델, 해상도 및 레이아웃에 따라 화면 아이콘 위치가 달라지는 시나리오에 직면했을 때 기존 솔루션은 각 휴대폰마다 수동으로 보정해야 하는데, 이는 번거롭고 불안정한 과정입니다. ArmPilot Control은 이러한 문제를 해결합니다.

로봇 팔이 사람 조작자처럼 "화면을 보면서 작업을 수행할 수 있도록" 하는 것입니다.

이 기술은 카메라와 스타일러스를 장착한 자동화된 조작기로 로봇 팔을 변모시킵니다. 카메라는 눈(보는 것), AI 모델은 두뇌(생각하는 것), 로봇 팔은 손(행동하는 것) 역할을 합니다. 사용자는 더 이상 픽셀 좌표나 스크립트 단계를 입력할 필요가 없습니다. 소프트웨어에 "바이두 검색을 열고 로그인해"라고 말하기만 하면 소프트웨어가 자동으로 보고, 판단하고, 클릭합니다.

소프트웨어 다운로드 링크: https://mega.nz/folder/wFRUAAyT#_K6jVFwNGdvXFXvPAj3gCA

### II. 기능 개요 1. 장치 및 연결

- 다중 로봇 팔 관리 기능을 지원합니다 (여러 장치를 동일한 소프트웨어로 제어하고 각각 독립적으로 설정할 수 있습니다).

- USB 시리얼 포트를 자동으로 인식합니다 (CH340/CH341 드라이버는 설치 패키지에 포함되어 있습니다).

- 중지된 JxbService 드라이버를 자동으로 다시 시작합니다. 시스템 재부팅 후 첫 연결 시 수동 작업이 필요하지 않습니다.

- 원클릭 드라이버 설치 버튼을 제공하며, 일반 사용자도 그래픽 인터페이스를 통해 설치 과정을 완료할 수 있습니다. 2. 슬롯 설정

- 이미지 중앙 정렬, 스타일러스 오프셋 및 50mm 눈금자 정렬을 한 번에 완료하는 전체 보정 작업입니다.

- 각 카메라 위치에 대해 이미지 중심만 한 번 더 선택하면 나머지 매개변수를 완전히 도출할 수 있습니다.

- 이 카메라는 AF/EXP/해상도/가로/세로 모드 전환을 지원합니다.

- AI 자동 보정: 버튼을 클릭하면 로봇 팔이 작동하여 50픽셀 간격으로 전체 동작 영역을 스캔합니다. AI는 자동으로 휴대폰 개수를 식별하고 각 휴대폰에 대한 카메라 위치를 생성하며, 화면 경계, 키보드 영역, 탐색 키 좌표 및 시스템 유형을 자동으로 입력합니다. 3. 수동 테스트

- 조그 컨트롤 패널은 로봇 팔의 XY축 움직임을 정밀하게 제어합니다(0.1/0.5/1/5mm 단위).

- 펜 내리기/펜 올리기/클릭/홈 단축키

- 화면에는 PX(픽셀)와 MM(로봇 팔 좌표)이 실시간으로 표시됩니다.

마우스 왼쪽 버튼으로 클릭하여 조정하고, 마우스 오른쪽 버튼으로 클릭하여 획을 드래그하세요.

- 카메라 위치를 변경하면 로봇 팔이 해당 이미지의 중앙으로 자동으로 복귀합니다. 4. 스크립트 레코더

- 녹화가 시작되면 화면의 클릭/스와이프 동작이 스크립트 단계로 자동으로 기록됩니다.

- 재생 및 속도 조절(0.5배/1배/2배)을 지원합니다.

- 스크립트는 저장 후 모든 로봇 팔에서 공유됩니다.

- 녹화 모드는 한 번 클릭/두 번 클릭을 구분하며, 누르거나 드래그하는 동작은 자동으로 슬라이딩으로 녹화됩니다. 5. 스크립트 메이커

풍부한 자동화 프로세스를 처음부터 체계화하세요:

- 탭/길게 누르기/밀기/텍스트 입력/탐색 키/기다리기

- 이미지 검색/텍스트 검색 (OCR + 전체 프레임/영역 검색 전략)

- 조건 분기 / 반복문 / 변수 설정

- AI 자동화 단계: 스크립트에 "AI 자동화" 노드를 삽입하고 자연어 목표를 입력하세요. 스크립트가 이 노드에 도달하면 AI가 자동으로 시각 인식 → 순차적 동작 → 피드백 루프를 완료합니다.

- 실행 프로세스를 일시 중지/재개할 수 있으며, 실행 로그가 실시간으로 출력됩니다. 6. AI 비전 작업

이것이 바로 핵심적인 완전 자동 모드입니다. 사용자는 단 한 문장만 입력하면 됩니다.

문자 메시지를 열고 10086번으로 "1234"를 보내세요.

소프트웨어는 자동으로 실행됩니다.

1. 현재 화면에 있는 모든 아이콘의 위치를 시각적으로 파악합니다.

2. AI는 "메시지" 아이콘의 위치를 파악하고 어떤 아이콘을 탭할지 결정합니다.

3. 클릭하고 페이지가 로드될 때까지 기다리세요.

4. 현재 화면을 다시 식별합니다.

5. AI는 "입력 상자의 위치와 전송 버튼의 위치"를 결정합니다.

6. AI가 작업 완료를 판단할 때까지 라운드별로 실행합니다.

각 AI 단계는 최신 화면 표시를 확인할 수 있으며, 여러 차례의 피드백을 지원합니다(오류 발생 시 자체 수정 기능 포함). AI 단계가 멈추는 것을 방지하기 위해 최대 피드백 횟수를 설정할 수 있습니다.

7. AI 설정 (nav.ai)

- 두 공급업체를 독립적으로 구성할 수 있으며, 공급업체 간 전환이 즉시 가능합니다.

- 구글 제미니(해외): gemini-3.6-flash 등

- 알리바바 클라우드 Qwen-VL (중국 내 직접 연결): qwen3-vl-flash

- 각 API 키/모델/기본 URL은 독립적으로 저장되며 서로 영향을 미치지 않습니다.

- 온도 조절 기능이 지원됩니다 (0-2, 0.2 권장).

- 연결 테스트 버튼을 누르면 계정 사용 가능 여부와 모델 목록이 자동으로 진단됩니다.

- 모든 키는 localStorage에만 저장되며 타사 데이터베이스에 업로드되지 않습니다. 8. 다국어 및 국제화

- 인터페이스는 11개 언어(중국어/영어/독일어/스페인어/프랑스어/인도네시아어/이탈리아어/일본어/한국어/러시아어/태국어) 간 원클릭 전환을 지원합니다.

- 기본 언어는 영어이며, 해외 사용자에게 매우 적합합니다. 9. 로그 및 도움말

- 런타임 로그를 실시간으로 표시합니다(복사 및 삭제 가능).

- 모든 기능 페이지를 다루는 완벽한 사용자 도움말 문서가 포함되어 있습니다.

- 버그 피드백 및 사용자 정의 개발 포털 (버그 및 사용자 정의 개발)

### III. 일반적인 적용 시나리오

1. 자동화 테스트: 사용자 인터페이스 작동 프로세스("로그인 → 둘러보기 → 주문하기")에 대한 일괄 검증을 통해 테스트 커버리지를 높이고 무인 작동이 가능합니다.

2. 일괄 콘텐츠 처리: 계정으로 대량 메시지 전송, 앱 스토어 리뷰에 대한 답변, 소셜 미디어 플랫폼에서의 예약된 상호 작용.

3. 원격 제어 지원: 물리적인 로봇 팔을 원격으로 접근 가능한 가상 손가락으로 변환합니다.

4. 교육 시연: 로봇 팔이 어떻게 "이해"하고 작업을 수행하는지 화면을 통해 시각적으로 보여줍니다.

### IV. 설치 및 시작하기

1. 설치 패키지 `ArmPilot Control Setup 2.0.0.exe`를 두 번 클릭하여 실행하고 설치 디렉토리를 선택하십시오.

2. 시작 후 왼쪽에 있는 "드라이버 설치" 버튼을 한 번만 클릭하십시오.

3. AI 설정 페이지에서 Google 또는 Qianwen을 선택하고 API 키를 입력한 다음 연결 테스트 + 저장을 클릭합니다.

4. 카메라 위치 설정 페이지로 돌아가서 "AI 자동 구성 시작"을 클릭합니다(또는 수동으로 전역 보정을 완료하고 새 카메라 위치를 생성합니다).

5. [연결]을 클릭하여 수동 테스트, 스크립트 또는 AI 작업의 세 가지 모드 중 하나를 사용하여 로봇 팔 제어를 시작하십시오.

시스템 요구 사항: Windows 10/11 (64비트), 사용 가능한 USB 시리얼 포트, 네트워크 (클라우드 AI 접속용)