### I. コアポジショニング

産業用ロボットアームは通常、固定座標コマンドしか実行できません。スマートフォンの機種、解像度、レイアウトによって画面アイコンの位置が異なる場合、従来の方法では各スマートフォンごとに手動でキャリブレーションを行う必要があり、手間がかかり壊れやすい作業となります。ArmPilot Controlはこの問題を解決します。

ロボットアームが、人間のオペレーターと同じように「画面を見ながら作業を行う」ことを可能にするため。

このシステムは、カメラとスタイラスを備えた自動操作ロボットアームへとロボットアームを変貌させる。カメラは目（見る）、AIモデルは脳（考える）、そしてロボットアームは手（行う）の役割を果たす。ユーザーはピクセル座標やスクリプトの手順を入力する必要はなく、「Baidu検索を開いてログインしてください」とソフトウェアに指示するだけで、自動的に画像を見て判断し、クリックしてくれる。

ソフトウェアのダウンロードリンク：https://mega.nz/folder/wFRUAAyT#_K6jVFwNGdvXFXvPAj3gCA

### II. 機能概要 1. デバイスと接続

- 複数のロボットアームの管理をサポートします（複数のデバイスを同じソフトウェアで制御でき、それぞれ独立した設定が可能です）。

- USBシリアルポートを自動的に認識します（CH340/CH341ドライバはインストールパッケージに含まれています）

- 停止した JxbService ドライバーを自動的に再起動します。システム再起動後の最初の接続時に手動での操作は不要です。

- ワンクリックでドライバをインストールできるボタンを提供します。一般ユーザーはグラフィカルインターフェースを介してプロセスを完了できます。 2. スロット設定

- グローバルキャリブレーションがワンステップで完了：画像センタリング、スタイラスオフセット、50mm定規の位置合わせ。

各カメラ位置について、残りのパラメータを完全に導出するには、画像の中心をもう一度選択するだけでよい。

- このカメラは、AF/EXP/解像度/横位置/縦位置の切り替えに対応しています。

- AI自動キャリブレーション：ボタンをクリックすると、ロボットアームが起動し、50ピクセル間隔でグローバルな動作範囲をスキャンします。AIは自動的にスマートフォンの数を識別し、それぞれのカメラ位置を作成し、画面境界、キーボード領域、ナビゲーションキーの座標、システムタイプを補完します。 3. 手動テスト

- ジョグコントロールパネルは、ロボットアームのXY方向の動きを正確に制御します（0.1/0.5/1/5mmステップ）。

- ペンを置く/ペンを上げる/クリック/ホームショートカット

画面には、PX（ピクセル）とMM（ロボットアームの座標）がリアルタイムで表示されます。

左クリックで調整、右クリックでストロークをドラッグ

- カメラの位置を切り替えると、ロボットアームは自動的に対応する画像の中央に戻ります。 4. スクリプトレコーダー

録画が開始されると、画面上のクリックやスワイプは自動的にスクリプトのステップとして記録されます。

再生速度調整（0.5倍／1倍／2倍）に対応

スクリプトは保存後、すべてのロボットアームで共有されます。

- 記録モードでは、シングルクリックとダブルクリックを区別します。押し込みとドラッグは自動的にスライドとして記録されます。 5. スクリプトメーカー

高度な自動化プロセスをゼロから構築する：

- タップ/長押し/スライド/テキスト入力/ナビゲーションキー/待機

- 画像検索／テキスト検索（OCR＋全画面／領域検索戦略）

条件分岐／ループ／変数の設定

- AI自動化の手順: スクリプトに「AI自動化」ノードを挿入し、自然言語のターゲットを入力します。スクリプトがこのノードに到達すると、AIは自動的に視覚認識→シーケンシャルアクション→フィードバックループを完了します。

- 実行プロセスは一時停止/再開でき、実行ログはリアルタイムで出力されます。 6. AIビジョンタスク

これがコアとなる完全自動モードです。ユーザーはたった1文を書くだけで済みます。

テキストメッセージを開き、「1234」と入力して10086に送信してください。

ソフトウェアは自動的に実行されます。

1. 現在の画面上のすべてのアイコンの位置を視覚的に特定します。

2. AIは「メッセージ」アイコンの位置を特定し、どのアイコンをタップするかを決定します。

3. クリックして、ページが読み込まれるまで待ちます。

4. 現在の画面を再識別する

5. AIは「入力ボックスの位置と送信ボタンの位置」を判断します。

6. AIがタスクが完了したと判断するまで、ラウンドごとに実行します。

AIは各ラウンドで最新の画面表示を確認でき、複数回のフィードバックに対応しています（誤りがあった場合は自己修正が可能です）。フリーズを防ぐために、最大ラウンド数を設定できます。

7. AI設定（nav.ai）

- 2つのベンダーはそれぞれ独立して設定でき、切り替えもすぐに使用可能です。

- Google Gemini (海外): gemini-3.6-flash など

- Alibaba Cloud Qwen-VL（中国国内直接接続）：qwen3-vl-flash

各APIキー/モデル/ベースURLは独立して保存され、他のものに影響を与えません。

温度調整に対応しています（0～2、0.2推奨）。

- 接続テストボタンは、アカウントの可用性とモデルリストを自動的に診断します

- すべてのキーはlocalStorageにのみ保存され、サードパーティのデータベースにはアップロードされません。 8. 多言語対応と国際化

- インターフェースは、11言語（中国語/英語/ドイツ語/スペイン語/フランス語/インドネシア語/イタリア語/日本語/韓国語/ロシア語/タイ語）間のワンクリック切り替えをサポートしています。

- デフォルトは英語で、国際的なユーザーに最適です。 9. ログとヘルプ

- 実行時ログのリアルタイム表示（コピーおよび削除が可能）

- すべての機能ページを網羅した、完全なユーザーヘルプドキュメントが含まれています。

- バグ報告およびカスタム開発ポータル（バグ＆カスタム開発）

### III. 典型的なアプリケーションシナリオ

1. 自動テスト: UI操作プロセス（「ログイン→閲覧→注文」）のバッチ検証。テストカバレッジが高く、無人操作が可能。

2. バッチコンテンツ処理：アカウントへの一括メッセージ送信、App Storeのレビューへの返信、ソーシャルメディアプラットフォームでのスケジュールされたやり取り。

3. リモートコントロール支援：物理的なロボットアームを、遠隔操作可能な仮想の指に変換する。

4. 教育デモンストレーション：ロボットアームがどのように「理解」し、操作を実行するかを画面上で視覚的にデモンストレーションする。

### IV. インストールと使用開始

1. インストールパッケージ「ArmPilot Control Setup 2.0.0.exe」をダブルクリックして実行し、インストールディレクトリを選択します。

2. 起動後、左側の「ドライバーのインストール」ボタンを（一度だけ）クリックします。

3. AI設定ページで、GoogleまたはQianwenを選択し、APIキーを入力して、「接続テスト」+「保存」をクリックします。

4. カメラ位置設定ページに戻り、「AI自動構成を開始」をクリックします（または、グローバルキャリブレーションを手動で完了し、新しいカメラ位置を作成します）。

5. 「接続」をクリックして、手動テスト、スクリプト、またはAIタスクの3つのモードのいずれかを使用してロボットアームの制御を開始します。

システム要件：Windows 10/11（64ビット）、利用可能なUSBシリアルポート、ネットワーク接続（クラウドAIへのアクセス用）