Appleは、マウスやトラックパッドを使わずに、手の動きだけで空中のカーソルを操作できる技術を開発しています。同社は、Mac、Vision Pro、そして将来発売予定のスマートグラス上で、手の動き、視線追跡、音声入力だけで3D環境とインタラクションできる仕組みを概説した特許を出願しました。

この特許は、3D空間におけるカーソルベースのインタラクションの現状の問題を解決するシステムについて説明しています。Appleは、現在の方法は特にテキスト編集やデジタルオブジェクトの操作において、遅く、非効率で、エラーが発生しやすいと主張しています。Appleのソリューションは、ウェアラブルやノートパソコンなどのバッテリー駆動型デバイスにおいて、ジェスチャー操作をより直感的でエネルギー効率の高いものにすることで、認知的負担を軽減します。

Patentlyappleによると、Appleの提案には、カメラによる手のトラッキング、タッチ面へのスタイラスペンや指の接触、視線の動き、音声コマンドなど、様々な入力方法が含まれているとのことです。この特許は、描画や動画編集からメッセージングやゲームまで、このシステムが幅広いユースケースに対応できることを示しています。

スマートグラスとMacのジェスチャーコントロール

この特許は複数のデバイスタイプについて記述しています。Macでは、ユーザーはカメラの前で空中ジェスチャーをしたり、大型のトラックパッドを使ってカーソルを操作したりできます。スマートグラスでは、インターフェースに仮想ウィンドウが表示され、ユーザーは立体的な3D環境でコンテンツを操作できるようになります。

スマートグラスは、奥行きをシミュレートし、没入感のあるインタラクションを実現するために、デュアルディスプレイモジュールを搭載します。ユーザーは、空間内で手を動かすだけでカーソルを動かすことができます。システムが手の位置と動きを解釈し、ユーザーの視界に浮かぶデジタルコンテンツに直接インタラクションできるようにします。

Apple、よりスマートなジェスチャー認識ツールを開発

最初の特許と同時に出願された2つ目の特許は、ハンドトラッキングの補正モードを導入しています。この補正モードは、ユーザーの手が仮想コンテンツにどれだけ近いかに基づいて入力を調整することで、より高い精度を実現します。手が一定の閾値内に収まっている場合、システムはより信頼性の高い制御のために位置を補正します。そうでない場合は、補正を行わずに生のジェスチャーを記録します。

このハンドトラッキングデータは、描画、ブラウジング、仮想オブジェクトの操作といったアプリケーションをサポートします。また、入力精度を向上させることで、拡張現実（AR）タスクにおけるエラーの低減にも貢献します。

米国特許商標庁によると、Apple はこれらの特許を番号 20250199623 および 20250199620 で出願した。Apple の空間入力担当ヒューマン インターフェイス デザイナーである Eugene Krivoruchko 氏が主任発明者として挙げられている。