ヒューマノイドロボットが工場や家庭で「人の代わりに作業する」未来像を描くとき、大きな難所の一つとなるのが 「手」 です。歩く・運ぶといった全身の移動動作に比べて、コップをつかむ、ネジを締める、布をたたむといった 指先の繊細な操作（マニピュレーション） は、ロボティクスにおいて依然として難しい領域とされています。
本コラムは、第1弾「フィジカルAI時代のモーションキャプチャー」の続編として、テーマを ロボットの「手」 に絞ります。手の動きをどうやってデータ化し（ハンドトラッキング）、それをどうやってロボットに移して動かすか（マニピュレーション制御）。
その鍵を握るモーションキャプチャー／データグローブの役割と、世界の最新動向を、出典付きで解説します。
はじめに｜なぜ「手」がロボティクスの難所なのか
結論から言うと、ロボットの「手」は 自由度（DoF）が高く、しかも触覚（接触）を伴う ため、全身の移動動作よりも学習・制御が難しい部位とされています。
人間の手は片手だけで 20以上（関節の数え方によっては約27）の自由度 を持つとされ、片手だけでも両腕・両手首・片脚を合わせた数に匹敵する制御自由度がある、という指摘もあります（参考: FOXTECH「Humanoid Robots – Dexterous Hands」〔二次情報〕）。つまり「手」は、身体のごく一部でありながら、ロボットが人間の作業を肩代わりするうえで決定的に重要な エンドエフェクター（作業の末端） なのです。
近年、ハードウェアの進化でロボットハンド（デクスタラスハンド：多自由度の器用なロボットハンド）の自由度は人間に近づきつつあります。たとえばTesla関係者の投稿や関連報道では、Optimusの次世代ハンドは 22自由度 とされています（出典: 関連報道（optimusk.blog）〔二次情報〕。Tesla公式の仕様表として確認できる数値ではありません）。Figure 03については、公式が片手あたりの自由度の内訳を公表していませんが、掌（てのひら）カメラや指先の触覚センサーを備え、約3グラムの微小な力も検知できる と公式に説明されています（出典: Figure「Introducing Figure 03」）。
しかし、ハードウェアが人間の手に近づいても、それを 「どう動かすか」＝賢く操作する知能 はまだ追いついていません。そしてその知能を育てるには、第1弾で述べたのと同じく、現実世界の人間の手の動作データ が大量に必要になります。ここで、指先の動きを精密に取得するハンドトラッキングが主役になります。
弊社にハンドトラッキングについて相談してみませんか？
用途・予算に応じた最適なシステム選定から、デモ機のお試しまでサポートいたします。
用語整理｜ハンドトラッキングとマニピュレーションは何が違う？
混同されやすい2つの言葉を、最初に整理します。ごく単純化すると、ハンドトラッキングは「人の手の動きを取り込む（入力）」、マニピュレーションは「ロボットの手を動かす（出力）」の話で、本コラムはこの入力と出力の2軸で進みます。
- ハンドトラッキング（Hand Tracking）：人間の手・指の動きをセンサーで計測しデジタルデータ化すること。「手の動きを取り込む」入力側の技術。
- マニピュレーション（Manipulation）：ロボットが手で物体をつかむ・操作する・組み立てるといった 物体操作のタスク そのもの。「手をどう動かすか」という出力・制御側の話。
- マニピュレーション学習／制御：取得した手の動作データをもとに、ロボットが物体操作の方策を学び、実機の指を動かすこと。
第1弾で扱った テレオペレーション は「人がロボットを遠隔操作すること」、つまり操作の 手段 を指す言葉でした。今回のマニピュレーションは「手で何をするか」という タスクの種類 を指す言葉で、両者は別の概念です。テレオペレーションは、マニピュレーションのデータを集めるための一手段、という関係になります。
ロボットの手は「身体差ギャップ」という壁にぶつかる
ロボットの手の学習で、研究者がしばしば挙げる難所が 「身体差ギャップ（embodiment gap。身体性ギャップ、エンボディメントギャップとも呼ばれます）」 です。
人間の手とロボットハンドは、骨格構造・関節の数・サイズ・出せる力・接触の仕方がすべて異なります。そのため、人間の手の動きをそのままロボットにコピーしても、うまく動かないことが多いのです。研究では、人間の手の動作データをロボットハンドへ転写しても、構造の違いから そのまま再生（リプレイ）できる軌道にはならない ことが課題として指摘されています（出典: HERMES（arXiv, 2025 / CoRL 2025 Workshop））。
さらに難しいのは、人間の手の動作データが 運動学的（キネマティック）な情報、つまり手や指の幾何学的な動きしか持っていない ことです。実際の物体操作の成否を分けるのは、目に見えない 接触力・摩擦・指にかかる圧力 といった力学的な情報ですが、これらは通常の動作データには含まれていません（出典: DexSynRefine（arXiv, 2026））。
この身体差ギャップを埋めるために、研究の世界では主に次のアプローチが取られています。
- リターゲティング：人間の手→ロボットハンドへ、関節対応やベクトルを合わせて動きを変換する（出典: DexH2R（arXiv））。
- 強化学習による補正：変換しただけでは不完全なため、ロボット自身がシミュレーション内で試行錯誤し、残差（ズレ）を学習で埋める（出典: HERMES）。
- 触覚・接触情報の付与：データグローブの触覚フィードバックや触覚センサーで、欠けている力の情報を補う（出典: RoboPaint（arXiv, 2026））。
いずれのアプローチでも出発点になるのは、人間の手の動きを高精度に取得した質の高いデータ です。入力データの精度が低ければ、後段の変換・学習の精度も頭打ちになります。ここに、精密なハンドトラッキング技術が求められる理由があります。
ロボットの「手」を学ばせる4つの入力手段
手の動作データを取得する手段は、全身モーションキャプチャーと同じく、用途に応じて複数あります。それぞれにトラッキング精度・コスト・操作性のトレードオフがあることが、研究コミュニティでも整理されています（出典: TeleGate論文（arXiv, 2026））。
手段① データグローブ（装着型・高精度）
手に直接グローブを装着し、各指の関節角度や指先位置を高精度・低遅延で取得する方式です。指の細かな動きを オクルージョン（遮蔽）やドリフトなしで 取得できるのが最大の強みで、マニピュレーション学習・テレオペレーションの双方で広く使われています。後述するMANUSのデータグローブが代表例です。
手段② カメラ／映像からの姿勢推定（マーカーレス）
カメラ映像から手の姿勢をAIで推定する方式です。装着負担がなく手軽ですが、指が重なると見えなくなる（オクルージョン） という弱点があり、繊細な物体操作の精密データには不向きな場面があります。一方、インターネット上の膨大な人間の作業動画から学習データを作る研究も進んでおり、スケール面では魅力があります（出典: Do as I Do（arXiv, 2026））。
手段③ VR／コントローラー
VRヘッドセットとコントローラーで操作する方式です。没入感のある遠隔操作に向きますが、ボタン・スティック操作が中心になるため、指1本ずつの繊細な制御には限界があります。研究では、腕はVRコントローラー、手はデータグローブ、という ハイブリッド構成 も提案されています（出典: Quantized Hand State（arXiv, 2025））。
手段④ 外骨格（エクソスケルトン）
手に機械的な外骨格を装着し、関節角度を物理的に計測しつつ、力のフィードバックも返す方式です。装着負担は大きいものの、操作者を選ばないデモンストレーション収集の研究が進んでいます（出典: DexEXO（arXiv, 2026））。
| 手段 | 得意なこと | 弱点 | 向く用途 |
|---|---|---|---|
| データグローブ | 指関節の高精度・低遅延取得、遮蔽に強い | 装着が必要 | マニピュレーション学習・テレオペ |
| カメラ／姿勢推定 | 装着不要・手軽・大規模収集 | 指の遮蔽に弱い | 大量データの一次収集 |
| VR／コントローラー | 没入操作・腕の制御 | 指の繊細さに限界 | 全身・腕中心のテレオペ |
| 外骨格 | 力覚フィードバック・操作者非依存 | 装着負担が大きい | 接触力が重要な研究 |
実機を伴うマニピュレーション学習やテレオペレーションで、指の細かい動きを精度よく安定して取りたい 場合、現状ではデータグローブが現実的な第一候補になりやすい、というのが各研究・導入事例から見える傾向です。
全身×手指を一体で取得する｜Xsens＋MANUSという組み合わせ
第1弾で述べた通り、全身の動作は慣性式モーションキャプチャー（Xsens）が現場データ収集に適しています（慣性式・光学式といった方式の違いや選び方の基礎は、基礎解説記事「モーションキャプチャーとは？」で詳しく解説しています）。そして 手指の細かい動き は、専用のデータグローブを組み合わせることで取得できます。
HELTECが扱うXsensは、データグローブのMANUSと組み合わせることで、「歩行・全身動作＋手指の繊細な操作」を一体で取得 できるのが特長です。
MANUSのデータグローブ（現行ラインナップ）
MANUSのデータグローブは、ロボティクス・AI研究向けに、ドリフトのない精密な指トラッキングを提供します（出典: MANUS「Robotics」）。HELTECはMANUSの日本総代理店として、製品選定から導入・運用までを支援しています（製品詳細: MANUSデータグローブ（HELTEC取扱ページ））。現行の主なモデルは次の通りです。
- Metagloves Pro：電磁界（EMF）トラッキングにより、遮蔽・ドリフトなしでミリメートル級の精度を実現。片手あたり25自由度の手指データを、データ収集・AI訓練パイプライン向けに高精度・低遅延で取得できます（出典: MANUS「Metagloves Pro」 / MANUS「Robotics」）。
- Metagloves Pro Haptic：上記に加え、指1本ごとに触覚フィードバック（振動触覚）を搭載。ロボットハンドが物体に触れた感覚を操作者の指へ返すため、テレオペや接触が重要な精密作業に向きます（出典: MANUS「Metagloves Pro Haptic」）。
【ご注意：旧モデルについて】 従来の「Quantum Metagloves」は、MANUS公式サイト上でレガシー（旧世代）製品の扱いとなっています。これからロボティクス用途で導入を検討される場合は、現行のMetagloves Pro／Pro Hapticが対象となります。最新の製品構成についてはHELTECまでお問い合わせください。
なぜ触覚フィードバックが効くのか
マニピュレーションで見落とされがちですが、触覚（接触）情報は操作精度に関わる重要な要素 です。
触覚がないと、操作者はロボットハンドが「強く握りすぎか／弱すぎか」を把握しにくく、卵のような壊れやすい物の扱いが難しくなります。触覚フィードバックを返すことで、操作者が力加減を感じ取りながら操作できるようになります（出典: MANUS「Metagloves Pro Haptic」）。
力覚フィードバックが特に効いてくるのは、次のような工程です。ひとつは テレオペレーションによるデータ収集 で、壊れやすい物の把持や精密な組み立て・メンテナンスなど、力加減が成否を分ける作業を、操作者が手ごたえを感じながら安定して実演できます。もうひとつは 模倣学習によるロボット訓練 で、力覚を伴った質の高いデモンストレーションを集めることで、学習の効率と再現性が高まります。さらに VRトレーニング の分野では、実作業に近い操作感を反復再現し、マッスルメモリの習得を促す用途でも活用されています。
こうした「操作者へ触覚・力覚を返す」役割に特化したグローブが、HELTECが扱う SenseGlove です。
指ごとに力覚フィードバック（Nova2で最大20N）と振動触覚フィードバックを備え、仮想オブジェクトや遠隔のロボットハンドが物体に触れた感覚を操作者の手へ返します。
VRトレーニング・研究向けの「Nova2」と、ヒューマノイドロボットハンド制御・テレオペレーションに特化した「R1」（1000Hzの高速サンプリング、mm単位の指トラッキング、ROS2対応）がラインナップされています（製品詳細: SenseGlove 力覚フィードバックグローブ（HELTEC取扱ページ））。
手指の動きを「取る」MANUSと、操作者へ手ごたえを「返す」SenseGloveは、テレオペレーションやデータ収集の質を高めるうえで補完的な関係にあります（両製品はハンド系製品の一覧ページからまとめて確認できます）。
NVIDIA GTC 2026での存在感｜Isaac Teleopの公式データグローブに
MANUSのハンドトラッキングは、NVIDIAのロボティクス開発エコシステムでも中核的な位置を占めつつあります。NVIDIA GTC 2026では、MANUSグローブがJensen Huang（ジェンスン・フアン）氏の基調講演のオープニング映像に登場し、オペレーターがMANUSグローブでNEURA Roboticsのヒューマノイドをリアルタイムに遠隔操作する様子が紹介されました。
さらに同イベントでNVIDIAは、シミュレーションと実機の両方にまたがるテレオペレーション／デモンストレーションデータ収集の統一フレームワーク 「Isaac Teleop」 をオープンソースとして公開し、MANUSグローブはその公式サポート入力デバイス に採用されています。会場では、22自由度のデクスタラスハンド「Sharpa Wave」をMANUSグローブでリアルタイムに遠隔操作するデモも実施されました（出典: MANUS「MANUS at NVIDIA GTC 2026」 / MANUS「NVIDIA Launches Isaac Teleop at GTC 2026」）。
開発パイプラインへの組み込み
取得した手のデータは、ロボット開発のパイプラインに流し込めて初めて価値が出ます。MANUSのグローブは、MANUS Core SDK（C++／ROS2対応） を通じて主要なロボットハンドと連携でき、さらに NVIDIA Isaac Lab に専用プラグインで公式対応、前述の NVIDIA Isaac Teleop でも公式サポート入力デバイスとなっています（出典: MANUS「Robotics」）。
MANUSはXsensソフトウェア（Xsens Animate／Analyze）にも直接統合され、全身データと手指データを単一ソースとして一体で扱えます（出典: MANUS「Xsens Integration」）。実際、テレオペレーション比較ベンチマークのTeleOpBenchでは、Xsens MVNの全身IMUとXsens Metagloves by Manusを組み合わせて手指の関節角度を取得し、ロボット座標へ変換してデュアルアームのテレオペを実現しています（出典: TeleOpBench（arXiv, 2025））。
なお、MANUSグローブが計測するのは25自由度のフルの手モデルですが、実際のロボット制御では、対象となるロボットハンドの関節構成に合わせて必要な関節角度を選択・変換して利用します。
世界の最新動向｜「手」をめぐる開発競争
2026年、ロボットの「手」は開発競争の主戦場のひとつになっています。動向を、ハードウェア・データ収集・基盤モデルの3つの軸で整理します。
① ハードウェア：人間の手に迫る多自由度ハンド
ヒューマノイド各社は、手の自由度と触覚を競っています。Tesla関係者の投稿や関連報道によると、Optimusの次世代ハンドは、アクチュエーターを前腕に移す腱駆動構造を採用し、22自由度 へと前世代（11自由度）から倍増。指先に触覚センサーを備え、握る力を調整できるとされています（Tesla公式の仕様表ではなく報道ベース。出典: 関連報道（optimusk.blog））。
専業メーカーも台頭しており、Automate 2026では、DexRobotが 22自由度・50N可搬・全掌マルチモーダル触覚 を備えた器用なハンドとデータ収集システムを一体で発表しています（同社プレスリリースより。出典: DexRobot（PR Newswire, 2026））。
② データ収集：「身体差ギャップ」を埋める手法の多様化
ハードウェアが揃っても、データがなければ手は賢くなりません。データグローブによる高精度収集、人間の作業動画からの再構成、シミュレーション内での大量生成と実機の組み合わせなど、収集手法は多様化しています。研究の現場では、「どのデータで、手のどの能力を伸ばすか」 を切り分ける考え方が重視されつつあります（参考: Nexdata（企業ブログ））。
③ 基盤モデル：マニピュレーションを「フルスタック」で捉える
2026年には、マニピュレーションを単体ではなく システム全体（ハードウェア＋データ＋制御＋モデル）の問題 として捉える、ロボット基盤モデルの動きも出てきています。たとえばGenesis AIは2026年5月、調理や配線作業など接触の多いタスクに取り組む基盤モデルシステム「GENE-26.5」を発表しました。
同社はまさに本コラムで述べた 「embodiment gap（身体差ギャップ）」の克服 を掲げており、人間の手と同スケールの自社製デクスタラスハンドと、触覚センシング電子皮膚を備えた自社開発のデータ収集グローブを組み合わせ、人の手・グローブ・ロボットハンドの1対1対応 による高精度な手の動作・触覚データ収集をシステムの中核に据えています（同社発表ベース。出典: Genesis AI「GENE-26.5」）。
導入の進め方｜手のデータ取得・活用ステップ
ロボティクス開発でハンドトラッキングを活用する一般的な流れは、4ステップで整理できます（全身データ取得の進め方は第1弾コラムをご覧ください）。
STEP1 目的とデータ要件の定義
マニピュレーション学習用のデータセット構築か、リアルタイムのテレオペレーションか、接触力の検証か。目的によって、必要な精度・触覚フィードバックの有無・遅延要件・取得すべき自由度が変わります。壊れやすい物の把持や精密組み立てなど接触が重要なタスクでは、この段階で触覚情報の要否を決めておくことが後戻りを防ぎます。
STEP2 計測環境とシステムの選定
指の繊細な動きを安定して取得するなら、データグローブ（MANUS）が第一候補。全身動作と一体で取りたい場合はXsensとの組み合わせを、触覚が重要ならハプティクス対応モデル（Metagloves Pro Haptic）や、操作者へ力覚・触覚を返すSenseGloveを検討します。グローブは手のサイズに合ったものを選定し、ROS2やNVIDIA Isaac Lab／Isaac Teleopとの接続性も確認します。
STEP3 データ取得とリターゲティング
グローブのキャリブレーションを行ったうえで手の動作データを取得し、人間の手（約27自由度）から対象ロボットハンド（製品により数自由度〜20自由度超）への自由度マッピング（リターゲティング）パイプラインを構築します。身体差ギャップを踏まえ、関節対応の設計に加えて、必要に応じてシミュレーション内での強化学習による補正や、触覚センサーによる接触情報の補完も組み合わせます。
STEP4 学習・検証・実機適用
収集データでマニピュレーション方策を訓練し、シミュレーションと実機で検証します。把持成功率やタスク完了時間などの指標で評価し、失敗ケース（滑り・握りすぎ等）の実機挙動データをフィードバックして、データ追加収集→再学習の改善サイクルを回します。
HELTECでは、Xsens・MANUSをはじめとするモーションキャプチャー／データグローブの選定から、データ活用・運用設計までを一貫して支援しています。デモ計測のご相談も可能です。
ハンドキャプチャーに関連する製品を見る
まとめ
- ロボットの「手」は、自由度が高く触覚を伴うため、全身の移動動作より学習・制御が難しい部位とされる。
- ハードウェア（多自由度のデクスタラスハンド）は人間に迫りつつあるが、それを賢く動かす知能には、現実世界の人間の手の動作データが不可欠。
- 大きな壁は人間とロボットの「身体差ギャップ（embodiment gap）」。これを埋めるには、精密なハンドトラッキングを起点に、リターゲティング・強化学習・触覚情報の付与を組み合わせる。
- 指の細かい動きを安定・高精度に取得するなら、現状はデータグローブ（MANUS）が現実的な第一候補。全身（Xsens）＋手指（MANUS）を一体で取得し、触覚フィードバックを加えることで、テレオペとデータ収集の質が上がる。
- NVIDIAはGTC 2026でテレオペ／データ収集の統一フレームワーク「Isaac Teleop」を公開し、MANUSグローブが公式サポート入力デバイスに。手のデータ取得は業界標準のパイプラインに組み込まれつつある。
- 2026年、「手」はハードウェア・データ収集・基盤モデルの3軸で開発競争の焦点に。マニピュレーションはフルスタックの課題として取り組まれ始めている。
よくある質問（FAQ）
全身のモーションキャプチャーだけでは、手のデータは取れないのですか？
全身用の慣性式スーツは腕や手首までの大きな動きは取得できますが、指1本ずつの細かい関節角度までは取得できません。指先の繊細な動きを取るには、データグローブを併用するのが一般的です。Xsens（全身）＋MANUS（手指）のように、両者を組み合わせて一体で取得します。モーションキャプチャーの方式や仕組みの基礎は、「モーションキャプチャーとは？」で解説しています。
カメラで手を撮影すれば、グローブは不要では？
カメラ（マーカーレス）による手の姿勢推定は装着不要で手軽ですが、指が重なると見えなくなる「オクルージョン」に弱く、繊細な物体操作の精密データには不向きな場面があります。高精度・低遅延で安定して指を取りたい用途では、遮蔽やドリフトに強いデータグローブが有利です。用途に応じた使い分け・併用が現実的です。
人間の手の動作データは、そのままロボットハンドに使えますか？
そのままでは使えないことが多いです。人間の手とロボットハンドは骨格・関節数・大きさ・力が異なる「身体差ギャップ（embodiment gap）」があるため、リターゲティングに加え、強化学習による補正や触覚情報の補完が必要になります。質の高い入力データほど、後段の変換・学習の精度が上がります。
触覚フィードバック（ハプティクス）は必須ですか？
必須ではありませんが、接触が重要な作業（壊れやすい物の把持、精密組み立てなど）では効果が大きいとされます。触覚があると操作者が力加減を把握しやすく、握りすぎ・弱すぎを避けやすくなります。データ収集・AI訓練が主目的なら非ハプティクスモデル、接触の重要なテレオペならハプティクスモデル、という使い分けになります。
取得した手のデータは、シミュレーターやROSで使えますか？
可能です。MANUSのグローブはMANUS Core SDK（C++／ROS2対応）を通じて主要なロボットハンドと連携でき、NVIDIA Isaac Labに専用プラグインで公式対応しているほか、NVIDIAがGTC 2026で公開したテレオペレーション統一フレームワーク「Isaac Teleop」でも公式サポート入力デバイスとなっています。シミュレーション内でデモンストレーションを収集して実機に転移する（sim-to-real）ワークフローを、標準化されたパイプラインの上で組むことができます。
出典・参考文献一覧
- HELTEC「フィジカルAI時代のモーションキャプチャー｜ロボティクス開発における役割と世界の最新動向【2026年版】」（第1弾コラム）
- HELTEC「モーションキャプチャーとは？方式の違い・費用・選び方を徹底比較【2026】」（基礎解説記事）
- MANUS「Robotics（Data Gloves for Teleoperation & Humanoid Robot Training）」（公式） https://www.manus-meta.com/robotics
- MANUS「Metagloves Pro」（公式） https://www.manus-meta.com/products/metagloves-pro
- MANUS「Metagloves Pro Haptic」（公式） https://www.manus-meta.com/products/metagloves-pro-haptic
- MANUS「Xsens Integration」（公式） https://www.manus-meta.com/integrations/xsens
- MANUS「MANUS at NVIDIA GTC 2026」（公式ブログ） https://www.manus-meta.com/blog/manus-at-nvidia-gtc-2026
- MANUS「NVIDIA Launches Isaac Teleop at GTC 2026 with MANUS as the Official Data Glove」（公式ブログ） リンク
- Figure「Introducing Figure 03」（公式） https://www.figure.ai/news/introducing-figure-03
- FOXTECH「Industry Insight: Humanoid Robots – Dexterous Hands」（二次情報） リンク
- optimusk.blog「Tesla Optimus Hardware (2026)」（関連報道・二次情報） リンク
- DexRobot（PR Newswire, 2026。企業プレスリリース） リンク
- Genesis AI「GENE-26.5」（同社発表） リンク
- TeleOpBench（arXiv, 2025） https://arxiv.org/abs/2505.12748
- HERMES（arXiv, 2025 / CoRL 2025 Workshop） リンク
- DexH2R（arXiv） https://arxiv.org/abs/2411.04428
- DexSynRefine（arXiv, 2026） https://arxiv.org/abs/2605.05925
- Do as I Do（arXiv, 2026） https://arxiv.org/abs/2606.19333
- RoboPaint（arXiv, 2026） https://arxiv.org/abs/2602.05325
- DexEXO（arXiv, 2026） https://arxiv.org/abs/2603.17323
- Quantized Hand State（arXiv, 2025） https://arxiv.org/abs/2509.17450
- TeleGate論文（arXiv, 2026） https://arxiv.org/abs/2602.09628
- Nexdata（企業ブログ, 2026） リンク
モーションキャプチャー導入のご相談
HELTECでは、Xsens・MANUS・SenseGloveをはじめとするモーションキャプチャー／データグローブの選定から、データ活用・運用設計までを一貫して支援しています。デモ計測のご相談も可能です。手指の動きを「取る」データグローブ（MANUS）と、操作者へ手ごたえを「返す」力覚フィードバックグローブ（SenseGlove）は、ハンド系製品の一覧ページからまとめてご確認いただけます。まずは無料デモで、ロボティクス開発における「手」の動作データ取得を体感してください。