The post フィジカルAI・ロボティクス用語集 first appeared on 株式会社HELTEC センシング事業部.

では、シミュレーションだけでロボットは実世界でも思いどおりに動作してくれるのでしょうか？答えは、そう簡単ではありません。シミュレーションで学習した動作が、実機や実際の現場では期待どおりに再現しない――。この問題は「sim-to-realギャップ」と呼ばれています。そして、このギャップを埋めるうえで重要な役割を果たすのが、実世界で取得した人間の動作データです。

本コラムは、、第1弾「フィジカルAI時代のモーションキャプチャー」、第2弾「ロボットの手はどう学び、どう動かすか？」に続くシリーズ第3弾として、「なぜロボット開発に人間の動作データが必要なのか」を、シミュレーションとの関係から出典付きで解説します。

用語整理｜本コラムで使う言葉

先に、本コラムに登場する用語を整理しておきます。

制御方策（ポリシー）
ロボットが「状況を見て、次にどう動くかを決める」ためのルールやAIモデルのこと。学習によって獲得されます。本コラムで「ロボットを訓練する」というときは、この方策を学習させることを指します。

テレオペレーション
人間がロボットを遠隔操作すること。操作中の記録が学習データになります（詳しくは第1弾を参照）。

ドメインランダマイゼーション
シミュレーション内の摩擦・質量・照明などのパラメータを、訓練中にランダムに変化させる手法。「現実の条件のズレ」に強い方策を育てる、sim-to-real対策の代表的な手法です。

リターゲティング
人間の動きを、骨格や関節構成の異なるロボットの身体に合わせて変換すること（詳しくは第2弾を参照）。

エゴセントリック映像
頭部などに装着したカメラで撮影する、一人称視点の映像。作業者が「何を見て、どう手を動かしたか」を記録できます。

sim-to-realギャップとは何か

sim-to-realギャップ（シミュレーションと現実のギャップ） とは、シミュレーション内で訓練したロボットの制御方策（ポリシー）を実機に載せたとき、性能が落ちてしまう現象を指します。ロボット学習の分野で古くから知られる、代表的な課題のひとつです。

典型的な失敗は、たとえばこんな形で現れます。シミュレーションの中では何千回も完璧に歩けていた二足歩行ロボットが、実機では数歩でバランスを崩して転ぶ——床の摩擦やわずかな凹凸、モーターの応答の遅れが、シミュレーションの想定と微妙に違うからです。あるいは、シミュレーション内では百発百中で積み木をつかめていたロボットアームが、現実では滑らせたり、押し倒したり、握りつぶしたりする。ロボットが「下手になった」のではなく、現実世界がシミュレーションの台本どおりに動いてくれない のです。

ギャップの原因は、大きく2つの軸で整理されています（出典: World Modelsサーベイ（arXiv, 2026））。

• 見た目のギャップ（visual domain gap）: シミュレーションのレンダリングと、実際のカメラ映像との差。照明・質感・反射・センサー特性などが完全には一致しない。
• 物理のギャップ（dynamics domain gap）: シミュレーターの物理モデルと、現実の物理との差。接触・摩擦・物体の変形 の再現が単純化されていること、実機のアクチュエータの応答遅れやセンサーノイズがモデル化しきれないことなどが原因になる。

とくに厄介なのが後者、物理のギャップです。物体との接触、摩擦、柔らかい物の変形などを伴う操作では、シミュレーションモデルの近似誤差が実機の性能に影響しやすく、sim-to-real転送が難しくなる場合があります。シミュレーターは計算速度を保つため、接触の判定などに単純化された近似を用いており、その近似の積み重ねが現実との差になって現れるのです（出典: The Reality Gap in Robotics（arXiv, 2025 / Annual Reviews掲載サーベイ））。

このギャップを埋めるため、シミュレーション側でも対策が進んでいます。代表的なのが ドメインランダマイゼーション で、訓練中にシミュレーション内の摩擦係数・質量・照明などのパラメータをランダムに変化させ、「現実の条件が、訓練で経験した条件の範囲内に収まる」ことを狙って方策を頑健にする手法です（出典: The Reality Gap in Robotics（arXiv, 2025））。

ただし、これで問題が消えるわけではありません。研究では、ドメインランダマイゼーションは固定された物理エンジンの中でパラメータを揺らすだけなので、物理エンジンの構造的な仮定（たとえば剛体接触モデル）自体が現実と合っていない場合、物理のギャップを埋めるには不十分 であることが指摘されています（出典: World Modelsサーベイ（arXiv, 2026））。

つまり、シミュレーションは強力なツールであるものの、万能ではありません。そのため、多くの実用的なロボット開発では、シミュレーションのデータに 実世界のデータ——とくに接触・力加減を含む現実の作業データ——を組み合わせ、現実との差を補正するアプローチ が採られています。

ロボットを賢くするデータには、2つの系統がある

では、その「実世界のデータ」はどこから来るのでしょうか。ロボットの行動学習に使われるデータは、大きく2つの由来に整理できます。本コラムでは説明のため、「ロボット側で生成・収集するデータ」 と 「人間の行動から得るデータ」 の2つに分けて見ていきます。

ひとつは、ロボット側で生成・収集するデータです。シミュレーション内で生成した動作データと、実機のロボットを人間が遠隔操作（テレオペレーション）して集めた実演データがこれにあたります。

このデータの強みは、ロボットの視点・関節・行動がセットで記録されるため、そのまま学習に使いやすい ことです。一方で弱みも明確で、実機テレオペによる収集は、ロボット実機・熟練したオペレーター・管理された環境が必要なため、遅く、高コストで、規模を拡大しにくい。多様なタスク・環境をカバーしようとするほど、収集の負担は膨れ上がります（出典: EgoVerse（arXiv, 2026） / Traj2Action（arXiv））。

もうひとつが、人間が実世界で作業する動きを計測したデータ です。モーションキャプチャーによる全身・手指の動作データや、装着カメラによる一人称視点（エゴセントリック）映像がこれにあたります。

このデータの本質的な強みは2つあります。第一に、現実の物理条件のもとで成立した動作である こと。人間の実作業には、物体との接触や摩擦、重さ、変形に適応した動きが、軌道や姿勢の変化として現れています。ただし注意も必要で、モーションキャプチャーや映像だけで接触力そのものが直接記録されるわけではありません。力や触覚の情報まで学習に使いたい場合は、触覚センサーやフォースセンサー等を組み合わせて取得します。第二に、収集を拡張しやすい こと。人間は毎日、多様な環境で自然に作業しており、収集にロボット実機を必要としません。特に映像ベースの収集では、実機のテレオペレーションよりも規模と環境の多様性を広げやすいことが指摘されています（出典: EgoVerse（arXiv, 2026））。

重要なのは、この2系統が「どちらか一方を選ぶ」関係ではないことです。

たとえばNVIDIAは、ロボット基盤モデルGR00T N1の学習データを 「データピラミッド」 として整理しています（出典: NVIDIA公式ブログ「Isaac GR00T N1」 / GR00T N1論文（arXiv, 2025））。ピラミッドは3層からなり、上に行くほどデータ量は減り、代わりにロボットの身体への密着度が上がります。

• 底辺：Webデータ・人間のデータ — インターネット規模のWebデータと、人間の作業動画などの人間由来のデータ。人がどんな物を、どんな手順で、どう扱うかという「世界についての広い知識」をモデルに与えます。量は3層で最も多い一方、ロボットへの行動指令（モーターの制御信号）を含まない ため、そのままでは動作の学習に直結しません。NVIDIA自身も「人間中心の動画は人と物の相互作用の貴重な知見を与えるが、ロボットのための制御信号を欠く」と説明しています。なお、モーションキャプチャーで計測した人間の動作データも、この「人間由来のデータ」に含まれます。動画と異なり 関節角度や姿勢を3次元で精密に記録できる ため、後述するEMMAのように、ロボットの学習へ活かす研究が進んでいます。
• 中間：合成データ — シミュレーション等で生成するデータ。最大の強みは生成速度で、GR00T N1では 75万本超のシミュレーション軌道をわずか11時間で生成（人間の実演デモ約6,500時間分に相当）した例が公式に紹介されています。量を安価に稼げる一方、ここまで見てきたsim-to-realギャップを本質的に伴います。
• 頂点：実機テレオペデータ — 実際のロボットを人間が遠隔操作して集めた実演データ。量は3層で最も少なく、収集コストも最も高いものの、ロボットの実際の身体・環境に即した最も貴重なデータ として、モデルを現実に接地させる役割を担います。

重要なのは、GR00T N1が この3層すべてを組み合わせて 学習されている点です。実際、NVIDIAはGR00T N1の評価において、同社が生成した合成データを実データと組み合わせた場合、実データのみの場合と比べて 40%の性能向上 が得られたと報告しています（出典: 同上）。

シミュレーションが「量」を、実世界のデータが「現実との整合」を担う。ロボットを賢くするのは、その組み合わせです。そして人間の動作データは、この構図の中で 「現実の物理条件下で成立した行動を、拡張しやすい形で供給できる」 という、独自のポジションを持っています。

人間の動作データは、実際にロボットを賢くできるのか

「人間のデータがロボットの学習に効く」というのは、理屈だけの話ではありません。近年、研究で実証が積み上がりつつあります。代表的な成果を2つ紹介します。

移動しながら物を扱う「モバイルマニピュレーション」の学習は、移動型ロボットのテレオペ収集が高コストなことがボトルネックでした。EMMAという研究では、一人称視点センサーを用いて取得した人間の全身動作データ と、固定ロボットのデータを 共学習 させることで、移動テレオペのデータを一切使わずにモバイルマニピュレーションの方策を訓練。実世界のタスクで、テレオペ収集データで訓練したベースライン（Mobile ALOHA）と同等以上のタスク成功率 を達成しました。さらに、人間データの時間数を増やすほど性能が向上する スケーリング傾向も確認されています（出典: EMMA（arXiv, 2025））。

第2弾でも触れたRoboPaintという研究では、データグローブによる 29自由度の手指関節データ に加え、14チャンネルの触覚情報、複数視点の映像を同期して取得します。これらをもとに、人間の手の実演を触覚情報を考慮してロボットハンドの動きに変換（リターゲティング）し、シミュレーション内でロボットの訓練データとして再構成します。この生成データのみで訓練した方策が、ピック・アンド・プレース、押し動作、注ぐ動作の3タスクで平均80%の成功率 を達成し、著者らはテレオペレーションに対する スケーラブルで低コストな代替手段 になり得ると報告しています（出典: RoboPaint（arXiv, 2026））。

いずれのアプローチでも、成果を左右するのは入力データの精度だけではありません。対象タスクとの整合性、リターゲティングの方法、ロボットデータとの組み合わせ方 が、後段の学習性能に効いてきます。そのうえで、人間のデータはそのままではロボットに使えず、ロボットの身体に合わせた変換（リターゲティング）が必要になりますが——この「身体差ギャップ」の問題は第2弾「ロボットの手」で詳しく解説しました——、出発点となる動作データを正確に取得しておくことは、この後段の選択肢を広げる土台になります。

人間の動作データを、どう取得するか

ここまでの話を、取得手段の観点で整理します。人間の動作データの主な取得手段には、それぞれ役割があります。

• 全身のモーションキャプチャー（慣性式・光学式）: 歩行・運搬・作業といった全身動作を、関節角度・姿勢の時系列データとして取得。慣性式（Xsensなど）は場所を選ばず実際の作業現場で収集でき、光学式は高精度な絶対位置の取得に向く。
• データグローブ（手指）: 把持・操作時の指関節角度や手指の姿勢を取得。接触を伴う作業時の、繊細な手指の動きを記録できます。なお、接触力や触覚そのものを取得するには、触覚センサー・圧力センサー等との組み合わせが必要です（詳しくは第2弾を参照）。
• 一人称視点（エゴセントリック）映像: 装着カメラで作業の視覚情報を大規模に収集。スケールに優れるが、動きの3次元的な精密さでは専用計測に劣る。

どの手段を、どの組み合わせで使うかは、「どの作業の、どんな情報（動きの精度か、接触・力加減か、視覚か）を学習させたいか」で決まります。全身と手指を一体で取得する構成（Xsens＋データグローブ）については、第1弾・第2弾で詳しく解説しています。

まとめ

• シミュレーションはロボット訓練の強力なツールだが、接触・摩擦・変形など現実の物理との差（sim-to-realギャップ） は、シミュレーション側の工夫（ドメインランダマイゼーション等）だけでは埋めきれないことが研究で指摘されている。
• ロボットを賢くするデータは、ロボット側で生成・収集するデータ（シミュレーション・実機テレオペ） と 人間の動作データ の2つに整理できる。前者は学習に使いやすいが収集の拡張が難しく、後者は現実の物理条件のもとで成立した人間の行動を記録でき、収集を広げやすい。ただし、動作計測だけで接触力や触覚が直接得られるわけではない。
• 両者は競合ではなく補完関係。NVIDIAのデータピラミッドが示すように、人間のデータ・合成データ・実機データを組み合わせる のが、ロボット基盤モデル開発の標準的な考え方になりつつある。
• 人間の全身動作データとロボットデータの共学習（EMMA）や、人間の実演からの訓練データ生成（RoboPaint）など、人間動作データの有効性を示す研究成果 が積み上がりつつある。
• いずれのアプローチでも、入力データの精度に加え、対象タスクとの整合性・リターゲティングの方法・ロボットデータとの組み合わせ方 が、後段の学習性能を左右する。

よくある質問（FAQ）

出典・参考文献一覧

※ 本文の技術的記述は、arXiv掲載の原著論文・サーベイ論文およびNVIDIA公式資料を参照して確認しています。

• HELTEC「フィジカルAI時代のモーションキャプチャー｜ロボティクス開発における役割と世界の最新動向【2026年版】」（第1弾コラム）
• HELTEC「ロボットの「手」はどう学び、どう動かすか？」（第2弾コラム）
• HELTEC「モーションキャプチャーとは？方式の違い・費用・選び方を徹底比較【2026】」（基礎解説記事）
• NVIDIA「Accelerate Generalist Humanoid Robot Development with NVIDIA Isaac GR00T N1」（公式ブログ） https://developer.nvidia.com/blog/accelerate-generalist-humanoid-robot-development-with-nvidia-isaac-gr00t-n1/
• GR00T N1: An Open Foundation Model for Generalist Humanoid Robots（arXiv, 2025） https://arxiv.org/abs/2503.14734
• The Reality Gap in Robotics: Challenges, Solutions, and Best Practices（arXiv, 2025 / Annual Review of Control, Robotics, and Autonomous Systems掲載） https://arxiv.org/abs/2510.20808
• World Models: A Comprehensive Survey（arXiv, 2026） https://arxiv.org/pdf/2606.00133
• EMMA: Scaling Mobile Manipulation via Egocentric Human Data（arXiv, 2025） https://arxiv.org/abs/2509.04443
• RoboPaint: From Human Demonstration to Any Robot and Any View（arXiv, 2026） https://arxiv.org/abs/2602.05325
• EgoVerse: An Egocentric Human Dataset for Robot Learning from Around the World（arXiv, 2026） https://arxiv.org/html/2604.07607v1
• Traj2Action（arXiv） https://arxiv.org/html/2510.00491v2

The post Real-to-Sim / Sim-to-Realとは？Sim-to-Realギャップと人間動作データの重要性を解説【2026】 first appeared on 株式会社HELTEC センシング事業部.

ヒューマノイドロボットが工場や家庭で「人の代わりに作業する」未来像を描くとき、大きな難所の一つとなるのが 「手」 です。歩く・運ぶといった全身の移動動作に比べて、コップをつかむ、ネジを締める、布をたたむといった 指先の繊細な操作（マニピュレーション） は、ロボティクスにおいて依然として難しい領域とされています。

本コラムは、第1弾「フィジカルAI時代のモーションキャプチャー」の続編として、テーマを ロボットの「手」 に絞ります。手の動きをどうやってデータ化し（ハンドトラッキング）、それをどうやってロボットに移して動かすか（マニピュレーション制御）。
その鍵を握るモーションキャプチャー／データグローブの役割と、世界の最新動向を、出典付きで解説します。

はじめに｜なぜ「手」がロボティクスの難所なのか

結論から言うと、ロボットの「手」は 自由度（DoF）が高く、しかも触覚（接触）を伴う ため、全身の移動動作よりも学習・制御が難しい部位とされています。

人間の手は片手だけで 20以上（関節の数え方によっては約27）の自由度 を持つとされ、片手だけでも両腕・両手首・片脚を合わせた数に匹敵する制御自由度がある、という指摘もあります（参考: FOXTECH「Humanoid Robots – Dexterous Hands」〔二次情報〕）。つまり「手」は、身体のごく一部でありながら、ロボットが人間の作業を肩代わりするうえで決定的に重要な エンドエフェクター（作業の末端） なのです。

近年、ハードウェアの進化でロボットハンド（デクスタラスハンド：多自由度の器用なロボットハンド）の自由度は人間に近づきつつあります。たとえばTesla関係者の投稿や関連報道では、Optimusの次世代ハンドは 22自由度 とされています（出典: 関連報道（optimusk.blog）〔二次情報〕。Tesla公式の仕様表として確認できる数値ではありません）。Figure 03については、公式が片手あたりの自由度の内訳を公表していませんが、掌（てのひら）カメラや指先の触覚センサーを備え、約3グラムの微小な力も検知できる と公式に説明されています（出典: Figure「Introducing Figure 03」）。

しかし、ハードウェアが人間の手に近づいても、それを 「どう動かすか」＝賢く操作する知能 はまだ追いついていません。そしてその知能を育てるには、第1弾で述べたのと同じく、現実世界の人間の手の動作データ が大量に必要になります。ここで、指先の動きを精密に取得するハンドトラッキングが主役になります。

用語整理｜ハンドトラッキングとマニピュレーションは何が違う？

混同されやすい2つの言葉を、最初に整理します。ごく単純化すると、ハンドトラッキングは「人の手の動きを取り込む（入力）」、マニピュレーションは「ロボットの手を動かす（出力）」の話で、本コラムはこの入力と出力の2軸で進みます。

第1弾で扱った テレオペレーション は「人がロボットを遠隔操作すること」、つまり操作の 手段 を指す言葉でした。今回のマニピュレーションは「手で何をするか」という タスクの種類 を指す言葉で、両者は別の概念です。テレオペレーションは、マニピュレーションのデータを集めるための一手段、という関係になります。

ロボットの手は「身体差ギャップ」という壁にぶつかる

ロボットの手の学習で、研究者がしばしば挙げる難所が 「身体差ギャップ（embodiment gap。身体性ギャップ、エンボディメントギャップとも呼ばれます）」 です。

人間の手とロボットハンドは、骨格構造・関節の数・サイズ・出せる力・接触の仕方がすべて異なります。そのため、人間の手の動きをそのままロボットにコピーしても、うまく動かないことが多いのです。研究では、人間の手の動作データをロボットハンドへ転写しても、構造の違いから そのまま再生（リプレイ）できる軌道にはならない ことが課題として指摘されています（出典: HERMES（arXiv, 2025 / CoRL 2025 Workshop））。

さらに難しいのは、人間の手の動作データが 運動学的（キネマティック）な情報、つまり手や指の幾何学的な動きしか持っていない ことです。実際の物体操作の成否を分けるのは、目に見えない 接触力・摩擦・指にかかる圧力 といった力学的な情報ですが、これらは通常の動作データには含まれていません（出典: DexSynRefine（arXiv, 2026））。

この身体差ギャップを埋めるために、研究の世界では主に次のアプローチが取られています。

いずれのアプローチでも出発点になるのは、人間の手の動きを高精度に取得した質の高いデータ です。入力データの精度が低ければ、後段の変換・学習の精度も頭打ちになります。ここに、精密なハンドトラッキング技術が求められる理由があります。

ロボットの「手」を学ばせる4つの入力手段

手の動作データを取得する手段は、全身モーションキャプチャーと同じく、用途に応じて複数あります。それぞれにトラッキング精度・コスト・操作性のトレードオフがあることが、研究コミュニティでも整理されています（出典: TeleGate論文（arXiv, 2026））。

手に直接グローブを装着し、各指の関節角度や指先位置を高精度・低遅延で取得する方式です。指の細かな動きを オクルージョン（遮蔽）やドリフトなしで 取得できるのが最大の強みで、マニピュレーション学習・テレオペレーションの双方で広く使われています。後述するMANUSのデータグローブが代表例です。

カメラ映像から手の姿勢をAIで推定する方式です。装着負担がなく手軽ですが、指が重なると見えなくなる（オクルージョン） という弱点があり、繊細な物体操作の精密データには不向きな場面があります。一方、インターネット上の膨大な人間の作業動画から学習データを作る研究も進んでおり、スケール面では魅力があります（出典: Do as I Do（arXiv, 2026））。

VRヘッドセットとコントローラーで操作する方式です。没入感のある遠隔操作に向きますが、ボタン・スティック操作が中心になるため、指1本ずつの繊細な制御には限界があります。研究では、腕はVRコントローラー、手はデータグローブ、という ハイブリッド構成 も提案されています（出典: Quantized Hand State（arXiv, 2025））。

手に機械的な外骨格を装着し、関節角度を物理的に計測しつつ、力のフィードバックも返す方式です。装着負担は大きいものの、操作者を選ばないデモンストレーション収集の研究が進んでいます（出典: DexEXO（arXiv, 2026））。

実機を伴うマニピュレーション学習やテレオペレーションで、指の細かい動きを精度よく安定して取りたい 場合、現状ではデータグローブが現実的な第一候補になりやすい、というのが各研究・導入事例から見える傾向です。

全身×手指を一体で取得する｜Xsens＋MANUSという組み合わせ

第1弾で述べた通り、全身の動作は慣性式モーションキャプチャー（Xsens）が現場データ収集に適しています（慣性式・光学式といった方式の違いや選び方の基礎は、基礎解説記事「モーションキャプチャーとは？」で詳しく解説しています）。そして 手指の細かい動き は、専用のデータグローブを組み合わせることで取得できます。
HELTECが扱うXsensは、データグローブのMANUSと組み合わせることで、「歩行・全身動作＋手指の繊細な操作」を一体で取得 できるのが特長です。

MANUSのデータグローブは、ロボティクス・AI研究向けに、ドリフトのない精密な指トラッキングを提供します（出典: MANUS「Robotics」）。HELTECはMANUSの日本総代理店として、製品選定から導入・運用までを支援しています（製品詳細: MANUSデータグローブ（HELTEC取扱ページ））。現行の主なモデルは次の通りです。

• Metagloves Pro：電磁界（EMF）トラッキングにより、遮蔽・ドリフトなしでミリメートル級の精度を実現。片手あたり25自由度の手指データを、データ収集・AI訓練パイプライン向けに高精度・低遅延で取得できます（出典: MANUS「Metagloves Pro」 / MANUS「Robotics」）。
• Metagloves Pro Haptic：上記に加え、指1本ごとに触覚フィードバック（振動触覚）を搭載。ロボットハンドが物体に触れた感覚を操作者の指へ返すため、テレオペや接触が重要な精密作業に向きます（出典: MANUS「Metagloves Pro Haptic」）。

マニピュレーションで見落とされがちですが、触覚（接触）情報は操作精度に関わる重要な要素 です。

触覚がないと、操作者はロボットハンドが「強く握りすぎか／弱すぎか」を把握しにくく、卵のような壊れやすい物の扱いが難しくなります。触覚フィードバックを返すことで、操作者が力加減を感じ取りながら操作できるようになります（出典: MANUS「Metagloves Pro Haptic」）。

力覚フィードバックが特に効いてくるのは、次のような工程です。ひとつは テレオペレーションによるデータ収集 で、壊れやすい物の把持や精密な組み立て・メンテナンスなど、力加減が成否を分ける作業を、操作者が手ごたえを感じながら安定して実演できます。もうひとつは 模倣学習によるロボット訓練 で、力覚を伴った質の高いデモンストレーションを集めることで、学習の効率と再現性が高まります。さらに VRトレーニング の分野では、実作業に近い操作感を反復再現し、マッスルメモリの習得を促す用途でも活用されています。

こうした「操作者へ触覚・力覚を返す」役割に特化したグローブが、HELTECが扱う SenseGlove です。
指ごとに力覚フィードバック（Nova2で最大20N）と振動触覚フィードバックを備え、仮想オブジェクトや遠隔のロボットハンドが物体に触れた感覚を操作者の手へ返します。

VRトレーニング・研究向けの「Nova2」と、ヒューマノイドロボットハンド制御・テレオペレーションに特化した「R1」（1000Hzの高速サンプリング、mm単位の指トラッキング、ROS2対応）がラインナップされています（製品詳細: SenseGlove 力覚フィードバックグローブ（HELTEC取扱ページ））。
手指の動きを「取る」MANUSと、操作者へ手ごたえを「返す」SenseGloveは、テレオペレーションやデータ収集の質を高めるうえで補完的な関係にあります（両製品はハンド系製品の一覧ページからまとめて確認できます）。

MANUSのハンドトラッキングは、NVIDIAのロボティクス開発エコシステムでも中核的な位置を占めつつあります。NVIDIA GTC 2026では、MANUSグローブがJensen Huang（ジェンスン・フアン）氏の基調講演のオープニング映像に登場し、オペレーターがMANUSグローブでNEURA Roboticsのヒューマノイドをリアルタイムに遠隔操作する様子が紹介されました。
さらに同イベントでNVIDIAは、シミュレーションと実機の両方にまたがるテレオペレーション／デモンストレーションデータ収集の統一フレームワーク 「Isaac Teleop」 をオープンソースとして公開し、MANUSグローブはその公式サポート入力デバイス に採用されています。会場では、22自由度のデクスタラスハンド「Sharpa Wave」をMANUSグローブでリアルタイムに遠隔操作するデモも実施されました（出典: MANUS「MANUS at NVIDIA GTC 2026」 / MANUS「NVIDIA Launches Isaac Teleop at GTC 2026」）。

取得した手のデータは、ロボット開発のパイプラインに流し込めて初めて価値が出ます。MANUSのグローブは、MANUS Core SDK（C++／ROS2対応） を通じて主要なロボットハンドと連携でき、さらに NVIDIA Isaac Lab に専用プラグインで公式対応、前述の NVIDIA Isaac Teleop でも公式サポート入力デバイスとなっています（出典: MANUS「Robotics」）。
MANUSはXsensソフトウェア（Xsens Animate／Analyze）にも直接統合され、全身データと手指データを単一ソースとして一体で扱えます（出典: MANUS「Xsens Integration」）。実際、テレオペレーション比較ベンチマークのTeleOpBenchでは、Xsens MVNの全身IMUとXsens Metagloves by Manusを組み合わせて手指の関節角度を取得し、ロボット座標へ変換してデュアルアームのテレオペを実現しています（出典: TeleOpBench（arXiv, 2025））。
なお、MANUSグローブが計測するのは25自由度のフルの手モデルですが、実際のロボット制御では、対象となるロボットハンドの関節構成に合わせて必要な関節角度を選択・変換して利用します。

世界の最新動向｜「手」をめぐる開発競争

2026年、ロボットの「手」は開発競争の主戦場のひとつになっています。動向を、ハードウェア・データ収集・基盤モデルの3つの軸で整理します。

ヒューマノイド各社は、手の自由度と触覚を競っています。Tesla関係者の投稿や関連報道によると、Optimusの次世代ハンドは、アクチュエーターを前腕に移す腱駆動構造を採用し、22自由度 へと前世代（11自由度）から倍増。指先に触覚センサーを備え、握る力を調整できるとされています（Tesla公式の仕様表ではなく報道ベース。出典: 関連報道（optimusk.blog））。
専業メーカーも台頭しており、Automate 2026では、DexRobotが 22自由度・50N可搬・全掌マルチモーダル触覚 を備えた器用なハンドとデータ収集システムを一体で発表しています（同社プレスリリースより。出典: DexRobot（PR Newswire, 2026））。

ハードウェアが揃っても、データがなければ手は賢くなりません。データグローブによる高精度収集、人間の作業動画からの再構成、シミュレーション内での大量生成と実機の組み合わせなど、収集手法は多様化しています。研究の現場では、「どのデータで、手のどの能力を伸ばすか」 を切り分ける考え方が重視されつつあります（参考: Nexdata（企業ブログ））。

2026年には、マニピュレーションを単体ではなく システム全体（ハードウェア＋データ＋制御＋モデル）の問題 として捉える、ロボット基盤モデルの動きも出てきています。たとえばGenesis AIは2026年5月、調理や配線作業など接触の多いタスクに取り組む基盤モデルシステム「GENE-26.5」を発表しました。
同社はまさに本コラムで述べた 「embodiment gap（身体差ギャップ）」の克服 を掲げており、人間の手と同スケールの自社製デクスタラスハンドと、触覚センシング電子皮膚を備えた自社開発のデータ収集グローブを組み合わせ、人の手・グローブ・ロボットハンドの1対1対応 による高精度な手の動作・触覚データ収集をシステムの中核に据えています（同社発表ベース。出典: Genesis AI「GENE-26.5」）。

導入の進め方｜手のデータ取得・活用ステップ

ロボティクス開発でハンドトラッキングを活用する一般的な流れは、4ステップで整理できます（全身データ取得の進め方は第1弾コラムをご覧ください）。

マニピュレーション学習用のデータセット構築か、リアルタイムのテレオペレーションか、接触力の検証か。目的によって、必要な精度・触覚フィードバックの有無・遅延要件・取得すべき自由度が変わります。壊れやすい物の把持や精密組み立てなど接触が重要なタスクでは、この段階で触覚情報の要否を決めておくことが後戻りを防ぎます。

指の繊細な動きを安定して取得するなら、データグローブ（MANUS）が第一候補。全身動作と一体で取りたい場合はXsensとの組み合わせを、触覚が重要ならハプティクス対応モデル（Metagloves Pro Haptic）や、操作者へ力覚・触覚を返すSenseGloveを検討します。グローブは手のサイズに合ったものを選定し、ROS2やNVIDIA Isaac Lab／Isaac Teleopとの接続性も確認します。

グローブのキャリブレーションを行ったうえで手の動作データを取得し、人間の手（約27自由度）から対象ロボットハンド（製品により数自由度〜20自由度超）への自由度マッピング（リターゲティング）パイプラインを構築します。身体差ギャップを踏まえ、関節対応の設計に加えて、必要に応じてシミュレーション内での強化学習による補正や、触覚センサーによる接触情報の補完も組み合わせます。

収集データでマニピュレーション方策を訓練し、シミュレーションと実機で検証します。把持成功率やタスク完了時間などの指標で評価し、失敗ケース（滑り・握りすぎ等）の実機挙動データをフィードバックして、データ追加収集→再学習の改善サイクルを回します。
HELTECでは、Xsens・MANUSをはじめとするモーションキャプチャー／データグローブの選定から、データ活用・運用設計までを一貫して支援しています。デモ計測のご相談も可能です。
シミュレーションで学習した方策を実機へ適用する際には、現実との物理的な差によるSim-to-Realギャップが課題になります。Sim-to-Realギャップと、実世界の人間動作データが果たす役割については、こちらの記事で詳しく解説しています。

まとめ

よくある質問（FAQ）

出典・参考文献一覧

1. HELTEC「フィジカルAI時代のモーションキャプチャー｜ロボティクス開発における役割と世界の最新動向【2026年版】」（第1弾コラム）
2. HELTEC「モーションキャプチャーとは？方式の違い・費用・選び方を徹底比較【2026】」（基礎解説記事）
3. MANUS「Robotics（Data Gloves for Teleoperation & Humanoid Robot Training）」（公式） https://www.manus-meta.com/robotics
4. MANUS「Metagloves Pro」（公式） https://www.manus-meta.com/products/metagloves-pro
5. MANUS「Metagloves Pro Haptic」（公式） https://www.manus-meta.com/products/metagloves-pro-haptic
6. MANUS「Xsens Integration」（公式） https://www.manus-meta.com/integrations/xsens
7. MANUS「MANUS at NVIDIA GTC 2026」（公式ブログ） https://www.manus-meta.com/blog/manus-at-nvidia-gtc-2026
8. MANUS「NVIDIA Launches Isaac Teleop at GTC 2026 with MANUS as the Official Data Glove」（公式ブログ） リンク
9. Figure「Introducing Figure 03」（公式） https://www.figure.ai/news/introducing-figure-03
10. FOXTECH「Industry Insight: Humanoid Robots – Dexterous Hands」（二次情報） リンク
11. optimusk.blog「Tesla Optimus Hardware (2026)」（関連報道・二次情報） リンク
12. DexRobot（PR Newswire, 2026。企業プレスリリース） リンク
13. Genesis AI「GENE-26.5」（同社発表） リンク
14. TeleOpBench（arXiv, 2025） https://arxiv.org/abs/2505.12748
15. HERMES（arXiv, 2025 / CoRL 2025 Workshop） リンク
16. DexH2R（arXiv） https://arxiv.org/abs/2411.04428
17. DexSynRefine（arXiv, 2026） https://arxiv.org/abs/2605.05925
18. Do as I Do（arXiv, 2026） https://arxiv.org/abs/2606.19333
19. RoboPaint（arXiv, 2026） https://arxiv.org/abs/2602.05325
20. DexEXO（arXiv, 2026） https://arxiv.org/abs/2603.17323
21. Quantized Hand State（arXiv, 2025） https://arxiv.org/abs/2509.17450
22. TeleGate論文（arXiv, 2026） https://arxiv.org/abs/2602.09628
23. Nexdata（企業ブログ, 2026） リンク

The post ロボットハンドはどう学ぶか？ハンドトラッキングとマニピュレーション制御【2026年版】｜データグローブの役割と最新動向 first appeared on 株式会社HELTEC センシング事業部.

ヒューマノイドロボットの開発競争が「技術実証」から「量産・商業化」のフェーズに移行する中、ロボットに動作を教えるための現実世界の動作データの重要性が急速に高まっています。その取得手段として今、モーションキャプチャー（モーキャプ）が世界中のロボティクス開発の現場で使われています。
本コラムでは、モーションキャプチャーの基礎解説記事の派生編として、ロボティクス／フィジカルAI分野に特化して、モーションキャプチャーの役割・活用方法・世界の最新動向を解説します。

はじめに｜なぜ今ロボティクスでモーションキャプチャーが注目されるのか

結論から言うと、フィジカルAI時代のロボティクス開発では、実世界の人間動作データがますます重要になります。モーションキャプチャーは、人間の動きを高精度に取得し、模倣学習・テレオペレーションに加え、sim-to-realギャップと実世界データの関係を検証する上でも重要な役割を果たします。
特にXsensのような慣性式モーションキャプチャーは、外部カメラに依存せず、実際の現場環境で全身の動作データを取得できるため、ヒューマノイドやロボット開発との相性が高い技術です。

2026年現在、ヒューマノイドロボットの自律動作はまだ発展途上にあり、人間がロボットを遠隔操作しながら実作業のデモンストレーションデータを集める「テレオペレーション」が、AIモデル訓練用データ収集の主要な手法となっています。実際、海外のロボティクス関連メディアでも、テレオペレーションはヒューマノイド開発におけるデータ収集手法として重要性を増していると指摘されています（出典: Labellerr「7 Top Teleoperation Service Providers for Robotics in 2026」）。

そして、人間の全身の動きを正確にデジタルデータ化し、ロボットへリアルタイムに転送する技術こそが、モーションキャプチャーです。

そもそもロボティクスとは？広がる分野とキーワード整理

産業用ロボットから汎用ロボット・ヒューマノイドへ

ロボティクス（robotics）とは、ロボットの設計・製造・制御・運用に関わる技術分野の総称です。従来は、工場の決められた位置で決められた作業を繰り返す「産業用ロボット」が中心でしたが、近年はAIの進化により、環境を認識して柔軟にタスクをこなす**汎用ロボット・ヒューマノイド（人型ロボット）**の開発が世界的なトレンドになっています。

フィジカルAI（Physical AI）とは？

フィジカルAIとは、ロボットや自動運転車のように物理世界で稼働する自律マシンが、周囲の環境を知覚・理解し、複雑な動作を実行できるようにするAI技術を指します（出典: NVIDIA「フィジカル AI とは?」）。

この概念が広く注目されるきっかけのひとつが、2025年1月のCESにおけるNVIDIA CEOジェンスン・フアン氏の基調講演です。同氏はAIの進化を「知覚AI → 生成AI → エージェント型AI → フィジカルAI」という段階で示し、現実世界で知覚・推論・計画・行動するAIを次の中心的潮流と位置づけました（出典: SCSK IT Platform Navigator「フィジカル AI（Physical AI）とは？」）。
ChatGPTのような生成AIが「デジタル世界のデータ」から学習するのに対し、フィジカルAIは物理世界の法則（重力・摩擦・接触など）を伴う実世界データを必要とする点が大きな違いです。

押さえておきたい関連キーワード

• 模倣学習（Imitation Learning）: 人間のお手本動作（デモンストレーション）データからロボットが動作方策を学ぶ手法。
• テレオペレーション（Teleoperation）: 人間がロボットを遠隔操作すること。操作中のセンサーデータ・制御入力が記録され、模倣学習や強化学習の訓練データセットになります（出典: Labellerr）。
• sim-to-realギャップ: シミュレーション上で学習した動作が、実機・実環境ではうまく再現できない問題。
• VLAモデル（Vision-Language-Action）: 視覚・言語・行動を統合的に扱うロボット向け基盤モデル。

フィジカルAIとモーションキャプチャーの関係

AIが「身体の動かし方」を学ぶ仕組み

ヒューマノイドの全身制御の研究では、人間のデモンストレーションを収集する入力手段として、VR機器・外骨格（エクソスケルトン）・モーションキャプチャースーツ・カメラ映像からの姿勢推定などが使われており、それぞれトラッキング精度・導入コスト・操作者の快適性にトレードオフがあることが整理されています（出典: TeleGate論文（arXiv, 2026））。
この中でモーションキャプチャースーツ（特に慣性式）は、全身の関節角度を高頻度・低遅延で取得でき、場所を選ばないという点で、テレオペレーションと学習データ収集の双方に適した手段として多くの研究・開発で採用されています。

シミュレーションだけでは埋まらないギャップ

近年はNVIDIA Isaac SimやMuJoCoなどの物理シミュレーターでロボットを訓練するアプローチも一般化していますが、シミュレーションと現実の間には摩擦・慣性・接触などの差異（sim-to-realギャップ）が残ります。現実の人間の動作を計測したモーションデータは、このギャップを埋め、実機適用の速度と信頼性を高めるための基盤データとなります。

データ競争の時代へ

米国のロボティクス業界分析では、ヒューマノイドAIを実用レベルに訓練できるのは「実際の作業現場で収集されたデータ」であり、実環境データを多く持つ企業が競争上有利になるという見方が示されています（出典: New Market Pitch「Figure 03 vs Tesla Optimus Comparison Tracker (2026)」）。モーションキャプチャーは、この「データ獲得競争」を支えるインフラと言えます。

ロボティクスにおけるモーションキャプチャーの3つの役割

ロボティクス用途における方式の選び方｜3方式の比較と慣性式が有力なケース

モーションキャプチャーに唯一の正解はなく、「どの現場で・何を目的に・どんなデータが欲しいか」によって最適な方式は変わります。ここではロボティクスでよく使われる光学式・慣性式・マーカーレス式の3方式を比較したうえで、実機開発で慣性式が選択肢になりやすい理由を整理します。

ロボティクス視点での3方式比較

ロボット用途では「絶対位置」より「関節角度」が効くことが多い

ロボットへの動作転写（リターゲティング）では、空間内の絶対位置精度よりも、各関節がどの角度で・どう動いたかという運動学（キネマティクス）情報が重要になる場面が多くあります。この点で、IMUを身体各部に装着して姿勢を算出する慣性式は関節角度データの取得に適した方式とされます。一方、ミリ単位の絶対座標が必要なバイオメカニクス研究などでは、光学式が依然として強みを持ちます。

実環境での取得しやすさ

光学式は専用スタジオやカメラ設置を前提とするため、計測場所が制約されます。これに対し慣性式はカメラ不要で、ロボットの実機がある開発ラボ・工場・屋外フィールドなど、運用環境でそのままデータを取得しやすいのが特徴です。被験者の装着負担をなくしたい場合や、準備を簡略化したい場合は、マーカーレス式が有力になります。

開発パイプラインへの組み込みやすさ

ロボティクスでは、取得したモーションをROSや物理シミュレーター（Isaac Sim / MuJoCo）、機械学習スタックへ流し込めるかが実用上の分かれ目になります。連携性やデータ形式は製品ごとに異なるため、方式選定と合わせて確認するのが現実的です。慣性式の代表例であるXsensは、ROS 1 / ROS 2・Unity・Unreal・Isaac Sim・MuJoCoとの連携や、MVNX / XLSX / MP4 / BVH形式でのエクスポートに対応しています（出典: Xsens）。フルボディスーツ「Xsens Link」は最大240Hz、約150mの通信範囲、8時間連続稼働といった仕様を備えます（出典: Xsens）。

まとめ：実機テレオペ・現場データ収集では慣性式が現実的になりやすい

整理すると、高精度な絶対位置が必要なら光学式、被験者負担を避けたい簡易計測ならマーカーレス式、実機を伴うテレオペレーションや実環境でのデータ収集なら慣性式、という使い分けになります。ロボティクスの実機開発では「関節角度・リアルタイム性・場所を選ばない運用性」が重視される場面が多いため、結果として慣性式が現実的な選択肢になりやすい、というのが各社の導入事例から見える傾向です。導入実績としては、中国のTi5 Roboticsでの開発イテレーション高速化・モーション精度向上の事例（出典: Ti5 Robotics事例）や、Boston Dynamicsのトレーニングパイプラインでの活用、北京ヒューマノイドハーフマラソン優勝チームでの活用（出典: 北京ハーフマラソン事例 / Xsens）などが公開されています。

世界のロボティクス開発と各国動向【中国・米国・欧州・日本】

グローバル概況｜「技術実証」から「量産・商業化」へ

英調査会社Omdiaのレポート「General-Purpose Embodied Intelligent Robot 2026」（2026年1月発表）によると、2025年の世界のヒューマノイドロボット出荷台数は約13,000台に達し、前年から大きく拡大して本格的な成長フェーズに入りました。同レポートは2035年には年間260万台規模に達すると予測しています（出典: Bloomberg / 新華社 / AGIBOTプレスリリース（PR Newswire））。

メーカー別では、中国のAgiBot（智元機器人）とUnitree（宇樹科技）が、それぞれ数千台規模を出荷して世界トップ2を占め、中国勢が出荷台数の大半を占めました。一方、Tesla・Figure AI・Agility Roboticsなど米国勢の出荷は各社数百台以下の規模にとどまったと報じられています（出典: South China Morning Post / 新華社）。

中国｜低価格×量産で市場を牽引

中国勢の特徴は、サプライチェーンの厚みを背景にした低価格化と量産展開の速さです。

• Unitree（宇樹科技）: G1を16,000ドル～とする低価格戦略で知られています。報道によると、同社の2025年売上高は16.99億元に達し、2023年の1.59億元から大きく成長しました。また、2025年には約5,500台のヒューマノイドロボットを出荷したとされ、研究機関・教育機関・企業PoC向けのプラットフォームとして存在感を高めています。（出典: TechTimes）。また、海外のロボット購入ガイドでは、Unitree G1がリアルタイムの関節状態ストリーミングやVRコントローラー等による操作入力に対応し、テレオペレーションによるデータ収集用途でコストパフォーマンスが高いプラットフォームと評価されています（出典: SVRC「Humanoid Robot Buyer’s Guide 2026」）。
• AgiBot（智元機器人）: 2026年3月に累計生産1万台を達成。物流・小売・産業など多分野への導入を進めるほか、ICRA 2026で「AGIBOT World Challenge」を主催するなど研究コミュニティでの存在感も高めています（出典: TechTimes / renue）。
• 2026年の春節期には、中国中央テレビ（CCTV）の国民的番組「春節聯歓晩会（春晩）」で、Unitree Robotics、Galbot、Noetix、MagicLabの4社がヒューマノイドロボットを披露し、報道やSNSでも大きな話題となりました（出典: 吉川真人氏 note）。
• モーションキャプチャー活用の面でも中国は先行しており、前述のTi5 Roboticsの開発効率化事例や、上海のヒューマノイド企業がXsensを用いて人間の動作からロボットに学習させている事例が公開されています（出典: Xsens導入事例: Shanghai Humanoid Robots）。

米国｜自動車メーカー提携とAI基盤モデルで商業化を推進

米国勢は出荷台数こそ中国勢に及ばないものの、大手企業との提携による実環境データの獲得とAIソフトウェアの深さで勝負しています。

• 主要自動車メーカーとの提携構図として、BMWはFigure、MercedesはApptronik、HyundaiはBoston Dynamics、ToyotaはAgility Roboticsをそれぞれ支援・採用しており、実工場でのデータ収集体制を築いています（出典: New Market Pitch）。
• Figure AI: 2025年9月のシリーズCで評価額390億ドルに達し、自社開発のVLAモデル「Helix」によるオンデバイス学習を進めています（出典: Robozaps / RobotLAB）。
• Apptronik: NASAのValkyrieプロジェクトの知見をベースとした「Apollo」をMercedes-Benzの自動車サプライチェーンの実証に投入しています（出典: Loona Blog）。
• Boston Dynamics: 電動版Atlasを開発中で、CES 2026ではCNETのBest of CESを受賞。Hyundai傘下で電動版Atlasの実用化を進めています（出典: RobotToday）。なお、XsensはBoston Dynamicsのトレーニングパイプラインでの自社技術活用を公式サイトで紹介しています（出典: Xsens）。
• Tesla: 自社のFSD（自動運転）技術基盤を転用したOptimusを垂直統合で開発しています（出典: New Market Pitch）。

欧州｜家庭用ヒューマノイドと研究機関の強み

• 1X Technologies（ノルウェー発）: OpenAIなどから出資を受けたことで知られる同社は2025年10月、家庭用ヒューマノイド「NEO」の予約受付を開始しました。価格は2万ドル（または月額499ドルのサブスクリプション）で2026年出荷予定。当初は主に人間の遠隔操作（テレオペレーション）で家事を支援しながら学習する方式を採用している点が特徴で、「テレオペ→データ収集→自律化」というフィジカルAI開発の典型的な流れを体現しています（出典: FabScene / 森山和道氏 note）。
• NEURA Robotics（ドイツ）: CES 2026でヒューマノイド「4NE-1」シリーズの先行予約を開始。小型モデル「4NE-1 Mini」（身長132cm・重量36kg・25自由度）を研究・教育用途に投入し、「欧州随一のヒューマノイドメーカー」の地位を目指しています（出典: RoboHorizon）。
• イタリア技術研究所（IIT）: 前述の通り、Xsensを活用した人間とロボットの協調研究の事例が公開されており、欧州の研究機関がモーションキャプチャーを安全性・協調性の検証に用いる代表例です（出典: Xsens導入事例）。

日本｜社会実装・流通の動きが活発化

日本国内でも、ヒューマノイドロボットの導入・流通の動きが進んでいます。Unitree製品は国内代理店を通じて購入可能になっており（出典: ヒューマノイドジョブ）、イベント・プロモーション、教育、研究、PoC用途での活用が広がりつつあります（出典: ロボスタ）。

また、2026年5月には東京・高輪で「Humanoids Summit Tokyo 2026」が開催され、Unitreeをはじめとする国内外のロボティクス企業・研究者が登壇するなど、社会実装に向けた関心が高まっています（出典: Humanoids Summit Tokyo 2026 公式サイト）。

こうした動きは、国家戦略としても後押しされつつあります。日本経済新聞の報道によると、日本政府は成長戦略の重点「戦略17分野」の官民投資の全容を2026年6月19日に明らかにし、AIでロボットなどを自律的に動かす「フィジカルAI」に対して、官民で2040年度までに10.5兆円を投資する方針を示しました。国費を呼び水として民間投資を促す狙いがあり、フィジカルAIが国家的な重点領域に位置づけられたことを意味します（出典: 日本経済新聞「戦略17分野、フィジカルAIに10.5兆円　官民投資の全容が判明」）

フィジカルAIへの大規模投資が現実のものとなる中、その開発を支える「現実世界の動作データ」の取得基盤の重要性も増しています。国内のロボティクス研究・開発において、実機学習用の動作データ取得やテレオペレーション環境の構築ニーズは今後拡大が見込まれ、慣性式モーションキャプチャーはその中核的なツールとして有力な候補の１つです。

各国事例から見える共通点｜競争力を決めるのは「データの質と量」

国・企業によって戦略は異なりますが、共通するのは「実世界の動作データをいかに大量かつ高品質に集めるか」が競争力を左右するという点です。テレオペレーションが訓練データ収集の主要手段である現状において（出典: SVRC）、その入力デバイスであるモーションキャプチャーの精度・スループット・運用性は、開発スピードに直結します。

ハンドトラッキング・VRとの組み合わせ

ロボットの「手」による物体操作（マニピュレーション）は、全身動作とは別軸の重要テーマです。Xsensでは、Manus製の「Metagloves」との組み合わせにより、指先を含む手部の動作キャプチャ（センサーサンプルレート120Hz）に対応しており、全身スーツ＋グローブで「歩行・全身動作＋手指の細かい操作」を一体で取得できます（出典: Xsens）。
また、研究現場ではVRヘッドセット・コントローラーによる操作入力も広く使われており、モーションキャプチャーとVRはタスクの性質（全身動作か、上半身・手元中心か）に応じて使い分け・併用されています（出典: TeleGate論文）。

導入の進め方・活用ステップ

ロボティクス開発でモーションキャプチャーを活用する一般的な流れは次の通りです。

まとめ

• フィジカルAI・ヒューマノイドの開発競争は「量産・商業化」フェーズに入り、実世界の動作データの獲得競争が始まっている。
• テレオペレーションと模倣学習が訓練データ収集の主要手法であり、モーションキャプチャーはその中核インフラ。
• ロボティクス用途では「絶対位置」より「関節角度・リアルタイム性・実環境での運用性」が重視されるため、慣性式（Xsens）が現実的な選択肢となるケースが多い。
• 中国（量産・低価格）、米国（提携×AI基盤モデル）、欧州（家庭用・研究機関）、日本（社会実装）と各国の戦略は異なるが、いずれも実世界データが競争力の源泉。

よくある質問（FAQ）

出典・参考文献一覧

1. HELTEC「モーションキャプチャーとは？それぞれの方式の比較・仕組み・活用事例【2026年最新版】」 
2. NVIDIA「フィジカル AI とは?」 
3. SCSK IT Platform Navigator「フィジカル AI（Physical AI）とは？」 
4. Xsens「Humanoid Robotics Motion Training」
5. Xsens導入事例「Ti5 Robotics」
6. Xsens導入事例「Shanghai Humanoid Robots」
7. Xsens導入事例「Italian Institute of Technology」
8. Xsens導入事例「Beijing Humanoid Half Marathon」
9. Labellerr「7 Top Teleoperation Service Providers for Robotics in 2026」
10. TeleGate: Whole-Body Humanoid Teleoperation via Gated Expert Selection with Motion Prior（arXiv） https://arxiv.org/pdf/2602.09628
11. Bloomberg「Chinese Firms Dominated Global Humanoid Robot Shipments in 2025」 
12. 新華社「Chinese firms lead global humanoid robot production in 2025: report」 
13. South China Morning Post「Chinese firms outpace US rivals in 2025 humanoid robot shipments」 
14. South China Morning Post「China’s Unitree ships more than 5,500 humanoid robots in 2025」
15. AGIBOTプレスリリース（PR Newswire）「Omdia Ranks AGIBOT No.1 Worldwide in Humanoid Robot Shipments in 2025」
16. The Robot Report「AGIBOT makes its U.S. debut with more than 5,100 robots shipped」
17. TechTimes「Unitree IPO Cleared, AGIBOT Hits 10,000 Units」 
18. renue「中国ヒューマノイド軍団 ― Unitree・AgiBot・UBTECH・Galbotが世界を席巻する理由【2026年版】」
19. 吉川真人氏 note「2026年春晩にヒューマノイドロボット4社が”集団出演”」
20. SVRC「Humanoid Robot Buyer’s Guide 2026」
21. New Market Pitch「Figure 03 vs Tesla Optimus Comparison Tracker (2026)」 
22. Robozaps「30+ Humanoid Robot Companies Ranked [2026]」
23. RobotLAB「Humanoid Robots for Business: 2026 Guide」
24. Loona Blog「Top 20 Humanoid Robot Companies to Watch in 2026」 
25. RobotToday「Boston Dynamics IPO and $100B Valuation」 
26. FabScene「OpenAI出資の1Xが2万ドルで「NEO」予約開始」 
27. 森山和道氏 note「1X Technologies、家庭用ヒューマノイド「NEO」を予約受付開始」 
28. RoboHorizon「NEURA Robotics、ポルシェデザインのヒューマノイドの予約受付開始」 
29. ヒューマノイドジョブ「中国のヒューマノイドロボット企業15社完全ガイド」 
30. ロボスタ「ヒューマノイド「Unitree G1」活用でイベント・プロモーション領域に参入」 

The post フィジカルAI時代のモーションキャプチャー｜ロボティクス開発における役割と世界の最新動向【2026年版】 first appeared on 株式会社HELTEC センシング事業部.

人物や物体の動きをセンサーやカメラで計測し、位置・角度・速度などの情報をデジタルデータ化する技術です。
略称は「モーキャプ（Mocap）」。3Dアニメーション制作や動作解析、産業現場での作業分析など幅広い分野で活用されています。

この技術により、人間の動きをそのまま3Dキャラクターに反映したり、身体の動作を定量的に分析することが可能になります。
従来は映画・ゲーム制作などのエンターテインメント分野が中心でしたが、現在ではスポーツのフォーム分析、医療・リハビリテーションにおける運動評価などにも活用されています。

さらに近年では、製造業や物流現場における作業動作の可視化や負荷分析をはじめ、熟練者の動きをデータとして蓄積・再現することによる技術伝承（技能継承）や、作業の標準化・効率化といった分野でも導入が進んでいます。
安全労働衛生（労働災害の予防・改善）への活用とあわせて、DX（デジタルトランスフォーメーション）の一環として、産業用途での需要が急速に拡大しています。

動きの可視化と数値化がもたらす価値

モーションキャプチャーは、単なる「記録機器」から「改善のためのソリューション」へと役割を変えています。
従来は「どの方式で動きを取得するか」が主な関心でしたが、現在では「取得したデータをいかに活用し、意思決定につなげるか」が重要視されています。 

例えば、映画やゲーム制作では、俳優やアーティストの動きを高精度にデジタル化することで、リアルで自然なキャラクター表現を実現できるようになりました。

近年では、VTuberやバーチャルライブ、リアルタイムCG制作などでも活用が広がっており、「人の動きをリアルタイムにデジタル空間へ反映する技術」として重要性が高まっています。 

また産業分野では、熟練工の動きを数値化して若手に継承する、歩行データを解析して転倒リスクを予測するなど、「動きを可視化し、違いや改善点を言語化する」ことが、ビジネスや研究の成果に直結するようになっています。 

• ・作業のムダやばらつきの削減による生産性向上 
• ・身体負荷の可視化による安全性の向上 
• ・動作の標準化による品質の安定化・教育効率の向上 

これにより、こちらの3点の価値が生まれます。

そのため、単にデータを取得するだけでなく、分析・解釈・現場への落とし込みまでを含めた一貫した活用が求められています。

こうした価値を実現するためには、用途に応じた適切な方式選定が重要になります。  

現場活用の拡大と慣性式の重要性（産業・労働安全衛生） 

製造業や物流、建設などの現場では、「実際の作業環境でそのまま動作を取得したい」というニーズが急速に高まっています。 

こうした用途では、カメラ設置が不要で環境制約を受けにくい慣性式モーションキャプチャーが広く活用されています。 

特に近年は、労働安全衛生の観点からの導入が進んでおり、作業中の無理な姿勢や身体負荷を数値化することで、事故の未然防止や作業環境の改善に活用されています。 

作業動作のデータ化により、工場長や経営層にとっても「コスト削減」「品質安定」「人材育成」といった経営課題の解決に直結する以下のような価値が生まれます。 

• 身体負荷の高い工程の特定による労災リスク低減
• 熟練者の動作の標準化による教育効率の向上
• 無駄な動きの削減による生産性向上

代表的なシステムとしては、Xsensなどがあり、ドリフトや磁場の影響に対する補正技術に優れている点や、慣性式分野における豊富な導入実績から、多くの現場で採用されています。 

スポーツ・医療分野での高度活用

スポーツ分野では、選手のフォームや動作を詳細に分析することで、パフォーマンス向上や怪我予防に活用されています。競技環境に応じて、屋外では慣性式、研究用途では光学式といった使い分けが進んでいます。 

医療・リハビリテーション分野では、歩行や関節運動を定量的に評価することで、治療効果の可視化やリハビリ方針の最適化に活用されています。近年では、患者への負担を抑えるため、マーカーレス方式の導入も進んでいます。 

高精度解析ニーズの継続

研究や専門的な分析用途では、高精度かつ再現性の高いデータ取得へのニーズは依然として高く、光学式モーションキャプチャーが重要な役割を担い続けています。 

フォースプレートや筋電計（EMG）などの外部計測機器と連携した統合的な動作解析は、今後も継続的に求められる分野です。 

エンターテインメント分野での活用拡大

映画・ゲーム・VTuber・バーチャルライブなどのエンターテインメント分野でも、モーションキャプチャーの活用は急速に拡大しています。 

従来は大規模スタジオでの映画制作やゲーム開発が中心でしたが、近年ではリアルタイムCG技術や配信文化の拡大により、小規模スタジオや個人レベルでも活用されるケースが増えています。 

映画やゲーム制作では、俳優の演技やアクションを高精度にデジタル化することで、自然なキャラクターアニメーションやリアルな動作表現を実現しています。 

また、VTuberやバーチャルライブでは、リアルタイムでアバターを動かし、演者の動きや感情表現をそのままデジタル空間へ反映する用途で活用されています。 

用途によって求められる方式も異なり、  

• 高精度な映像制作 → 光学式（例：Vicon, XEROmotion)
• リアルタイム配信・ライブ・屋外 → 慣性式（例：Xsens）
• 手軽な収録・小規模運用 → マーカーレス式（例：AR51）

といった使い分けが進んでいます。 

近年では、リアルタイム性・省人化・制作効率の向上が重視されており、AIを活用したマーカーレス方式や、屋外・広範囲で利用しやすい慣性式への注目も高まっています。

ロボティクス業界

フィジカルAIは、環境を認識し適応して物理的に行動するAIであり、近年は実証から商用化へと移行しつつあります。産業界では倉庫や検査、医療支援などで導入が進み、汎用ロボットやヒューマノイドの実用化が注目されています。これらの動向は業界レポートでも指摘されています。

その中でモーションキャプチャは、フィジカルAIが「学び・模倣・安全に動く」ための現実世界データ取得手段として不可欠であり、実機適用の速度と信頼性を大幅に高めます。

なぜモーションキャプチャを使うのか：

・高精度な動作データを短時間で大量に取得でき、実機での学習や模倣学習（imitation learning）に直結する。

・シミュレーションと実機のギャップ（sim‑to‑real）を縮めるため、実世界の摩擦・慣性・接触情報を正確に反映できる。

・安全性評価やヒューマンロボット協調の検証により、予測不能な挙動を事前に検出できる。これらはフィジカルAIの導入を加速する要因です。

モーションキャプチャは、フィジカルAIのテレオペレーションや遠隔操作・学習データとして近年使用されており、今後もその流れは加速していくと考えられます。

モーションキャプチャーの種類は主に5選｜光学式・慣性式・マーカーレスを比較 

モーションキャプチャーには主に5つの方式があり、それぞれ取得できるデータの精度や、導入のしやすさ、コスト、使用できる環境などに大きな違いがあります。 

例えば、高精度な動作解析に適した方式もあれば、準備が簡単で現場導入しやすい方式もあり、用途によって最適な選択は大きく異なります。 

そのため、目的に合わない方式を選んでしまうと、「必要な精度が出ない」「設置や運用の負担が大きすぎる」「想定していた環境で使えない」といった課題が発生する可能性があります。 

まずは各方式の特徴を俯瞰的に比較し、自社の目的や利用シーンに適した方向性を把握することが重要です。 

以下の比較表では、「精度」「手軽さ」「コスト」「環境適性」といった観点から、代表的な方式の違いを整理しています。 

1. マーカーレス式（画像式）のモーションキャプチャー

▼ マーカーレス式の仕組み

複数台（あるいは1台）のカメラで撮影した映像をPCに取り込み、AI（ディープラーニング）を用いて人物の関節位置を自動検出する方式です。身体に何も装着する必要がないのが最大の特徴です。

複数カメラを用いる場合は異なる視点の映像を統合することで3D位置を推定しますが、光学式（マーカー式）のように実測したマーカー位置を直接取得するわけではなく、あくまで画像からの推定となります。

そのため近年は精度が大きく向上しているものの、条件によっては誤差や推定ミスが発生する可能性があります。 

メリット

デメリット

向いている用途

2. 光学式のモーションキャプチャー

▼ 光学式の仕組み

身体の各部位に反射素材の「マーカー」を貼り付け、部屋の周囲に設置した複数の赤外線カメラでその位置を正確に捉える方式です。

各カメラが捉えたマーカーの位置情報を統合し、三角測量の原理によって3次元座標を高精度に算出します。 さらに事前にキャリブレーション（空間の基準設定）を行うことで、計測空間全体の位置関係を正確に定義します。 

このように「実際のマーカー位置を直接計測する」仕組みのため、非常に高い精度と再現性を実現できるのが特徴です。 

代表的なシステムとしては、Vicon、OptiTrack。新しいものだとXEROmotionなどがあります。 

メリット

デメリット

向いている用途

3. 慣性式（IMU）のモーションキャプチャー

▼ 慣性式の仕組み

加速度センサ、ジャイロセンサ、地磁気センサを内蔵した「IMUセンサー」を身体の各部位に装着し、その傾きや動きから全身の姿勢を計算する方式です。

各センサーの姿勢（角度情報）を人体の関節構造に沿って連結することで、全身の姿勢（スケルトン）をリアルタイムに再構成します。 カメラのように位置を直接測定するのではなく、「各部位の向きの変化」から姿勢を算出するのが特徴です。 

代表的なシステムとしては、Xsensがあります。ドリフトや磁場の影響に対する補正技術に優れており、慣性式モーションキャプチャーの分野において、世界的に多くの導入実績を持つ代表的なシステムの一つです。 

メリット

デメリット

向いている用途

4. 磁気式のモーションキャプチャー

▼ 磁気式の仕組み

磁場発生源（トランスミッタ）から発生させた磁場を、身体に装着した磁気センサーで検知し、その強さや方向の変化からセンサーの位置と角度（姿勢）を算出する方式です。 

光学式のようにカメラで捉えるのではなく、また慣性式（IMU）のように姿勢を推定するのでもなく、磁場内での「絶対的な位置と向き」を直接計測できるのが特徴です。 

メリット

デメリット

向いている用途

5. 他方式（機械式・深度カメラ等）

これまで紹介した主要な方式のほかにも、用途や目的に応じて利用されるモーションキャプチャー技術が存在します。ここでは代表的な例を簡単に紹介します。 

▼ 機械式（メカニカル式）

身体に外骨格（エクソスケルトン）のような装置を装着し、関節部分に取り付けられたポテンショメータ（角度センサー）によって各関節の角度を直接計測する方式です。

非常に安定したデータ取得が可能ですが、装置の制約により自然な動作が制限される場合があります。 

向いている用途

• リハビリテーションや動作訓練の評価 
• ロボティクスや人間動作の研究 
• 安定した関節角度データが必要な検証用途 

▼ 深度カメラ（Kinect等） 

対象までの距離情報を取得できるカメラ（深度センサー）を用いて骨格を推定する方式です。 

カメラ1台で簡易的に動作を取得できる手軽さが特徴ですが、精度や取得できるデータの詳細度は限定的で、簡易分析や検証用途に向いています。 

向いている用途

• 簡易的な動作分析・デモ用途 
• 教育・トレーニング用途（コストを抑えた環境） 
• プロトタイピングやPoC（概念実証） 

これらの方式は特定用途では有効ですが、汎用的な動作解析や産業用途では、マーカーレス・光学式・慣性式が選ばれるケースが一般的です。  

用途別におすすめのモーションキャプチャー方式と事例

「結局、どれを選べばいいの？」という方のために、用途別のおすすめ方式をまとめました。

このように、モーションキャプチャーは用途によって最適な方式が大きく異なり、「どの現場で、何を目的に使うか」を明確にすることが導入成功のポイントとなります。 

モーションキャプチャーの最新トレンド【2026年版】

モーションキャプチャー技術は年々進化しており、活用領域もエンターテインメントから産業・スポーツ・医療分野へと広がっています。

ここでは2026年現在の主要なトレンドについて解説します。

近年の大きな潮流は、身体にマーカーやセンサーを装着せず、カメラ映像のみで骨格を推定する「マーカーレス方式」の進化です。 

AIによる姿勢推定（Pose Estimation）技術の向上により、従来は専門設備が必要だった動作解析が、より簡単かつ短時間で実施できるようになりました。 リアルタイム処理や自動化も進み、現場での運用ハードルは大きく下がっています。

こうした流れの中で、例えばAR51のようにリアルタイム解析や計測の自動化を実現したシステムも登場しており、準備や運用の負担を大幅に軽減できる点が注目されています。

次の10年へ「データ活用の高度化と現場実装」 

モーションキャプチャーの進化により、今後は「データを取得すること」から「データを継続的に活用し、改善を回し続けること」へと重心が移っていきます。 

特に製造業や物流、建設などの現場では、作業動作のデータ化を起点に、労働安全衛生の強化や生産性向上を同時に実現する取り組みが加速しています。
 無理な姿勢や負荷の高い工程を定量的に把握し、事故の未然防止や作業設計の最適化につなげる動きが広がっています。 

また、熟練者の動作をデータとして蓄積・再現することで、技術伝承や人材育成の効率化にも寄与し、人手不足への対応策としても重要性が高まっています。 

スポーツや医療分野においても、リアルタイム解析やフィードバックの高度化が進み、パフォーマンス向上やリハビリ効果の最大化に貢献しています。 

このように、モーションキャプチャーは「一度計測して終わり」のツールではなく、データを継続的に活用し、現場改善や意思決定を支える基盤へと進化しています。 

こうした流れを背景に、HELTECでは機器の提供にとどまらず、お客様の課題に応じたデータ活用や運用設計まで含めて支援を行っています。 

まとめ

モーションキャプチャーは、単なる計測手段ではなく、「動きを可視化・数値化し、改善につなげるための基盤」として活用される技術です。

重要なのは、目的や現場環境に応じて最適な方式を選定することです。 

大きな選択軸としては、以下のように整理できます。 

また近年では、労働安全衛生の強化や作業効率の改善、技術伝承といった観点から、モーションキャプチャーの導入は単なる分析ツールではなく、経営課題を解決する手段としての重要性も高まっています。 

そのため、「どの機器を選ぶか」だけでなく、取得したデータをどのように活用し、現場改善や意思決定につなげるかまでを含めて検討することが成功のポイントとなります。 

株式会社HELTECでは、お客様の計測対象・目的・現場環境をヒアリングした上で、最適な方式・システムの選定から、データ活用・運用設計まで一貫してご支援しています。 デモ計測やレンタルのご相談も可能ですので、まずはお気軽にお問い合わせください。 

コラム：
フィジカルAI時代のモーションキャプチャー｜ロボティクス開発における役割と世界の最新動向【2026年版】

さらにロボティクス、フィジカルAIにフォーカスしたコラムもぜひご覧ください

関連製品ページ

Xsens MVN

高精度慣性式モーションキャプチャシステム

AR51

マーカーレスモーションキャプチャシステム

Industrial Athlete

作業者の作業負荷をリアルタイムに可視化

XEROmotion

光学式モーションキャプチャシステム

モーションキャプチャーに関するよくある質問

関連記事

マーカーレスモーションキャプチャAR51取り扱い開始！！

2025.04.03

お知らせ

【出展レポート】ファクトリーイノベーション Week ロボデックス [秋] 2026｜ヒューマノイドロボット×モーションキャプチャの最新デモを展示

2026.10.09

お知らせ

第５回ロボデックス秋に出展！

2026.08.26

The post モーションキャプチャーとは？方式の違い・費用・選び方を徹底比較【2026】 first appeared on 株式会社HELTEC センシング事業部.