村山龍太郎 | Muso Action 株式会社 CEO's banner
村山龍太郎 | Muso Action 株式会社 CEO's profile picture

村山龍太郎 | Muso Action 株式会社 CEO

@03nova2,152 subscribers

Muso Actionという会社を始めました / 生成AI x ロボット、ヒューマノイド、ロボット基盤モデルについて紹介、解説します / ex- IBM, SoftBank Robotics, LINE, GROOVE X, Amazon , Preferred Robotics

Shorts

ロボットのための「保育園」を作るプロジェクト『Pantograph』 LLMにはWeb上のテキストがあるが、ロボットには「物理世界の経験」が足りない。そこで数千台の小型ロボットを放ち、幼児のように物を触って・倒して・曲げさせて、ゼロから学習データを作るというアプローチをとる 開発されたハードウェアも合理的:とにかく安く、小さく作り、大量にテスト、壊れても交換するを実現する 公益目的法人(PBC)として設立され、社会インフラを目指す

ロボットのための「保育園」を作るプロジェクト『Pantograph』 LLMにはWeb上のテキストがあるが、ロボットには「物理世界の経験」が足りない。そこで数千台の小型ロボットを放ち、幼児のように物を触って・倒して・曲げさせて、ゼロから学習データを作るというアプローチをとる 開発されたハードウェアも合理的:とにかく安く、小さく作り、大量にテスト、壊れても交換するを実現する 公益目的法人(PBC)として設立され、社会インフラを目指す

97,142 次观看

Videos

03nova's profile picture

🤖 ヒューマノイドが「視覚情報のみ」でドアを開ける!NVIDIAの最新成果 Doorman NVIDIA、CMUらによる共同研究「DoorMan」が、ヒューマノイドのロコ・マニピュレーション(歩行+操作)における成果 【ここが凄い!】 • 純粋なRGB画像のみ: 外部センサーに頼らず、ロボット搭載のカメラ画像だけで多様なドアを識別し、開けて通り抜ける • 人間超えのスピード: タスク完了時間は、人間の遠隔操作よりも最大で31.7%(約7.15秒)高速 • 完全シミュレーション学習: 人間のお手本データは一切使わず、100%シミュレータ(Isaac Lab)内での強化学習のみで実機(Unitree G1)への展開に成功 【3段階の学習フェーズ】 1. Teacher学習: シミュレータ上の特権情報(ドアの正確な位置等)を使い、PPOで効率的に学習 2. 蒸留(Distillation): Teacherの動きを、視覚情報しか使えないStudent(実機モデル)へ伝授 3. GRPOによる微調整: 最後にGRPOを用いて、視覚入力特有の曖昧さを克服し、成功率を20〜30%向上 【Stage-reset探索】 ドア開けのような長い工程(近づく→触る→回す→通る)を効率化するため、シミュレータ内で途中のステージから強制的にリセットして開始する機能を導入。これにより、難易度の高い「ハンドルを回す」等の経験値を稼ぐことが可能に 【シミュレーションの力】 Isaac Labの超高画質レンダリング(RTX)により、5,000種以上の照明条件や多様なテクスチャ、モーションブラーまでも再現。この圧倒的なデータ量と質の高い試行錯誤が、実世界での高い汎用性を生み出しているとのこと 【コメント】 まだコンタクトリッチ(接触の多いタスク)への展開は難しいようだが、ドアを開けるといった比較的単純なタスクであれば、ロコマニピュレーションがSimulationで解けるようになってきたのは非常に面白い #NVIDIA #AI #Robotics #Humanoid #Sim2Real #MachineLearning

村山龍太郎 | Muso Action 株式会社 CEO

14,403 次观看 • 5 个月前

没有更多内容可加载