We've added a feature to send Webcam Motion Capture hand tracking to VRChat! Please give it a try! VRChatにWebcam Motion Captureのハンドトラッキングを送信する機能を追加しました！ ぜひ試してみてください✨ [English Ver] [日本語版] #VRChat #Shinano3D

Don't we have that already by default? Or whats the difference between the webcam you can already use?

You can think of our hand tracking as an upgrade to VRChat's built-in Selfie Expression hand tracking.

Ty

すみません、OSCHandtrackerを導入するとアバターがセキュリティチェックに失敗したとなり、使えなくなってしまうのですが…

現状のWMCのデータ量が多すぎるため、削減する必要があるようです。データを軽くしたところセキュリティチェックに問題なく動くことを確認させていただきました。 軽量化の処理をさせていただいておりますので、申し訳ないですがしばらくお待ちください🙇‍♂️

返答ありがとうございます。 最適化を首を長くして待たせていただきます🙏

さきほど修正したものをアップロードさせていただきました。 お手数おかけしますが、Webcam Motion CaptureとWMC Toolそれぞれを再度ダウンロード、インストールしていただき、試してみていただけますか？

無事アップロードできました、ありがとうございます！ ですがこちらの環境が悪いのか、手のトラッキングだけ反映されて顔のトラッキングが出来ません……どうしたらいいでしょうか？

こちらのツールはハンドトラッキングのみなので、元投稿の1:40以降にありますように、VRChatのカメラトラッキングと組み合わせることをお勧めいたします。 VRChatの設定の「トラッキングとIK」から、カメラトラッキングを有効にできます。その際に添付画像のように設定してください。他の設定にするとVRChatのハンドトラッキングが有効になり、Webcam Motion Captureのハンドトラッキングが上書きされてしまうのでご注意ください。 またWindowsでは、初期状態では複数のアプリからカメラにアクセスできないので、対応方法はこちらをご覧ください。

ありがとうございます、無事できました 対応本当にありがとうございました🙇‍♀️

よかったです！ 問題のご報告たいへんありがとうございました。 ご利用の際に何かお気づきの点がありましたら、いつでもお気軽にお問い合わせください🙇‍♂️

webcam Motion Receiverのアプリの設定 のspout2を有効にする方法はサブスクしてないとできませんか？ spout2を有効にするボタンが表示されません

はい、サブスクリプションをしていない場合はSpout2はご利用になれないので、ゲームキャプチャをご利用ください。

ありがとうございます！ 結局ゲームキャプチャでも文字などが邪魔なのでサブスクさせて頂きました🙇‍♀️ 要望等あれば叶えてくださる事はありますでしょうか？ その際はサイトのお問い合わせで宜しいでしょうか？

はい、メールでもXでのご連絡どちらでも構いません。

ハンドトラッキングのみを使用したいと思っていたのですが少し不便なのところがありまして…。 1.肩や肘の幅調整と位置と固定のオンオフ 2.手前、奥行移動の停止位置の固定とオンオフ 3.トラッキングが外れた時の戻る位置の記憶と外れた時そこに戻る再現 いかがでしょうか？

再度のご連絡となり申し訳ありません。 現状以下になっております。 1. 現在対応する機能はございません。 2. 全身モードをご利用の場合は、トラッキングの詳細設定を開き、「カメラからの距離をトラッキング」を無効にしてください。 3. 上半身モードをご利用の場合は、待機モーションを設定することをおすすめいたします。使い方はこちらをご覧ください。

ありがとうございます。 全身モードと上半身モードのキャプチャの精度の違いはありますか？ またPCのカメラよりスマホのアプリの方が腕や手のキャプチャの制度は良いのでしょうか？ 左手の方が何故かよくはずれてグチャグチャしてしまいます。

上半身しかカメラに映っていない場合は上半身モードの方がトラッキングは安定します。 iPhoneとPCのカメラの精度の違いは、ご利用のカメラ次第ですが、iPhoneの方が安定する傾向はあります。 一般にはライティングをよくしてカメラのノイズを下げるとトラッキングが安定します。例えば晴れている日の日中に窓に向かって座って試してみてください。 またこちらのおすすめの環境をご覧ください。

早速導入させていただきましたが、OSC_Hand_Tracker_MAは出来たもののアバターをアップロードするのにかなり時間が掛かった挙句アップロードが上手く行かないようです。 ベース素体の「しなの」で試した所アップロードは出来ましたがセキュリティーチェックに失敗しました。

現状のWMCのデータ量が多すぎるため、削減する必要があるようです。データを軽くしたところセキュリティチェックに問題なく動くことを確認させていただきました。 軽量化の処理をさせていただいておりますので、しばらくお待ちください🙇‍♂️

いつも早急な対応ありがとうございます🙇

さきほど修正したものをアップロードさせていただきました。 お手数おかけしますが、Webcam Motion CaptureとWMC Toolそれぞれを再度ダウンロード、インストールしていただき、試してみていただけますか？

試してみた所、ちゃんとアップロード出来たようですが普段使っている(ギミックは出来るだけ減らした)のアバターはVRC上では手が中途半端に上がったまま止まって上手く動かないようです。 ただ、確認に上げたしなのちゃんは動きましたので、また改めて見てみようと思います。

申し訳ないですがすべてのモデルでテストしているわけではないので、こちらの問題でうまくいかないケースがあるかもしれません。 問題が修正できない場合は、またお気軽にお問い合わせください🙇‍♂️

你是说你做的比官方的精准度更高？

Yes, you can think of our hand tracking as an upgrade to VRChat's built-in Selfie Expression hand tracking.

i think this hand tracking is better than the default one on VRC.

Yes, you can think of our hand tracking as an upgrade to VRChat's built-in Selfie Expression hand tracking.

こちらはぱーふぇくとシンク対応済のフェイストラッキングなどと併用できますか？

VRChat内で使えるかというご質問でしょうか？

左様でございます！

はい、ご利用になれます。 ただ現状Webcam Motion Capture用のパラメーターだけで146 bitsを消費してしまうので、すべての顔のトラッキングパラメータを入れてしまうと、多くの場合制限の256 bitsを超えてしまいます。 申し訳ないですが、使用するパラメータを制限することでご対応お願い致します🙇‍♂️

Damn finally amazing best app tracking than VRChat.. You hero dev! lol ⭐️

突然のリプライ失礼します iOS側のアプリでWiFi経由でしか接続出来ないのでしょうか…？ 今後有線接続などご検討されていましたら、ぜひ使ってみたいと思っております。

iOSとパソコンを直接つないで通信したいというご要望でしょうか？

そうです！今後可能になるといったことなどありますでしょうか？

はい、実装の可能性をお調べさせていただきます🙇‍♂️

ありがとうございます！ 自分のPCがWiFi未実装なので接続ができなく、有線で直接接続出来るようになるととても嬉しいです！何卒よろしくお願いいたします🙇‍♂️

有線でも同じルーターにつながっていれば通信は可能です。 同じルーターにつながっていても接続しない場合、 有線の場合は通信の許可を手動で入れなくてはいけないケースが多いようですので、下記を参考に設定してみていただけますか？

從影片看來導入wmc hand後不需要再上傳角色到vrc? 我嘗試上傳以後 角色變成有安全上的問題未驗證成功而無法使用腳色 不上傳角色的話 VRC那邊似乎抓不到WMC的手部感應? 另外IP跟PORT需要更改嗎? 再來 我是用IPHONE的 VRC內部也只能用Camo 的攝影機 設定了一下午 始終不能像影片中那樣順暢

We have uploaded a fix for the issue. Can you update both the app and WMC Tool? Sorry for the inconvenience🙇‍♂️

ppl without vr can be active too. That a real justice :3

バニラ状態のマリシアで試してみたところ、アップロード時の処理に時間はかかったもののアップロードは成功しました。その後、WMC上のサンプルアバターの女の子はちゃんと全体が動いているのですが、マリシアは手だけヌルヌル動くようになって、顔と上半身（胴体）が動かないみたいです。

お試しありがとうございます。 今回リリースした機能は腕と指のみをトラッキングするツールで、単体で使うと動画の1:38-1:42のような状態になります。 表情や上半身も同時にトラッキングしたい場合は、動画の1:45秒以降のように、VRChatのカメラトラッキングと組み合わせることをおすすめしております。 詳細はこちらの投稿をご参照ください。

ご説明ありがとうございます！後ほど試してみようかと思います。まだ手だけですがヌルヌル動いてすごいですね。アバターに組み込むと負荷が大きいので公式クライアントに採用されてほしいなー

はい、VRChatにすでにある腕の動きと併用できるようになるだけでパラメーターの数がかなり減らせるようになると思うので、動作が安定してきましたらVRChatの公式にリクエストをさせていただこうと考えております🙇‍♂️

VRoidアバターをVRChatで使っているのですが、ゲーム内で確認したところ、指は動くのですが、腕があがりません。動画内で紹介している以外に必要な設定などがあるのでしょうか？WMCのアプリに同じアバターを適用した場合はちゃんと腕が上がってました。

VRChatのカメラトラッキングは同時に使用していますか？

カメラトラッキングの設定は動画内で紹介されていた通りに設定させていただきました

VRChatのカメラトラッキングを無効にした場合は腕が動くか試していただけますか？

無効にしても、指は動くけど腕は上がらない感じでした。ためしにゲーム内で物を持ってからカメラに手を映してみたら、物を持って目の前にある判定のまま、手をおろしている状態(指しか動かない)になって腕が戻らなくなりました。

ご確認ありがとうございます。 ちなみにVRChatはデスクトップモードでご利用でしょうか？

デスクトップモードで、一般的なウェブカメラを使っています。

ご確認ありがとうございます。 こちらでも腕が動かないケースがあることを確認させていただきました。対応させていただきますのでしばらくお待ちください🙇‍♂️

@saltyrice64

where is the toggle?

You need to download the Webcam Motion Capture from this page.

aaaah the beta version 😅 opsie thank you a lot for the fast reply!

Ooooo okay!

When I click the Space key to hide the UI Components, the tracking stops completely on Webcam Motion Receiver🥲 Also, I am a bit confused, do I need to use OBS Virtual Camera so VRChat can track the hands correctly? I see that's what your current webcam device is.

When sending the tracking data to VRChat, if you hit the space key, it looks like the tracking stops on Webcam Motion Capture, but the tracking data is still sending out. So don't worry about it. You can use any camera. But if you need to use a single camera on both Webcam Motion Capture and VRChat, you cannot do it by default on Windows. For how to use a single camera on multiple apps at the same time, please refer to this page. Using a virtual camera is an option, but it is not necessary.

Alright, so I could make the tracking kinda work, now it is tracking my hands, but I cannot move my arms up at all, I can only close and open my hands. When using VRChat built-in hand tracking my arms only work on other avatars who do not have WMC Tool too.

We have just released a new version. Can you try it to see if the issue where the arm does not move is resolved? Latest release of the app: Can you also re-download the latest WMC Tool and set up your avatar again? You may want to start it from a new prefab.

修正されたものを使用したところ、アップロードしたアバターはエラーなく表示されましたが、ハンドトラッキングができません。コントローラーを離してみてもできていません。WMC上では動いているのですが、VRCに反映されていないようです。

動画の1:17以降の手順に従って、Webcam Motion Captureからのデータ送信と、VRChatでのOSC受信の手続きを踏んでも動かないということでしょうか？

ありがとうございます、動きました。が、WMCでの動きや動画の動きよりもぎこちないのは回線などの問題でしょうか？

詳細を確認させていただきたいので、具体的にどのような感じか、VRChatの画面を動画で録画して送っていただくことはできますか？

Nice. Vrc's "Selfie Mode" is ass, so people who like using selfie mode: Pick this up and use it instead.

no way 😭 amazing

me interesaria mas el movimiento de los pies 0w0