Video yükleniyor...

Video Yüklenemedi

Ana Sayfaya Dön

GPT-oss 20BがGPUメモリ4GBで動いて14tok/sec出る！

kis's profile picture

きしだൠ(K1S)

24,386 subscribers

108,833 görüntüleme • 1 yıl önce •via X (Twitter)

Sağlık & İyilikBilim & TeknolojiEğitim
LIVE

Anya Rossi• Live Now

Private livecam show

0 Yorum

Yorum bulunmuyor

Orijinal gönderinin yorumları burada görünecek

Benzer Videolar

先ほど発表された、OpenAI社のオープンソースのローカルLLMのGPT-OSS-120bをH100上で動かしてみた。GPUメモリは65GB使用。非常にサクサク文章が生成されてすごい。
2:02

先ほど発表された、OpenAI社のオープンソースのローカルLLMのGPT-OSS-120bをH100上で動かしてみた。GPUメモリは65GB使用。非常にサクサク文章が生成されてすごい。

Yuki Nagai

94,068 görüntüleme • 1 yıl önce

55万円のMac Studioでgpt-oss-120bがどれくらいの速さで動くかをよく聞かれるので画面録画してみた
0:44

55万円のMac Studioでgpt-oss-120bがどれくらいの速さで動くかをよく聞かれるので画面録画してみた

Haruhiko Okumura

173,050 görüntüleme • 9 ay önce

OpenAI のオープンウェイトモデル gpt-oss-120b をローカル環境で動かしてみた！このくらいの速度が出ます！Ollama x Mac Studio M2 Ultra 192GB
0:42

OpenAI のオープンウェイトモデル gpt-oss-120b をローカル環境で動かしてみた！このくらいの速度が出ます！Ollama x Mac Studio M2 Ultra 192GB

ぬこぬこ | NUKO

221,218 görüntüleme • 1 yıl önce

おうちで！Kimi-K3が！起動した！！！ 4tok/sec出てる。思ったより速い！
0:35

おうちで！Kimi-K3が！起動した！！！ 4tok/sec出てる。思ったより速い！

きしだൠ(K1S)

151,956 görüntüleme • 13 gün önce

Mac Studio(2025) M3 Ultra 512GBでopenai/gpt-oss-120bをローカルで動かしてみました。 普通にトークン生成が速くてびっくりしてます。内容も、ちゃんとしたものが出る。Tool callingなども試していきたい！
2:10

Mac Studio(2025) M3 Ultra 512GBでopenai/gpt-oss-120bをローカルで動かしてみました。 普通にトークン生成が速くてびっくりしてます。内容も、ちゃんとしたものが出る。Tool callingなども試していきたい！

Masahiro Nishimi | Generative Agents

14,733 görüntüleme • 1 yıl önce

人事やって思いますが、この動画に『出世できる人』と『出世できない人』の違いが詰まってる。
1:02

人事やって思いますが、この動画に『出世できる人』と『出世できない人』の違いが詰まってる。

人事部長 くく丸

1,231,287 görüntüleme • 2 yıl önce

運動しているのに腹が出ている人へ
1:02

運動しているのに腹が出ている人へ

垢抜け雑学❣️

617,264 görüntüleme • 3 ay önce

【LiveMV : Ghostnote(Live ver.)】 最近AI音楽フェスとかでみなさんがライブ映像作ってるのを見て作りたくなったのでライブ動画を作ってみました☺️ GPT Image2で作った画像をStart/Endフレームで繋げているだけの簡易的なものですが、いつかAI音楽フェスも出てみたいですね✨️ --- 画像：PixAI / GPT Image2 曲：Suno v5.5 動画：Seedance2.0（#Hailuo）
2:29

【LiveMV : Ghostnote(Live ver.)】 最近AI音楽フェスとかでみなさんがライブ映像作ってるのを見て作りたくなったのでライブ動画を作ってみました☺️ GPT Image2で作った画像をStart/Endフレームで繋げているだけの簡易的なものですが、いつかAI音楽フェスも出てみたいですね✨️ --- 画像：PixAI / GPT Image2 曲：Suno v5.5 動画：Seedance2.0（#Hailuo）

Mankyu | AI動画生成

469,935 görüntüleme • 2 ay önce

GPT-Realtime-2を使ってZoom及びGoogle Meet対応の「ほんやくコンニャク」作ったwww 動画だと凄さ半減してる気がするから、あとでOSSとしてコードも公開します！！！
1:20

GPT-Realtime-2を使ってZoom及びGoogle Meet対応の「ほんやくコンニャク」作ったwww 動画だと凄さ半減してる気がするから、あとでOSSとしてコードも公開します！！！

Taiyo Kimura

204,349 görüntüleme • 3 ay önce

小红书で調べたら色々な動画が出てくるけどドローンで救助しているこれ、ＡＩじゃないと怖いくらい上まで上がって結構な速度で移動しているけど本当⁉︎
0:22

小红书で調べたら色々な動画が出てくるけどドローンで救助しているこれ、ＡＩじゃないと怖いくらい上まで上がって結構な速度で移動しているけど本当⁉︎

ラムさん

83,622 görüntüleme • 1 ay önce

最近、ローカルLLMを手元で動かしたいという声をエンジニアやPdMから聞くので、私がMac StudioとDGX Sparkでgpt-oss-120bを動かしている所感を書いておきます📝 💡性能 gpt-oss-120bの実測値で言うと、Mac Studio（M3 Ultraフルスペック）が60-70 tokens/s、DGXが40-50tokens/sくらい。Macで実行してる録画を添付したのでスピードの参考に。Macの方が速く、DGXは体感その7割ぐらい。 DGXは2台を専用ケーブルで接続することで最大405Bまで動作するらしいですが、gpt-oss-120bなら1台で十分。 💡使い勝手・GUI 特にエンジニア以外が簡単に使い始めたいならMacの方が楽です。LM StudioというアプリをインストールしてGUI上でモデル選択するだけ簡単にチャットできます。localhost立ててAPIで呼べる機能もあるので、OpenAI API互換で呼び出すコードをCursorやClaude Codeに書かせれば呼び出せます。 DGXもディスプレイ・マウス・キーボードを接続でき、LinuxベースのOSで最低限のことはGUIでもできます。LM StudioのLinux版で、Serve on Local Network機能を使えば同一ネットワーク内でWi-Fi経由でアクセスできるようになります。 ただ、DGXは設定中に一部GUIで完結せずCLIでコマンド打つ羽目になるので、エンジニア以外にはオススメしないですが、ChatGPTと会話しながら頑張れないこともないです。 💡排熱・設置面 gpt-oss-120bを5-10分も連続動作させると、両者とも筐体がアツアツに。Macは音を出して熱風を放ちますが、DGXは比較的静かでモワッと周囲が熱くなる感じ。 会社で使うなら、サーバーラックや換気しやすい場所に置いてWi-Fi経由でアクセスすると良さそうです。デスクにMacを置いて何時間も連続実行すると、たぶん周囲の人に迷惑かかるレベルで暑いです。 ちなみに、私が自分の部屋のデスクに置いてるMac StudioでAPIを何万回も呼ぶ処理を長時間実行する際は、この季節でも冷房つけてます。
1:10

最近、ローカルLLMを手元で動かしたいという声をエンジニアやPdMから聞くので、私がMac StudioとDGX Sparkでgpt-oss-120bを動かしている所感を書いておきます📝 💡性能 gpt-oss-120bの実測値で言うと、Mac Studio（M3 Ultraフルスペック）が60-70 tokens/s、DGXが40-50tokens/sくらい。Macで実行してる録画を添付したのでスピードの参考に。Macの方が速く、DGXは体感その7割ぐらい。 DGXは2台を専用ケーブルで接続することで最大405Bまで動作するらしいですが、gpt-oss-120bなら1台で十分。 💡使い勝手・GUI 特にエンジニア以外が簡単に使い始めたいならMacの方が楽です。LM StudioというアプリをインストールしてGUI上でモデル選択するだけ簡単にチャットできます。localhost立ててAPIで呼べる機能もあるので、OpenAI API互換で呼び出すコードをCursorやClaude Codeに書かせれば呼び出せます。 DGXもディスプレイ・マウス・キーボードを接続でき、LinuxベースのOSで最低限のことはGUIでもできます。LM StudioのLinux版で、Serve on Local Network機能を使えば同一ネットワーク内でWi-Fi経由でアクセスできるようになります。 ただ、DGXは設定中に一部GUIで完結せずCLIでコマンド打つ羽目になるので、エンジニア以外にはオススメしないですが、ChatGPTと会話しながら頑張れないこともないです。 💡排熱・設置面 gpt-oss-120bを5-10分も連続動作させると、両者とも筐体がアツアツに。Macは音を出して熱風を放ちますが、DGXは比較的静かでモワッと周囲が熱くなる感じ。 会社で使うなら、サーバーラックや換気しやすい場所に置いてWi-Fi経由でアクセスすると良さそうです。デスクにMacを置いて何時間も連続実行すると、たぶん周囲の人に迷惑かかるレベルで暑いです。 ちなみに、私が自分の部屋のデスクに置いてるMac StudioでAPIを何万回も呼ぶ処理を長時間実行する際は、この季節でも冷房つけてます。

砂塚紀彦｜PKSHA Associates CTO兼CPO

74,261 görüntüleme • 9 ay önce

UnityでMMDでやってたような観客表現出来ないかなとずっと考えてたんだけど、ついに出来るようになった…！高価なGPU無しでも12000人が十分にリアルタイムで動く✨
1:09

UnityでMMDでやってたような観客表現出来ないかなとずっと考えてたんだけど、ついに出来るようになった…！高価なGPU無しでも12000人が十分にリアルタイムで動く✨

mobiusP📸

576,764 görüntüleme • 1 yıl önce

このサイト、全員が見てほしい。 ペンで落書きできるサイト。囲めば動画が出てくる。 ペンで書いたような装飾でまとまっているから、ペンで書いて遊びながらスクロールしても、統一感が出て変に浮かない。面白くて珍しいサイト。
0:52

このサイト、全員が見てほしい。 ペンで落書きできるサイト。囲めば動画が出てくる。 ペンで書いたような装飾でまとまっているから、ペンで書いて遊びながらスクロールしても、統一感が出て変に浮かない。面白くて珍しいサイト。

いがらし｜Studio×構造設計

378,666 görüntüleme • 8 ay önce

マインクラフトJava版の推奨RAMが4GBから16GBへ。 17年ぶりのシステム要件改定でVulkan 1.3対応GPUが必須になる。 背景はOpenGLからVulkanへの描画エンジン移行。 6月配信の更新にはすでにVulkanが搭載されている。 その先にはグラフィック刷新「バイブラント ビジュアルズ」が控えている。
1:13

マインクラフトJava版の推奨RAMが4GBから16GBへ。 17年ぶりのシステム要件改定でVulkan 1.3対応GPUが必須になる。 背景はOpenGLからVulkanへの描画エンジン移行。 6月配信の更新にはすでにVulkanが搭載されている。 その先にはグラフィック刷新「バイブラント ビジュアルズ」が控えている。

情報の灯台

443,831 görüntüleme • 20 gün önce