砂塚紀彦｜PKSHA Associates CTO兼CPO
@sunazukan • 1,502 subscribers
🤖 業務自動化AIエージェントを2,500社に導入しているPKSHA Associates 執行役員CTO兼CPO｜PKSHA Technology AI NativeカンパニーCTO｜🚀「最先端AI」×「現場が使えるUX」で全国DX推進｜✨AIの力で“働く人がより輝く”世の中をつくりたい｜💬発言は個人の見解です
Videos
最近、ローカルLLMを手元で動かしたいという声をエンジニアやPdMから聞くので、私がMac StudioとDGX Sparkでgpt-oss-120bを動かしている所感を書いておきます📝 💡性能 gpt-oss-120bの実測値で言うと、Mac Studio（M3 Ultraフルスペック）が60-70 tokens/s、DGXが40-50tokens/sくらい。Macで実行してる録画を添付したのでスピードの参考に。Macの方が速く、DGXは体感その7割ぐらい。 DGXは2台を専用ケーブルで接続することで最大405Bまで動作するらしいですが、gpt-oss-120bなら1台で十分。 💡使い勝手・GUI 特にエンジニア以外が簡単に使い始めたいならMacの方が楽です。LM StudioというアプリをインストールしてGUI上でモデル選択するだけ簡単にチャットできます。localhost立ててAPIで呼べる機能もあるので、OpenAI API互換で呼び出すコードをCursorやClaude Codeに書かせれば呼び出せます。 DGXもディスプレイ・マウス・キーボードを接続でき、LinuxベースのOSで最低限のことはGUIでもできます。LM StudioのLinux版で、Serve on Local Network機能を使えば同一ネットワーク内でWi-Fi経由でアクセスできるようになります。 ただ、DGXは設定中に一部GUIで完結せずCLIでコマンド打つ羽目になるので、エンジニア以外にはオススメしないですが、ChatGPTと会話しながら頑張れないこともないです。 💡排熱・設置面 gpt-oss-120bを5-10分も連続動作させると、両者とも筐体がアツアツに。Macは音を出して熱風を放ちますが、DGXは比較的静かでモワッと周囲が熱くなる感じ。 会社で使うなら、サーバーラックや換気しやすい場所に置いてWi-Fi経由でアクセスすると良さそうです。デスクにMacを置いて何時間も連続実行すると、たぶん周囲の人に迷惑かかるレベルで暑いです。 ちなみに、私が自分の部屋のデスクに置いてるMac StudioでAPIを何万回も呼ぶ処理を長時間実行する際は、この季節でも冷房つけてます。
砂塚紀彦｜PKSHA Associates CTO兼CPO74,261 görüntüleme • 6 ay önce
Daha fazla içerik yok.