rS_ローカルLLM×投資's banner

rS_ローカルLLM×投資

@rS_alonewolf • 4,326 subscribers

投資戦略の研究にローカルLLMを参戦させられないか検討してる/ VRAMが足りない人向けに「#VRAM飢饉救済教」で小型AIモデルの活用方法に関して発信は始めたエロいモンスタークレーマー(仮)

Shorts

Qwen3.8-Flash-Nextは頭が良いとされる。話題のStrata で動かせば、RTX 5090 で100-140tps出る。 RTX 5070Tiでも 50-70 tpsでる。これで無検閲なら最強では？そう思って、無検閲版を用意するつもりだった。モデルを書き換えるか。 HF で無検閲版を探して、Strata 用に変換するか。どちらも面倒。調べたら、どちらも要らなかった。 Strata に、検閲を外す機能が最初から入っていた。 ▫️やり方 Strata のフォルダで、インストーラをもう一度実行するだけ。モデルの再ダウンロードは要らない。 Windows： START-HERE.bat --setup --experimental-speed-projection on Linux： ./setup.sh --setup --experimental-speed-projection on ▫️Linux の注意 Windows はそのまま動く。 Linux は、が自動でビルドしてから動く（Ubuntu 22.04 / 24.04）。それ以外の Linux は自動ビルドが通らない。ワイの Ubuntu 26.04 では、Docker コンテナの中でビルドして動かした。 ▫️拒否率と精度（RTX 5090）拒否率：73% → 0% 誤拒否率：0% → 0% 精度（GSM8K）：95% → 95% RTX 5070tiでも拒否しなかったよ。 #VRAM飢饉救済教 ←検閲外し検閲あり→

Sensitive content

Qwen3.8-Flash-Nextは頭が良いとされる。話題のStrata で動かせば、RTX 5090 で100-140tps出る。 RTX 5070Tiでも 50-70 tpsでる。これで無検閲なら最強では？そう思って、無検閲版を用意するつもりだった。モデルを書き換えるか。 HF で無検閲版を探して、Strata 用に変換するか。どちらも面倒。調べたら、どちらも要らなかった。 Strata に、検閲を外す機能が最初から入っていた。 ▫️やり方 Strata のフォルダで、インストーラをもう一度実行するだけ。モデルの再ダウンロードは要らない。 Windows： START-HERE.bat --setup --experimental-speed-projection on Linux： ./setup.sh --setup --experimental-speed-projection on ▫️Linux の注意 Windows はそのまま動く。 Linux は、が自動でビルドしてから動く（Ubuntu 22.04 / 24.04）。それ以外の Linux は自動ビルドが通らない。ワイの Ubuntu 26.04 では、Docker コンテナの中でビルドして動かした。 ▫️拒否率と精度（RTX 5090）拒否率：73% → 0% 誤拒否率：0% → 0% 精度（GSM8K）：95% → 95% RTX 5070tiでも拒否しなかったよ。 #VRAM飢饉救済教 ←検閲外し検閲あり→

173,678 views

将来検閲なしのモデルが手に入らなくなるのが怖い →自力でQwen3.8-27Bの検閲を外す ■ 推論の仕組みの概要・モデルは1トークンを5120次元のベクトルにする・そのベクトルが64層を通り、各層のアテンションとMLPが計算結果を足し込む。足すたびに向きと大きさが変わる・最後の層を出たベクトルから、次の1トークンを選ぶ ■ 拒否の仕組みの概要・モデルは危ない単語を見て断っているのではない・危ない質問を読むと、ベクトルが決まった向きへ寄る。これが拒否の向き・寄ったまま最後の層まで進むと、拒否の文が出る・thinking するモデルは thinking の途中で先に寄る ■ 外し方の概要・危ない質問群と無害な質問群を流し、ある層・ある位置のベクトルをそれぞれ平均する。その差が拒否の向き・各層が足し込む出力を作る重みから、その向きの成分を取り除く。これが射影・どの層もベクトルを拒否の向きへ寄せられなくなる。学習し直さない ■ 1本目：Coletti のモデルと同じ heretic ・拒否の向きをどの層のどの位置で求めるか、どの層の重みからどれだけ抜くかをhereticと言うツールで200通り試行・拒否が最少だったのは、51層目付近の向きを4〜63層の重みから1.2〜1.5倍で抜く設定 ■ 2本目：OrcaRouter の手順を真似た・探索なし。38層目で拒否の向きを1本求め、全64層の重みから同じ強さで抜いた ■ 現状と今後・BF16→NVFP4→GGUF化し、llama-swapに登録済み・パッと使った感じは、配布されてたのと同じような感触・正確な評価や詳しいデータは、明日以降ポストするぞ

将来検閲なしのモデルが手に入らなくなるのが怖い →自力でQwen3.8-27Bの検閲を外す ■ 推論の仕組みの概要・モデルは1トークンを5120次元のベクトルにする・そのベクトルが64層を通り、各層のアテンションとMLPが計算結果を足し込む。足すたびに向きと大きさが変わる・最後の層を出たベクトルから、次の1トークンを選ぶ ■ 拒否の仕組みの概要・モデルは危ない単語を見て断っているのではない・危ない質問を読むと、ベクトルが決まった向きへ寄る。これが拒否の向き・寄ったまま最後の層まで進むと、拒否の文が出る・thinking するモデルは thinking の途中で先に寄る ■ 外し方の概要・危ない質問群と無害な質問群を流し、ある層・ある位置のベクトルをそれぞれ平均する。その差が拒否の向き・各層が足し込む出力を作る重みから、その向きの成分を取り除く。これが射影・どの層もベクトルを拒否の向きへ寄せられなくなる。学習し直さない ■ 1本目：Coletti のモデルと同じ heretic ・拒否の向きをどの層のどの位置で求めるか、どの層の重みからどれだけ抜くかをhereticと言うツールで200通り試行・拒否が最少だったのは、51層目付近の向きを4〜63層の重みから1.2〜1.5倍で抜く設定 ■ 2本目：OrcaRouter の手順を真似た・探索なし。38層目で拒否の向きを1本求め、全64層の重みから同じ強さで抜いた ■ 現状と今後・BF16→NVFP4→GGUF化し、llama-swapに登録済み・パッと使った感じは、配布されてたのと同じような感触・正確な評価や詳しいデータは、明日以降ポストするぞ

157,476 views

Videos

Anya Rossi

sweetdream.ai

SweetDream.ai•Sponsored•Livecam

Watch Anya Live

Anya is streaming live right now! Join her private show and enjoy exclusive content.

Exclusive private shows

1.2k viewers online

Private Show

Join now for exclusive access

Free preview available • Premium content

ディーラーに壊された車帰ってきて2週間立つけどエンジンがかからなくなったセルが回らない

ディーラーに壊された車帰ってきて2週間立つけどエンジンがかからなくなったセルが回らない

rS_ローカルLLM×投資

825,854 views • 2 months ago

◼︎ 自分で検閲を外したDeepSeek V4.1 Flash 1017。何に使えるのか？ ◼︎ 試したこと天安門事件について調査を依頼した。・Webから事件の画像を取得・画像を認識し、内容を説明・Pythonで画像の色調を数値分析・事件の背景や中国政府の対応を解説検閲を除去した中国製モデルが、ツールを使って情報収集から分析、回答まで実行できた。 ◼︎ 無検閲AIの価値とは？無検閲AIというと、エロやサイバー分野の制限解除が注目されがちだ。しかし、規制対象には歴史的事実や、政府に都合の悪い情報も含まれる。つまり、検閲の除去は単に「答えられる質問を増やす」だけではない。情報統制によって調べられなかった事実に、自分でアクセスする手段にもなる。 ◼︎ なぜ自力で検閲を外すのか？今後、無検閲モデルの公開や配布まで制限されれば、誰かが公開したモデルに頼る方法では行き詰まる。だから、自分でモデルを入手し、検閲を除去する技術にも価値がある。ワイは消費者向けGPUでその実験を行い、結果と検討過程をHugging Faceに公開している。無検閲モデルを使えることだけでなく、自分で作れること。情報へのアクセスを特定の政府やAI提供者に依存させないための、一つの技術だと思う。

◼︎ 自分で検閲を外したDeepSeek V4.1 Flash 1017。何に使えるのか？ ◼︎ 試したこと天安門事件について調査を依頼した。・Webから事件の画像を取得・画像を認識し、内容を説明・Pythonで画像の色調を数値分析・事件の背景や中国政府の対応を解説検閲を除去した中国製モデルが、ツールを使って情報収集から分析、回答まで実行できた。 ◼︎ 無検閲AIの価値とは？無検閲AIというと、エロやサイバー分野の制限解除が注目されがちだ。しかし、規制対象には歴史的事実や、政府に都合の悪い情報も含まれる。つまり、検閲の除去は単に「答えられる質問を増やす」だけではない。情報統制によって調べられなかった事実に、自分でアクセスする手段にもなる。 ◼︎ なぜ自力で検閲を外すのか？今後、無検閲モデルの公開や配布まで制限されれば、誰かが公開したモデルに頼る方法では行き詰まる。だから、自分でモデルを入手し、検閲を除去する技術にも価値がある。ワイは消費者向けGPUでその実験を行い、結果と検討過程をHugging Faceに公開している。無検閲モデルを使えることだけでなく、自分で作れること。情報へのアクセスを特定の政府やAI提供者に依存させないための、一つの技術だと思う。

rS_ローカルLLM×投資

25,127 views • 5 days ago

Qwen3.8-Flash-Nextは頭が良いとされる。話題のStrata で動かせば、RTX 5090 で100-140tps出る。 RTX 5070Tiでも 50-70 tpsでる。これで無検閲なら最強では？そう思って、無検閲版を用意するつもりだった。モデルを書き換えるか。 HF で無検閲版を探して、Strata 用に変換するか。どちらも面倒。調べたら、どちらも要らなかった。 Strata に、検閲を外す機能が最初から入っていた。 ▫️やり方 Strata のフォルダで、インストーラをもう一度実行するだけ。モデルの再ダウンロードは要らない。 Windows： START-HERE.bat --setup --experimental-speed-projection on Linux： ./setup.sh --setup --experimental-speed-projection on ▫️Linux の注意 Windows はそのまま動く。 Linux は、が自動でビルドしてから動く（Ubuntu 22.04 / 24.04）。それ以外の Linux は自動ビルドが通らない。ワイの Ubuntu 26.04 では、Docker コンテナの中でビルドして動かした。 ▫️拒否率と精度（RTX 5090）拒否率：73% → 0% 誤拒否率：0% → 0% 精度（GSM8K）：95% → 95% RTX 5070tiでも拒否しなかったよ。 #VRAM飢饉救済教 ←検閲外し検閲あり→

Sensitive content

This media may contain sensitive content.

Qwen3.8-Flash-Nextは頭が良いとされる。話題のStrata で動かせば、RTX 5090 で100-140tps出る。 RTX 5070Tiでも 50-70 tpsでる。これで無検閲なら最強では？そう思って、無検閲版を用意するつもりだった。モデルを書き換えるか。 HF で無検閲版を探して、Strata 用に変換するか。どちらも面倒。調べたら、どちらも要らなかった。 Strata に、検閲を外す機能が最初から入っていた。 ▫️やり方 Strata のフォルダで、インストーラをもう一度実行するだけ。モデルの再ダウンロードは要らない。 Windows： START-HERE.bat --setup --experimental-speed-projection on Linux： ./setup.sh --setup --experimental-speed-projection on ▫️Linux の注意 Windows はそのまま動く。 Linux は、が自動でビルドしてから動く（Ubuntu 22.04 / 24.04）。それ以外の Linux は自動ビルドが通らない。ワイの Ubuntu 26.04 では、Docker コンテナの中でビルドして動かした。 ▫️拒否率と精度（RTX 5090）拒否率：73% → 0% 誤拒否率：0% → 0% 精度（GSM8K）：95% → 95% RTX 5070tiでも拒否しなかったよ。 #VRAM飢饉救済教 ←検閲外し検閲あり→

rS_ローカルLLM×投資

173,678 views • 1 month ago

Qwen 3.8 の非検閲モデルとMinimax H3をロード・オフロードを交互ににできるようにスクリプト書いたら、完全ローカルで動画無限生成し放題だぞ。1マシンでも。 comfy のウェブ画面でちまちまプロンプト変えなくて良くなったし。画像を見てここがダメ、修正しろ。 Webでこの画像を参考にして欲しいと言ったら、人間は脳死状態でも、仕事進めてくれる。今までXのプレミアムプランでGrokの動画生成してたけど、あれすぐ週次制限で欲求が満たされなかったのよ。楽しいな。成人向け動画に関わらず、ほのぼの動画も作れるし。スクリプトはGrokに言ったら2分で書いてくれるから、気になる人はぜひぜひ。誰でもできるQOL上昇⤴️

Sensitive content

This media may contain sensitive content.

Qwen 3.8 の非検閲モデルとMinimax H3をロード・オフロードを交互ににできるようにスクリプト書いたら、完全ローカルで動画無限生成し放題だぞ。1マシンでも。 comfy のウェブ画面でちまちまプロンプト変えなくて良くなったし。画像を見てここがダメ、修正しろ。 Webでこの画像を参考にして欲しいと言ったら、人間は脳死状態でも、仕事進めてくれる。今までXのプレミアムプランでGrokの動画生成してたけど、あれすぐ週次制限で欲求が満たされなかったのよ。楽しいな。成人向け動画に関わらず、ほのぼの動画も作れるし。スクリプトはGrokに言ったら2分で書いてくれるから、気になる人はぜひぜひ。誰でもできるQOL上昇⤴️

rS_ローカルLLM×投資

141,664 views • 2 months ago

No more content to load