抹茶もなか's banner
抹茶もなか's profile picture

抹茶もなか

@GianMattya • 12,095 subscribers

AIモデル開発したりシステム作ったりしてる人。首都圏近郊メインで釣りもしている GitHub: https://t.co/ZqnaDzpp5L note: https://t.co/JHcFtCNde0

Shorts

線画、下塗り、影、ハイライト、そして領域毎にレイヤー分けして出力が可能な画像生成AIシステムがようやく完成しました！

線画、下塗り、影、ハイライト、そして領域毎にレイヤー分けして出力が可能な画像生成AIシステムがようやく完成しました！

10,298,989 次观看

線画を入力したら自動で下塗りとレイヤー分けをしてくれるツールがほぼ完成 閉域を検出（少し線が繋がってないくらいは閉域として扱える）して下塗りを作ってるので精度が依然と段違い AI生成した線画だとそもそも線がおかしいので変な部分塗ったりもするけど、手描き線画なら完璧に塗分けられそう

線画を入力したら自動で下塗りとレイヤー分けをしてくれるツールがほぼ完成 閉域を検出（少し線が繋がってないくらいは閉域として扱える）して下塗りを作ってるので精度が依然と段違い AI生成した線画だとそもそも線がおかしいので変な部分塗ったりもするけど、手描き線画なら完璧に塗分けられそう

728,462 次观看

今作ってる日本の人口ボリュームを相関を考慮しながら属性値で引けるAPIのテスト よくXで話題になりがちな「東京在住、30代、年収800万以上、大卒以上、男性、未婚」の属性を持っている人がどれくらい存在するのかを推定して、その算出工程を可視化してみた 1.27万人を多いと見るか少ないと見るか...

今作ってる日本の人口ボリュームを相関を考慮しながら属性値で引けるAPIのテスト よくXで話題になりがちな「東京在住、30代、年収800万以上、大卒以上、男性、未婚」の属性を持っている人がどれくらい存在するのかを推定して、その算出工程を可視化してみた 1.27万人を多いと見るか少ないと見るか...

52,813 次观看

GPTの画像生成機能使ってオブジェクト単位でのレイヤー分け画像生成できるね

GPTの画像生成機能使ってオブジェクト単位でのレイヤー分け画像生成できるね

283,457 次观看

線画生成->下塗り->パーツ分け->1影付与まで、画像生成AIのみでできるようになった ようやくここまで来たので感無量 後は2影付与と光源付与までいけば、完全にレイヤー分け可能なAIイラストが見えてくる

線画生成->下塗り->パーツ分け->1影付与まで、画像生成AIのみでできるようになった ようやくここまで来たので感無量 後は2影付与と光源付与までいけば、完全にレイヤー分け可能なAIイラストが見えてくる

161,394 次观看

入力した線画に忠実に色塗りするツール(starline)を誰でも簡単に使えるようにHFのSpace上で公開しました！ 以下のリンクから使用できます！ また、Space専用の先行公開機能として、プロンプトの代わりに参照画像を入力できる機能も追加しました！ 是非試してみてください！

入力した線画に忠実に色塗りするツール(starline)を誰でも簡単に使えるようにHFのSpace上で公開しました！ 以下のリンクから使用できます！ また、Space専用の先行公開機能として、プロンプトの代わりに参照画像を入力できる機能も追加しました！ 是非試してみてください！

126,152 次观看

下塗りの色と線画を参照して参照画像との一貫性を保ったまま影を付与するAIモデルのテスト 作ったモデルは開発中のレイヤー分け画像生成AIシステムで使う予定 大分いい感じだけど髪の色が暗くなりすぎなのでもう少し調整かな

下塗りの色と線画を参照して参照画像との一貫性を保ったまま影を付与するAIモデルのテスト 作ったモデルは開発中のレイヤー分け画像生成AIシステムで使う予定 大分いい感じだけど髪の色が暗くなりすぎなのでもう少し調整かな

22,104 次观看

やっぱ将来的には動画生成モデルをゲームエンジンとして使っていく流れになるんかねえ リアルタイムに拡張される世界は夢があるけど、逆に他の人と体験を共有するのが難しくなりそうだ

やっぱ将来的には動画生成モデルをゲームエンジンとして使っていく流れになるんかねえ リアルタイムに拡張される世界は夢があるけど、逆に他の人と体験を共有するのが難しくなりそうだ

22,556 次观看

透過線画とAI生成したバケツ塗り画像を重ねた時に、綺麗に線画が重なるように、線の下まで色を塗るデモ この処理を挟むことで、線画にアンチエイリアスがあっても塗り残しが全く発生しなくなる

透過線画とAI生成したバケツ塗り画像を重ねた時に、綺麗に線画が重なるように、線の下まで色を塗るデモ この処理を挟むことで、線画にアンチエイリアスがあっても塗り残しが全く発生しなくなる

18,323 次观看

Videos

LIVE
1.2k

Anya Rossi

sweetdream.ai

SweetDream.aiSponsored•Livecam
Streaming Now

Watch Anya Live

Anya is streaming live right now! Join her private show and enjoy exclusive content.

HD live stream
Exclusive private shows
1.2k viewers online

Free preview available • Premium content

日本の上場企業の資本関係を可視化したマップ こうしてみると光通信の子会社数圧倒的やね IRから引っ張ってきた会社間の取引情報とかも可視化できるので色々俯瞰できて面白い
0:20
GianMattya's profile picture

日本の上場企業の資本関係を可視化したマップ こうしてみると光通信の子会社数圧倒的やね IRから引っ張ってきた会社間の取引情報とかも可視化できるので色々俯瞰できて面白い

抹茶もなか

312,715 次观看 • 1 个月前

AIで規模デカめのシステムを作る際にどうすれば全体の構造を見失わずに管理できるのかずっと考えてるんだけど、AIを使う前提ならドキュメントで管理するのではなく代わりに可視化用の専用Webサイトを作成し、人間がわかりやすいように可視化してやれば良いのではという気持ちになってきた
0:45
GianMattya's profile picture

AIで規模デカめのシステムを作る際にどうすれば全体の構造を見失わずに管理できるのかずっと考えてるんだけど、AIを使う前提ならドキュメントで管理するのではなく代わりに可視化用の専用Webサイトを作成し、人間がわかりやすいように可視化してやれば良いのではという気持ちになってきた

抹茶もなか

392,369 次观看 • 1 个月前

各大学の卒業生がどの企業に就職しているのか、または日本の上場企業はどの大学から主に採用しているのかをネットの公開情報をかき集めてDB化&可視化してみた 積極的に就職先の情報を公開している大学とそうじゃない大学の差とかもみれてなかなか面白い
0:39
GianMattya's profile picture

各大学の卒業生がどの企業に就職しているのか、または日本の上場企業はどの大学から主に採用しているのかをネットの公開情報をかき集めてDB化&可視化してみた 積極的に就職先の情報を公開している大学とそうじゃない大学の差とかもみれてなかなか面白い

抹茶もなか

158,431 次观看 • 1 个月前

o3、ついに生成した複数の透過画像をレイヤー構造を持ったPSDとして出力できるようになった
0:29
GianMattya's profile picture

o3、ついに生成した複数の透過画像をレイヤー構造を持ったPSDとして出力できるようになった

抹茶もなか

257,663 次观看 • 1 年前

仮想ペルソナ生成ツールの応用として、実際の人口動態に基づいて各地域と生成した仮想ペルソナを紐付け、バックグラウンドで動くLLMに生成した仮想ペルソナを被せる事であたかもその地域に住んでいるであろう人と直接会話する事ができるシステムのデモ
0:57
GianMattya's profile picture

仮想ペルソナ生成ツールの応用として、実際の人口動態に基づいて各地域と生成した仮想ペルソナを紐付け、バックグラウンドで動くLLMに生成した仮想ペルソナを被せる事であたかもその地域に住んでいるであろう人と直接会話する事ができるシステムのデモ

抹茶もなか

63,719 次观看 • 4 个月前

AIで生成した架空のペルソナ群に市区町村ごとに特化したSNSを運営させる実験 地域毎のニュースにリアルタイムで反応するので結構それっぽく見える 問題なのは地域毎の人口統計に基づいてペルソナを作成するので、生成されるペルソナが高齢者ばっかりになる所...こんな所まで少子高齢化の影響が...
0:58
GianMattya's profile picture

AIで生成した架空のペルソナ群に市区町村ごとに特化したSNSを運営させる実験 地域毎のニュースにリアルタイムで反応するので結構それっぽく見える 問題なのは地域毎の人口統計に基づいてペルソナを作成するので、生成されるペルソナが高齢者ばっかりになる所...こんな所まで少子高齢化の影響が...

抹茶もなか

48,805 次观看 • 4 个月前

最新版の自動下塗り&レイヤー分けツールを公開しました！ Google Colabから誰でもすぐに使うことができます 使い方の詳細はこちらの記事に記載しました！ また、githubにてソースもすべて公開しています
0:25
GianMattya's profile picture

最新版の自動下塗り&レイヤー分けツールを公開しました！ Google Colabから誰でもすぐに使うことができます 使い方の詳細はこちらの記事に記載しました！ また、githubにてソースもすべて公開しています

抹茶もなか

172,507 次观看 • 2 年前

入力した線画を自動で下塗りして領域ごとにレイヤー分割するツールの進捗 線画は入力されたものをそのまま使うため改変や解像度の劣化等は発生しません また、プロンプトを用いた塗る色の制御も可能です 将来的には参考画像に沿った下塗り等も対応予定です こちらのツールもOSSとして近日公開します！
0:43
GianMattya's profile picture

入力した線画を自動で下塗りして領域ごとにレイヤー分割するツールの進捗 線画は入力されたものをそのまま使うため改変や解像度の劣化等は発生しません また、プロンプトを用いた塗る色の制御も可能です 将来的には参考画像に沿った下塗り等も対応予定です こちらのツールもOSSとして近日公開します！

抹茶もなか

178,671 次观看 • 3 年前

開発中のレイヤー分け画像生成AIの主要機能が作り終わったので、各機能をまとめてみました 線画生成・下塗り・レイヤー分け・陰影付与の4段階に分かれており、各段階でPSD形式でのダウンロード及び人手による介入が可能になります
0:59
GianMattya's profile picture

開発中のレイヤー分け画像生成AIの主要機能が作り終わったので、各機能をまとめてみました 線画生成・下塗り・レイヤー分け・陰影付与の4段階に分かれており、各段階でPSD形式でのダウンロード及び人手による介入が可能になります

抹茶もなか

83,978 次观看 • 1 年前

Controlnet M2M、正式にReference onlyに対応しました！ 今後は入力に動画だけでなく、画像も利用できます！ すでに本家webui controlnetにも反映されているので、以下リンク先のリポジトリから、拡張機能を更新することで利用する事が可能です！ #ControlNet #AUTOMATIC1111
0:30
GianMattya's profile picture

Controlnet M2M、正式にReference onlyに対応しました！ 今後は入力に動画だけでなく、画像も利用できます！ すでに本家webui controlnetにも反映されているので、以下リンク先のリポジトリから、拡張機能を更新することで利用する事が可能です！ #ControlNet #AUTOMATIC1111

抹茶もなか

128,319 次观看 • 3 年前

下塗りに陰影を付与するAIモデルv3の学習が終わった 個人的には実用ラインに入ったのでモデル開発は一旦ここまでにして今夜はサービスへのモデル組み込みをやろう
0:29
GianMattya's profile picture

下塗りに陰影を付与するAIモデルv3の学習が終わった 個人的には実用ラインに入ったのでモデル開発は一旦ここまでにして今夜はサービスへのモデル組み込みをやろう

抹茶もなか

46,315 次观看 • 1 年前

作業工程毎に編集が可能な画像生成AI（fixableflow）にハイライト付与機能を追加しました！ 今回のアップデートで線画、バケツ塗り、1影付与、ハイライト付与まで対応しています！ Comfy UIで使用できますので、興味がある人は是非試してみてください！
0:32
GianMattya's profile picture

作業工程毎に編集が可能な画像生成AI（fixableflow）にハイライト付与機能を追加しました！ 今回のアップデートで線画、バケツ塗り、1影付与、ハイライト付与まで対応しています！ Comfy UIで使用できますので、興味がある人は是非試してみてください！

抹茶もなか

23,407 次观看 • 6 个月前

画像を入力すると透過ハイライトだけを生成するモデルが完成！ 過去に作った1影だけを生成できるモデルと合わせて、線画、1影、ハイライトとレイヤーを分けて画像を生成することができます！
0:22
GianMattya's profile picture

画像を入力すると透過ハイライトだけを生成するモデルが完成！ 過去に作った1影だけを生成できるモデルと合わせて、線画、1影、ハイライトとレイヤーを分けて画像を生成することができます！

抹茶もなか

22,236 次观看 • 6 个月前

controlnet m2mとりあえずreference only対応完了 もうちょっとテストして問題なさそうならPR投げます BreakDomain使ってみたけどさすがに適当プロンプトでは破綻しちゃう模様 機能的には正しく動いていると思うのでいろいろ遊んでみてください
0:40
GianMattya's profile picture

controlnet m2mとりあえずreference only対応完了 もうちょっとテストして問題なさそうならPR投げます BreakDomain使ってみたけどさすがに適当プロンプトでは破綻しちゃう模様 機能的には正しく動いていると思うのでいろいろ遊んでみてください

抹茶もなか

80,686 次观看 • 3 年前

レイヤー分け画像生成AIツールの開発進捗 陰影付与機能の実装が完了しました！ 透過線画とべた塗り画像から陰影を生成してPSDファイルとしてレイヤーが分かれた状態で出力できます
0:45
GianMattya's profile picture

レイヤー分け画像生成AIツールの開発進捗 陰影付与機能の実装が完了しました！ 透過線画とべた塗り画像から陰影を生成してPSDファイルとしてレイヤーが分かれた状態で出力できます

抹茶もなか

45,096 次观看 • 1 年前

レイヤー分け画像生成AIツール進捗 これで作り直したUIに主機能が全部乗っかったかな？ 線画->下塗り->陰影の順番で一つ前の生成結果を完全に引き継いだ状態で段階的な画像生成が可能です 一つ前の結果を完全に引き継げるので、「線画」、「下塗り（パーツ毎）」、「陰影」でレイヤー分けも可能
0:36
GianMattya's profile picture

レイヤー分け画像生成AIツール進捗 これで作り直したUIに主機能が全部乗っかったかな？ 線画->下塗り->陰影の順番で一つ前の生成結果を完全に引き継いだ状態で段階的な画像生成が可能です 一つ前の結果を完全に引き継げるので、「線画」、「下塗り（パーツ毎）」、「陰影」でレイヤー分けも可能

抹茶もなか

24,326 次观看 • 1 年前

Comfy UI対応版レイヤー分けPSD生成AIの開発進捗 Webサービスとしてホスティングするのは(開発者も利用者も)金がかかる&色々課題もあるということで、まず使いたい人が使えるようにComfyUIの拡張ノードとして出す事にしたんだけど、やはり中々納得いく精度が得られなくて悩ましい
0:40
GianMattya's profile picture

Comfy UI対応版レイヤー分けPSD生成AIの開発進捗 Webサービスとしてホスティングするのは(開発者も利用者も)金がかかる&色々課題もあるということで、まず使いたい人が使えるようにComfyUIの拡張ノードとして出す事にしたんだけど、やはり中々納得いく精度が得られなくて悩ましい

抹茶もなか

17,628 次观看 • 7 个月前

自動下塗り&レイヤー分けのデモ ①線画から閉域を検出 ②閉域内に含まれる色情報（デモではcn-lineartによる着色画）が近似する閉域を統合してレイヤーとして切り出す領域を作成し、RGB値を均一化 ③線画周囲の色情報を参照して線画の下へ色付け ④領域毎に透過PNGを作成し、入力線画と重ねてPSD化
0:57
GianMattya's profile picture

自動下塗り&レイヤー分けのデモ ①線画から閉域を検出 ②閉域内に含まれる色情報（デモではcn-lineartによる着色画）が近似する閉域を統合してレイヤーとして切り出す領域を作成し、RGB値を均一化 ③線画周囲の色情報を参照して線画の下へ色付け ④領域毎に透過PNGを作成し、入力線画と重ねてPSD化

抹茶もなか

12,335 次观看 • 1 年前