抹茶もなか's banner
抹茶もなか's profile picture

抹茶もなか

@GianMattya • 10,775 subscribers

AIの技術検証兼イラスト垢 首都圏近郊メインで釣りもしている GitHub: https://t.co/ZqnaDzpp5L note: https://t.co/JHcFtCNde0

Shorts

線画、下塗り、影、ハイライト、そして領域毎にレイヤー分けして出力が可能な画像生成AIシステムがようやく完成しました！

線画、下塗り、影、ハイライト、そして領域毎にレイヤー分けして出力が可能な画像生成AIシステムがようやく完成しました！

10,296,176 views

線画を入力したら自動で下塗りとレイヤー分けをしてくれるツールがほぼ完成 閉域を検出（少し線が繋がってないくらいは閉域として扱える）して下塗りを作ってるので精度が依然と段違い AI生成した線画だとそもそも線がおかしいので変な部分塗ったりもするけど、手描き線画なら完璧に塗分けられそう

線画を入力したら自動で下塗りとレイヤー分けをしてくれるツールがほぼ完成 閉域を検出（少し線が繋がってないくらいは閉域として扱える）して下塗りを作ってるので精度が依然と段違い AI生成した線画だとそもそも線がおかしいので変な部分塗ったりもするけど、手描き線画なら完璧に塗分けられそう

728,210 views

GPTの画像生成機能使ってオブジェクト単位でのレイヤー分け画像生成できるね

GPTの画像生成機能使ってオブジェクト単位でのレイヤー分け画像生成できるね

283,078 views

線画生成->下塗り->パーツ分け->1影付与まで、画像生成AIのみでできるようになった ようやくここまで来たので感無量 後は2影付与と光源付与までいけば、完全にレイヤー分け可能なAIイラストが見えてくる

線画生成->下塗り->パーツ分け->1影付与まで、画像生成AIのみでできるようになった ようやくここまで来たので感無量 後は2影付与と光源付与までいけば、完全にレイヤー分け可能なAIイラストが見えてくる

161,394 views

入力した線画に忠実に色塗りするツール(starline)を誰でも簡単に使えるようにHFのSpace上で公開しました！ 以下のリンクから使用できます！ また、Space専用の先行公開機能として、プロンプトの代わりに参照画像を入力できる機能も追加しました！ 是非試してみてください！

入力した線画に忠実に色塗りするツール(starline)を誰でも簡単に使えるようにHFのSpace上で公開しました！ 以下のリンクから使用できます！ また、Space専用の先行公開機能として、プロンプトの代わりに参照画像を入力できる機能も追加しました！ 是非試してみてください！

126,152 views

下塗りの色と線画を参照して参照画像との一貫性を保ったまま影を付与するAIモデルのテスト 作ったモデルは開発中のレイヤー分け画像生成AIシステムで使う予定 大分いい感じだけど髪の色が暗くなりすぎなのでもう少し調整かな

下塗りの色と線画を参照して参照画像との一貫性を保ったまま影を付与するAIモデルのテスト 作ったモデルは開発中のレイヤー分け画像生成AIシステムで使う予定 大分いい感じだけど髪の色が暗くなりすぎなのでもう少し調整かな

22,104 views

やっぱ将来的には動画生成モデルをゲームエンジンとして使っていく流れになるんかねえ リアルタイムに拡張される世界は夢があるけど、逆に他の人と体験を共有するのが難しくなりそうだ

やっぱ将来的には動画生成モデルをゲームエンジンとして使っていく流れになるんかねえ リアルタイムに拡張される世界は夢があるけど、逆に他の人と体験を共有するのが難しくなりそうだ

22,556 views

透過線画とAI生成したバケツ塗り画像を重ねた時に、綺麗に線画が重なるように、線の下まで色を塗るデモ この処理を挟むことで、線画にアンチエイリアスがあっても塗り残しが全く発生しなくなる

透過線画とAI生成したバケツ塗り画像を重ねた時に、綺麗に線画が重なるように、線の下まで色を塗るデモ この処理を挟むことで、線画にアンチエイリアスがあっても塗り残しが全く発生しなくなる

18,252 views

Videos

LIVE
1.2k

Anya Rossi

sweetdream.ai

SweetDream.aiSponsored•Livecam
Streaming Now

Watch Anya Live

Anya is streaming live right now! Join her private show and enjoy exclusive content.

HD live stream
Exclusive private shows
1.2k viewers online

Free preview available • Premium content

o3、ついに生成した複数の透過画像をレイヤー構造を持ったPSDとして出力できるようになった
0:29
GianMattya's profile picture

o3、ついに生成した複数の透過画像をレイヤー構造を持ったPSDとして出力できるようになった

抹茶もなか

257,663 views • 1 year ago

仮想ペルソナ生成ツールの応用として、実際の人口動態に基づいて各地域と生成した仮想ペルソナを紐付け、バックグラウンドで動くLLMに生成した仮想ペルソナを被せる事であたかもその地域に住んでいるであろう人と直接会話する事ができるシステムのデモ
0:57
GianMattya's profile picture

仮想ペルソナ生成ツールの応用として、実際の人口動態に基づいて各地域と生成した仮想ペルソナを紐付け、バックグラウンドで動くLLMに生成した仮想ペルソナを被せる事であたかもその地域に住んでいるであろう人と直接会話する事ができるシステムのデモ

抹茶もなか

63,719 views • 3 months ago

AIで生成した架空のペルソナ群に市区町村ごとに特化したSNSを運営させる実験 地域毎のニュースにリアルタイムで反応するので結構それっぽく見える 問題なのは地域毎の人口統計に基づいてペルソナを作成するので、生成されるペルソナが高齢者ばっかりになる所...こんな所まで少子高齢化の影響が...
0:58
GianMattya's profile picture

AIで生成した架空のペルソナ群に市区町村ごとに特化したSNSを運営させる実験 地域毎のニュースにリアルタイムで反応するので結構それっぽく見える 問題なのは地域毎の人口統計に基づいてペルソナを作成するので、生成されるペルソナが高齢者ばっかりになる所...こんな所まで少子高齢化の影響が...

抹茶もなか

48,805 views • 2 months ago

最新版の自動下塗り&レイヤー分けツールを公開しました！ Google Colabから誰でもすぐに使うことができます 使い方の詳細はこちらの記事に記載しました！ また、githubにてソースもすべて公開しています
0:25
GianMattya's profile picture

最新版の自動下塗り&レイヤー分けツールを公開しました！ Google Colabから誰でもすぐに使うことができます 使い方の詳細はこちらの記事に記載しました！ また、githubにてソースもすべて公開しています

抹茶もなか

172,414 views • 1 year ago

Controlnet M2M、正式にReference onlyに対応しました！ 今後は入力に動画だけでなく、画像も利用できます！ すでに本家webui controlnetにも反映されているので、以下リンク先のリポジトリから、拡張機能を更新することで利用する事が可能です！ #ControlNet #AUTOMATIC1111
0:30
GianMattya's profile picture

Controlnet M2M、正式にReference onlyに対応しました！ 今後は入力に動画だけでなく、画像も利用できます！ すでに本家webui controlnetにも反映されているので、以下リンク先のリポジトリから、拡張機能を更新することで利用する事が可能です！ #ControlNet #AUTOMATIC1111

抹茶もなか

128,319 views • 3 years ago

下塗りに陰影を付与するAIモデルv3の学習が終わった 個人的には実用ラインに入ったのでモデル開発は一旦ここまでにして今夜はサービスへのモデル組み込みをやろう
0:29
GianMattya's profile picture

下塗りに陰影を付与するAIモデルv3の学習が終わった 個人的には実用ラインに入ったのでモデル開発は一旦ここまでにして今夜はサービスへのモデル組み込みをやろう

抹茶もなか

46,315 views • 10 months ago

作業工程毎に編集が可能な画像生成AI（fixableflow）にハイライト付与機能を追加しました！ 今回のアップデートで線画、バケツ塗り、1影付与、ハイライト付与まで対応しています！ Comfy UIで使用できますので、興味がある人は是非試してみてください！
0:32
GianMattya's profile picture

作業工程毎に編集が可能な画像生成AI（fixableflow）にハイライト付与機能を追加しました！ 今回のアップデートで線画、バケツ塗り、1影付与、ハイライト付与まで対応しています！ Comfy UIで使用できますので、興味がある人は是非試してみてください！

抹茶もなか

23,407 views • 4 months ago

画像を入力すると透過ハイライトだけを生成するモデルが完成！ 過去に作った1影だけを生成できるモデルと合わせて、線画、1影、ハイライトとレイヤーを分けて画像を生成することができます！
0:22
GianMattya's profile picture

画像を入力すると透過ハイライトだけを生成するモデルが完成！ 過去に作った1影だけを生成できるモデルと合わせて、線画、1影、ハイライトとレイヤーを分けて画像を生成することができます！

抹茶もなか

22,236 views • 4 months ago

レイヤー分け画像生成AIツールの開発進捗 陰影付与機能の実装が完了しました！ 透過線画とべた塗り画像から陰影を生成してPSDファイルとしてレイヤーが分かれた状態で出力できます
0:45
GianMattya's profile picture

レイヤー分け画像生成AIツールの開発進捗 陰影付与機能の実装が完了しました！ 透過線画とべた塗り画像から陰影を生成してPSDファイルとしてレイヤーが分かれた状態で出力できます

抹茶もなか

45,096 views • 1 year ago

controlnet m2mとりあえずreference only対応完了 もうちょっとテストして問題なさそうならPR投げます BreakDomain使ってみたけどさすがに適当プロンプトでは破綻しちゃう模様 機能的には正しく動いていると思うのでいろいろ遊んでみてください
0:40
GianMattya's profile picture

controlnet m2mとりあえずreference only対応完了 もうちょっとテストして問題なさそうならPR投げます BreakDomain使ってみたけどさすがに適当プロンプトでは破綻しちゃう模様 機能的には正しく動いていると思うのでいろいろ遊んでみてください

抹茶もなか

80,686 views • 3 years ago

Comfy UI対応版レイヤー分けPSD生成AIの開発進捗 Webサービスとしてホスティングするのは(開発者も利用者も)金がかかる&色々課題もあるということで、まず使いたい人が使えるようにComfyUIの拡張ノードとして出す事にしたんだけど、やはり中々納得いく精度が得られなくて悩ましい
0:40
GianMattya's profile picture

Comfy UI対応版レイヤー分けPSD生成AIの開発進捗 Webサービスとしてホスティングするのは(開発者も利用者も)金がかかる&色々課題もあるということで、まず使いたい人が使えるようにComfyUIの拡張ノードとして出す事にしたんだけど、やはり中々納得いく精度が得られなくて悩ましい

抹茶もなか

17,628 views • 6 months ago

レイヤー分け画像生成AIツール進捗 これで作り直したUIに主機能が全部乗っかったかな？ 線画->下塗り->陰影の順番で一つ前の生成結果を完全に引き継いだ状態で段階的な画像生成が可能です 一つ前の結果を完全に引き継げるので、「線画」、「下塗り（パーツ毎）」、「陰影」でレイヤー分けも可能
0:36
GianMattya's profile picture

レイヤー分け画像生成AIツール進捗 これで作り直したUIに主機能が全部乗っかったかな？ 線画->下塗り->陰影の順番で一つ前の生成結果を完全に引き継いだ状態で段階的な画像生成が可能です 一つ前の結果を完全に引き継げるので、「線画」、「下塗り（パーツ毎）」、「陰影」でレイヤー分けも可能

抹茶もなか

24,326 views • 10 months ago

自動下塗り&レイヤー分けのデモ ①線画から閉域を検出 ②閉域内に含まれる色情報（デモではcn-lineartによる着色画）が近似する閉域を統合してレイヤーとして切り出す領域を作成し、RGB値を均一化 ③線画周囲の色情報を参照して線画の下へ色付け ④領域毎に透過PNGを作成し、入力線画と重ねてPSD化
0:57
GianMattya's profile picture

自動下塗り&レイヤー分けのデモ ①線画から閉域を検出 ②閉域内に含まれる色情報（デモではcn-lineartによる着色画）が近似する閉域を統合してレイヤーとして切り出す領域を作成し、RGB値を均一化 ③線画周囲の色情報を参照して線画の下へ色付け ④領域毎に透過PNGを作成し、入力線画と重ねてPSD化

抹茶もなか

12,335 views • 1 year ago

No more content to load