ControlNetを試してみた

ControlNetでポーズを指定して画像を生成できるらしいので、やってみた

人が重なっているポーズをうまく生成したいので、画像からポーズを作成し、パラメータを変えて生成した。

使ったもの

環境はWEBUI

  • openpose-editor で立ちバックの画像から自動生成→手動で補正したポーズ画
突かれてる女（左）と羽交い絞めにして突いている男（右）
  • controlnetのWEBUI用拡張
  • モデル
    • バックの体位がうまく生成されなかったので、AbyssOrangeMix3A3にAbyssOrangeMix2をマージした
    • あってるかは不明
Model: A Model: B Model: C Interpolation Method Weight
AOM3A3 AOM2_hard AOM2_sfw Add Difference @ 1.0 0,0.5,0.5,0.5,0.5,0.5,0,0,0,0,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0.5,0,0

画像の生成

Multi-ControlNetの設定（Github解説）

  1. Settings->ControlNetからMulti ControlNet: Max models amountを2にして、2枚のポーズデータを読み込めるようにする。
  2. ControlNetのタブが2つになるので、それぞれにポーズの画像を入れてModelをopenpose用にする。
  3. 2枚目の画像（男）のGuidance Endの値を0から1に0.1ずつ変えながら、画像を生成する。

txt2imgの設定

はてなブログが勝手に脚注を設定してしまうので、二重かっこの一部を全角にしています

  • Prompt: naked,（(doggystyle,sex from behind)）, completely nude,（(masterpiece, ultra-detailed, intricate details, best quality, illustration)）, (1boy,1girl:1.4,solo focus),blushing
  • Negative prompt: (worst quality, low quality:1.4), bad anatomy, extra fingers, fewer fingers, extra hands, fewer hands, bad hands
  • Steps: 20
  • Sampler: DPM++ SDE Karras
  • CFG scale: 7
  • Size: 512x512
  • Batch Count: 9

結果

左上はノーカン

  • 0.1

    【OK6】腕奇形、OK、OK、OK、OK、OK、手奇形、OK、腕脚奇形


  • 0.2

    【OK4】OK、謎の手ペニス奇形、腕ペニス奇形、OK、謎の腕、腕奇形、手奇形、OK、OK(手微妙)


  • 0.3

    微妙
  • 0.4

全員首掴まれてる
  • 0.5

  • 1.0

    奇形率が高い気がする

まとめ

羽交い絞めの立ちバックが見たかったのに全然生成してくれなかった。

男の腕が想定していたような形にならなかった。

ポーズ画像で本当は隠れている部分のポーズを補完してしまったのが原因かもしれない。

隠れている腕とかを消して生成できるか試したい。

手のKeypointも設定できるようなので試したい。