Diffusion 2 (Stable diffusion)

참고강의

https://www.youtube.com/watch?v=Z8WWriIh1PU 

강의노트

복습

 

기존 Diffusion 과 Stable Diffusion의 차이

1. 노이즈 추가방법이 다름

• Diffusion : 픽셀 단위로 가우시안 노이즈 추가
• Stable D : 레이어 단위로 가우시안 노이즈 추가
• ; 기존 D보다 더 복잡한 이미지 생성 가능, 안정적, diversity향상

2. 다른 모델과의 연동

• Stable D는 다른 모델과 콜라보가 가능
• (e.g. AE, CLIP 등)

• • S.D + AE : 안정적이고 고화질의 이미지 생성 목표
  • S.D + CLIP : image, text를 결합하여 생성 목표콜라보할 두 가지 대표모델

학습순서

• AE 학습하고 >> CLIP 학습하고 >> U-net 학습하고 >> Fine tuning