GAN 사람얼굴 생성기 "loss값 변화, 생성된 사진" 질문

[김진솔]

선생님, 안녕하세요.

GAN으로 사람얼굴생성기 가르쳐주신 코드 그대로 돌려봤는데요. (모든 조건 동일, epoch만 50 설정)
저는 아래와 같이 loss와 사진이 나왔습니다.
그런데 loss값 변화와 생성되는 이미지가 이상해서요..!! 왜그런지 계속 고민해봐도 모르겠어서 질문 올립니다.

질문1)
loss가 잘 감소하다가 epoch13부터 loss가 다시 증가하기 시작했습니다. 
그래도 사람얼굴로 보이는 사진은 점점 잘 출력되는가 싶더니  
epoch21부터는 갑자기 쌩뚱맞은 새로운 흑백 사진이 나오기 시작하고 그 사진으로 다시 발전하기 시작했습니다.
epoch21을 보면 loss도 급 올라가더라구요..

GAN을 돌리면 이렇게 같은 형태의 이미지 배경에서 점점 같은 사람이 발전하는 형태로 진화해서 출력되는게 맞나요?
epoch21에서는 왜 새로운 이미지로 다시 시작한건가요??
loss는 왜 잘 줄어들다가 갑자기 다시 오른건가요..? overfitting일까요?

질문2) 
기존에 tensorflow로 딥러닝 모델을 돌리면서 콜백함수로 tensorboard 기록할수있다고 말씀해주셨는데요.
이번처럼 model.fit()이 아닌 for문으로 학습 epoch 돌릴때도 tensorboard 기록이 가능한가요???
train_on_batch에 넣어줘야하는건지... 어떻게 해야 tensorboard로 기록을 볼수있을지 궁금합니다!

아래 loss 변화값과 생성한 사람얼굴 사진 참고 부탁드립니다!
 
감사합니다!


=========================================================================
Epoch #0's total loss: Discriminator 1.0453489422798157, GAN 0.07371734082698822.
Epoch #1's total loss: Discriminator 0.12620141357183456, GAN 0.004343040287494659.
Epoch #2's total loss: Discriminator 0.023919066414237022, GAN 2.0115139705012552e-06.
Epoch #3's total loss: Discriminator 0.0016681828419677913, GAN 1.0909687375715293e-07.
Epoch #4's total loss: Discriminator 0.000584437744691968, GAN 1.9366309444990293e-08.
Epoch #5's total loss: Discriminator 0.00036866540904156864, GAN 2.582174474241583e-09.
Epoch #6's total loss: Discriminator 0.00028682471020147204, GAN 1.2910872371207915e-09.
Epoch #7's total loss: Discriminator 0.00023512053303420544, GAN 0.0.
Epoch #8's total loss: Discriminator 0.00020700841560028493, GAN 3.873261711362375e-09.
Epoch #9's total loss: Discriminator 0.00018879374692915007, GAN 1.2910872371207915e-09.
Epoch #10's total loss: Discriminator 0.00017650453082751483, GAN 1.2910872371207915e-09.
Epoch #11's total loss: Discriminator 0.00018139581516152248, GAN 2.582174474241583e-09.
Epoch #12's total loss: Discriminator 0.00017683053374639712, GAN 5.809892567043562e-09.

Epoch #13's total loss: Discriminator 0.00021852232384844683, GAN 1.678413497074871e-08. (loss 증가 시작?)

Epoch #14's total loss: Discriminator 0.00022894205176271498, GAN 4.841577094794047e-08.
Epoch #15's total loss: Discriminator 0.0002981352881761268, GAN 1.536393767764821e-07.
Epoch #16's total loss: Discriminator 0.00041672551014926285, GAN 4.054014084431401e-07.
Epoch #17's total loss: Discriminator 0.0005977714463369921, GAN 1.730702479108004e-06.
Epoch #18's total loss: Discriminator 0.0006524606433231384, GAN 8.97047357284464e-06.
Epoch #19's total loss: Discriminator 0.0018829976906999946, GAN 1.0920661225100048e-05.
Epoch #20's total loss: Discriminator 0.011644526151940227, GAN 7.275083044078201e-05.

Epoch #21's total loss: Discriminator 0.05371703580021858, GAN 0.015249954536557198. (사진 확 바뀜)

Epoch #22's total loss: Discriminator 0.0016421190230175853, GAN 0.007909458130598068.
Epoch #23's total loss: Discriminator 0.02147021796554327, GAN 0.01827254518866539.
Epoch #24's total loss: Discriminator 0.16504336521029472, GAN 3.5430102348327637.
Epoch #25's total loss: Discriminator 0.1359092742204666, GAN 0.4548742175102234.
Epoch #26's total loss: Discriminator 0.051449183374643326, GAN 0.6071601510047913.
Epoch #27's total loss: Discriminator 0.11091216653585434, GAN 1.4702670574188232.
Epoch #28's total loss: Discriminator 0.2168719321489334, GAN 0.06253880262374878.
Epoch #29's total loss: Discriminator 0.877921812236309, GAN 2.5194873809814453.
Epoch #30's total loss: Discriminator 0.6277309954166412, GAN 0.9725213050842285.
Epoch #31's total loss: Discriminator 0.19463460892438889, GAN 0.30442655086517334.
Epoch #32's total loss: Discriminator 0.38776160776615143, GAN 1.1312527656555176.
Epoch #33's total loss: Discriminator 0.04699031263589859, GAN 0.17817814648151398.
Epoch #34's total loss: Discriminator 0.01746622659265995, GAN 0.08207844197750092.
Epoch #35's total loss: Discriminator 0.05589934438467026, GAN 0.15179334580898285. 
Epoch #36's total loss: Discriminator 0.39834243059158325, GAN 1.3376712799072266.
Epoch #37's total loss: Discriminator 0.32960423827171326, GAN 0.6837790012359619.
Epoch #38's total loss: Discriminator 0.29168345034122467, GAN 2.7226080894470215.
Epoch #39's total loss: Discriminator 0.21276035904884338, GAN 2.457150936126709.
Epoch #40's total loss: Discriminator 0.46907684206962585, GAN 1.1231483221054077.
Epoch #41's total loss: Discriminator 1.3410600423812866, GAN 0.8115437030792236.
Epoch #42's total loss: Discriminator 1.0998948216438293, GAN 1.2826858758926392.
Epoch #43's total loss: Discriminator 0.99416583776474, GAN 1.650390625.
Epoch #44's total loss: Discriminator 1.3454376459121704, GAN 0.9278857111930847.
Epoch #45's total loss: Discriminator 1.5507012605667114, GAN 1.5334744453430176.
Epoch #46's total loss: Discriminator 1.4926948547363281, GAN 0.989014744758606.
Epoch #47's total loss: Discriminator 1.3059037923812866, GAN 1.0883227586746216.
Epoch #48's total loss: Discriminator 1.2730947136878967, GAN 0.92713463306427.
Epoch #49's total loss: Discriminator 1.3621717691421509, GAN 0.7942620515823364.
======================================================================
Epoch1


Epoch13 : 여기부터 loss 증가 시작


Epoch20: loss가 증가해도 사람얼굴은 점점 발전하는듯??


Epoch21: 갑자기 loss 확 증가하면서 갑자기 새로운 이미지????


Epoch26


Epoch29


Epoch31


Epoch38: loss가 증가하기 시작한 epoch21에서 시작된 새로운 이미지가 계속 발전해서 사람얼굴 찾아가긴하넹..?? (이렇게 중간중간 새로운 이미지로 다시 시작해서 또다른 새로운 사람얼굴 추정하는건가 뭐지???)


Epoch41

[codingapple]

왔다갔다하는건 loss 최저점을 알아서 열심히 찾고있다는 뜻입니다
epoch 늘리면 됩니다
train_on_batch tensorboard 어쩌구 검색하면 아마 나올 수 있습니다

[글쓴이]

글