통합 검색어 입력폼

딥러닝으로 모자이크 이미지를 복원해주는 구글 브레인 기술

조회수 2017. 4. 11. 17:10 수정
번역beta Translated by kaka i
번역중 Now in translation
글자크기 설정 파란원을 좌우로 움직이시면 글자크기가 변경 됩니다.

이 글자크기로 변경됩니다.

(예시) 다양한 분야의 재밌고 유익한 콘텐츠를 카카오 플랫폼 곳곳에서 발견하고, 공감하고, 공유해보세요.

이 어려운 기술을 구글이 해냈습니다

영화를 보면 주인공이 저길 확대해봐! 라고 하면 그 부분을 확대해서 보여줍니다. 그런데 이것은 거짓입니다.


우리가 보는 CCTV 화면을 확대하면 고해상도 영상이 아니면 확대해도 선명하게 보이지 않고 픽셀이 보이는 모자이크 형태로 보입니다.


그러나 영화속에서는 영화적 허용을 통해 줌인을 해도 깨끗하게 보입니다.


줌인을 한 화면이 모자이크처럼 보이더라도 엔터를 한 번 치면 선명해지는 모습을 볼 수 있습니다. 이런 기술은 얼마전까지 구현되지 않았었습니다.


그런데 이 어려운 기술을 구글이 선보였습니다.


딥러닝으로 모자이크 이미지를 복원해주는 구글 브레인 기술

작년 최대의 기술 이슈는 알파고를 통한 딥러닝 기술입니다. 이 딥러닝은 기계 학습과 연계 된 기술로 흔히 인공지능(A.I)라고 불립니다.


이 딥러닝 기술은 인간의 뇌를 벤치마킹한 기술로 스스로 학습을 한 후 그 경험을 쌓아가면서 보다 정교한 판단을 하는 기술입니다.


수많은 시행착오를 거쳐서 스스로 최적화된 방법을 찾는 자기 학습 기술입니다. 따라서 인공 지능이 가장 하기 어려운 추론을 할 수 있습니다.


즉, 비슷한 두가지 중에서 어떤 것이 좋은지 이전에는 판별하기 어려웠으나 딥러닝을 통한 인공 지능은 스스로 판단을 할 수 있습니다. 그 판단력이 인간보다 점점 뛰어난 모습을 보여주고 있습니다.


이 딥러닝을 이용한 구글 브레인이 고해상도 이미지를 8 x 8(64)픽셀로 변환한 후 이 이미지를 다시 원본에 가깝게 추측하는 기술인 ‘Pixel Recursive Super Resolution’을 발표했습니다.


위 이미지를 보면 오른쪽 사진이 ‘소스 이미지’이고 이것을 8 x 8 픽셀 크기로 압축 한 것이 8 x 8 샘플입니다.


이 8 x 8 샘플 이미지를 구글 브레인이 딥 러닝 기술을 이용해서 예상한 원본 이미지인 32 x 32 샘플 이미지로 변환했습니다.


8 x 8 샘플 이미지에서 16배의 해상도로 업 스케일 된 예상이미지는 8 x 8 샘플 이미지의 뭉개진 이미지가 아닌 어느 정도 선명하게 사람 형태의 모습을 보이고 있습니다.


즉, 맨 오른쪽 사진이 원본, 이걸 압축한 것이 맨 왼쪽 사진 이 왼쪽 뭉개진 사진을 가지고 구글 브레인 기술을 이용해서 좀 더 높은 해상도로 복원한 것이 중간 이미지입니다.


사진에 보이듯, 중간 이미지와 오른쪽 원본 이미지가 똑같지는 않으나 꽤나 비슷한 느낌입니다.


눈 부분을 보면 맨 아래 여자 이미지에서 원본은 눈이 더 큰데 구글 브레인이 복원한 이미지는 눈이 좀 작습니다. 그래도 이 정도면 엄청난 발전이자 기술입니다.

구글 브레인은 2개의 신경망 훈련을 통해서 이미지를 예측하고 있습니다. 하나는 고해상도 이미지를 압축 한 데이터와 8 x 8 샘플을 비교해서 패턴과 색상을 인식하는 ‘conditioning network’입니다.


또 다른 하나는 PixelCNN을 이용해서 고해상도의 자세한 부분을 메꿔주는 ‘prior network’입니다. 2개의 신경망 기술을 결합해서 예측 이미지를 만듭니다.

이런 기술을 통해서 8 x 8 샘플 이미지로부터 4개의 예측 이미지를 끄집어 냈습니다. 보시면 예측 이미지가 조금씩 다릅니다.

Pixel Recursive Super Resolution기술이 완벽한 것은 아닙니다.


그러나 이 기술을 점점 가다듬으면 “거기 확대 해봐!” 라는 영화 속 대사가 허구가 아닌 실제가 될 날이 곧 올것으로 보입니다.

원문: 사진은 권력이다


이 콘텐츠에 대해 어떻게 생각하시나요?