AI가 사진 속 헤어진 연인의 모습을 지워준다?

누구나 한 번 쯤은 사진에서 맘에 안드는 부분을 지워버리고 싶었던 경험이 있을 것입니다.  예를 들어, 본인은 너무 잘 나온 사진인데 지금은 헤어진 연인과 함께 찍은 사진이어서, 그 부분만 잘라내고 소장하고 싶을 수 있죠. 또는 친구들이랑 여행을 가서 사진을 찍었는데 지나가는 행인이 지나치게 시선강탈을 해버리는 바람에 그 부분만 지워버리고 싶었던 경험, 아마 누구나 있을 것 같습니다. 

그때마다 일일이 포토샵으로 지울 수도 없는 노릇이고, 내가 원하는 물체가 원래 그 자리에 없었던 것처럼 지울 수는 없을까요? 이를 위해 인공지능이 나섰습니다. 원하는 물체만 자연스럽게 제거하는 기술에 인공지능 딥러닝 알고리즘이 사용되고 있기 때문입니다. 

이미지에서 원하는 오브젝트만 
자연스럽게 제거

이미지에서 특정한 물체를 제거하는 기술은 사람 뿐만 아니라 텍스트에도 적용될 수 있고, 그 쓰임새는 생각보다 더욱 다양합니다. 예를 들어, 개인정보 유출을 방지하기 위해 자동차 번호판의 텍스트를 지우는 기술이 필요할 수 있습니다. 또는 특정 브랜드 로고를 지우거나, 이미지 내에서 특정 사람을 지운 사진이 필요한 경우도 왕왕 있지요. 이럴 때 쓰이는 기술이 바로 Object Remover 기술입니다. 

 

▣ Object Remover 엔진
Object Remover 엔진은 단순히 물체에 모자이크를 입히거나, 어색하게 단색으로 칠해버리는 방식과는 조금 다릅니다. 이보다는  해당 물체를 주변 이미지와  자연스럽게 어우러지도록 지워서 원하는 오브젝트만 정확하게 지워내는 기술이지요. 

출처: Quan Wang et al., "VoiceFilter: Targeted Voice Separation by Speaker-Conditioned Spectrogram Masking", arXiv preprint 1810.04826

이미지 복원에 쓰이는 Inpainting 기술

Object Remover 엔진이 이렇게 특정한 물체를 자연스럽게 제거할 수 있는 핵심 원리에는 이미지 복원 분야에 주로 쓰이는 Inpainting 기술이 있습니다. 예컨데 Inpainting 기술은 사진에 잉크를 쏟아 얼룩진 부분주변의 이미지를 보고 유추하여 원래의 이미지를 복원해내는 방식인데요. Object Remover는 이러한 Inpainting 기술을 활용하여 물체가 있는 위치에 강제적으로 얼룩을 만들어내 자연스러운 배경으로 채워줄 수 있습니다.

Object Remover 엔진을 활용하여 어떻게 자연스럽게 물체를 지울 수 있을까?

마인즈랩 브레인팀은  Object Remover 엔진의 근간이 되는 Inpainting 기술을 활용하여 얼마나 자연스럽게 물체를 지울 수 실험을 해봤습니다. 실험에 사용된 이미지는 2004년 방영이 되었던 유명 드라마이자,누구나 한번쯤 보았던 드라마 '파리의 연인'의 주인공 '박신양'과 '김정은'이 함께 나온 사진인데요.

 

▣ Object Removal 예시
이미지 내 물체의 제거 전후를 통해 알 수 있듯이, 여배우 '김정은'이 나온 부분을 단순히 제거한 것이 아니라 주변 이미지와  자연스럽게 어우러지도록 지울 수 있었고, 오른쪽과 같이 '박신양'만 혼자 나온 사진으로 바뀌었습니다. 

<왼쪽> Object Remover 기술이 사용되기 전의 원본사진 <오른쪽> Object Remover 기술을 통해 물체를 제거한 사진

마인즈랩의 브레인 팀은 한장의 사진을 더 활용하여 Object Remover 엔진의 성능을 점검해보았습니다. 
중앙에 있었던 여자 주인공은 감쪽같이 사라지고, 뒤편의 창가만 남게 된 모습을 확인하실 수 있으실 텐데요. 이 사진 속 중앙에 아무것도 없었던 것처럼 제거할 수 있는 핵심 원리에는 이미지 복원 분야에 주로 쓰이는 Inpainting 기술이 있습니다. 이 기술은 주변에 있던 이미지를 통하여 원래 있었던 이미지를 유추해내는 방식입니다. 해당 사진에서는 창문의 부분 이미지를 통하여 원래의 창문 이미지를 유추해냈다고 할 수 있겠습니다.

<왼쪽> Object Remover 기술이 사용되기 전의 원본사진 <오른쪽> Object Remover 기술을 통해 물체를 제거한 사진

Object Remover 엔진이 주는 시사점은 무엇일까?

이미지에서 특정 물체를 제거하는 기술은 계속해서 발전해나가며 완성도를 더해나가는 상황입니다. 하지만, 이 기술이 더욱 발전하여 제거한 이미지가 사람의 눈으로는 구별이 불가능할 정도가 된다면 어떨까요? 특정 물체만 자연스럽게 제거하는 이 Object Remover 기술이 적절한 제도적 장치를 바탕으로 긍정적으로 활용될 수 있다면 그 쓰임새는 많아질 것입니다. 예를 들어, 개인정보 유출을 방지하기 위해 자동차 번호판의 텍스트를 지우는 것, TV 프로그램에서 의도치 않게 연출되는 PPL(Product Placement Advertisement; 간접광고)과 같은 브랜드 로고의 제거가 그 예가 될 수 있겠네요. 마인즈랩의 Object Remover 기술의 긍정적인 활용과 개발의 고도화, 기대되지 않으신가요?.

 

 

출처 : https://m.post.naver.com/viewer/postView.nhn?olumeNo=22500642&memberNo=45704243&vType=VERTICAL

AI가 사진 속 헤어진 연인의 모습을 지워준다?