전해곤 교수 연구실 석․박사통합과정 한상훈 학생, 3차원 인물 복원 성과로 ‘퀄컴 이노베이션 펠로우십 코리아’에 최종 선정(Winner)
단일 고해상도 인물 사진으로 고품질 3차원 인물 복원… 데이터셋 무료 공개
광주과학기술원(GIST, 임기철 총장)은 AI대학원 전해곤 교수 연구팀이 인공지능(AI) 기술을 활용해 단일 이미지에서 3차원 인물 이미지를 선명하게 복원하는 데 성공했다고 7일 밝혔다.
연구팀의 한상훈 석박사통합과정생(지도교수 전해곤)은 해당 논문으로 학술논문대회 ‘퀄컴 이노베이션 펠로우십 코리아 2023(Qualcomm Innovation Fellowship Korea(QIFK) 2023)’에서 심사를 통과하여 최종 선정된 15편(Winner)의 논문에 이름을 올렸다.
한국 퀄컴의 모회사인 퀄컴 테크날러지(Qualcomm Technologies Inc.)가 지난 11월 28일(화) 개최한 ‘QIFK 2023’은 국내 석·박사과정 연구자를 대상으로 연구 활동의 독립성과 창의성을 추구하고, 나아가 뛰어난 성과를 도출하도록 독려하는 것을 목표로 한다.
전해곤 교수가 지도하고 한상훈 학생이 수행한 이번 논문은 단일 고해상도 이미지에서 고품질의 3차원 인물을 복원하는 인공지능 알고리즘을 고안하는 내용을 담고 있다.
연구진은 고해상도 이미지를 얼굴, 몸통, 팔·다리로 분할해 기하학적 정보를 분석한 뒤, 다중 단계로 인물을 복원하여 고품질의 인체 모델을 실시간으로 복원하는 데 성공했다.
3차원 인물 복원은 VR/AR 및 메타버스 산업에서 핵심적인 기술로서, 특히 사람의 눈으로 보아도 실제 인물과 비슷할 정도의 세밀한 인체 모델링은 실감나는 가상공간 구현을 위해 필수적이다. 하지만 값비싼 카메라와 시간 동기화 촬영을 위한 장비가 마련된 스튜디오를 비롯해 이러한 장비를 다룰 수 있는 숙련자 고용 등 많은 자원이 필요하다.
최근 인공지능을 활용해 단일 이미지에서 3차원 인물을 복원하는 기술이 연구되고 있지만 낮은 해상도와 연산 능력의 한계로 얼굴 표정이나 옷 주름 등 세밀한 부분을 표현하는 데 한계가 있다.
또한 인공지능을 학습하기 위한 데이터셋(dataset)이 부족한 실정으로, 기존의 상업적 데이터셋은 양질의 품질을 가지고 있으나 학습을 위해서는 많은 비용이 소요된다. 반면 비상업적 데이터셋은 품질이 떨어지는 동시에 인체 모델의 대부분이 20대 성인 남성들로 이루어져 실생활에서 관찰되는 인물들과 비교해 심한 통계적 편향을 보인다는 단점이 있다.
이 같은 문제점을 해결하기 위해 연구팀은 2,000명의 각기 다른 사람을 3차원 인체 모델로 구성한 데이터셋을 관련 분야 발전을 위해 연구 목적으로 무료로 공개해 누구나 활용할 수 있도록 했다.
연구팀은 촬영을 위해 80개의 DSLR 카메라가 인물을 둘러싸도록 스튜디오에 배치해 동시간 다시점 이미지를 촬영하고, 이들로부터 특징점을 추출해 고품질의 3차원 인체 모델을 구성했다.
이는 비상업적 데이터셋과 달리 다양한 성별, 연령대, 옷, 자세 등을 취하고 있어 다양하고 데이터셋으로서의 가치가 높다.
전해곤 교수는 “해당 연구 성과는 미국의 카네기멜론대학교, MIT 및 독일의 막스플랑크 연구소 등 일부 연구기관이 주도하고 있는 ‘인체의 3차원 복원’ 연구를 더 많은 연구자들이 수행할 수 있도록 교두보를 마련했다는 점에서 의미 있다”며 “지금까지 인체를 3차원으로 복원하는 연구는 대규모의 유료 데이터셋을 구입해야만 시작이 가능했는데, 한국전자기술연구소 윤주홍 박사팀과 GIST의 공동연구를 통해 고품질의 데이터를 무료로 사용할 수 있도록 공개했다”고 밝혔다.
전 교수는 또한 “사람의 신체별 3차원 정보를 복원한 후, 이를 합치는 신체 3차원 복원 기법은 GPU 사용량을 줄일 수 있는 장점이 있어, 연구 장비가 부족한 연구 그룹에서도 큰 부담 없이 다운로드받아 사용할 수 있다는 장점이 있다”고 말했다.
AI대학원 전해곤 교수가 지도하고 한상훈 통합과정생이 주도한 이번 연구는 한국전자기술연구소 지능형영상처리연구센터 윤주홍와 박민규 박사팀과 공동으로 수행했으며, 해당 연구는 과학기술정보통신부(연구개발특구)와 광주광역시의 지원으로 GIST가 주관하는 ‘인공지능 기반 메타버스 구현을 위한 융․복합 문화 가상 스튜디오’ 과제와 과학기술정보통신부의 ‘AI혁신 허브’ 과제의 지원을 받아 수행됐다.
연구 성과로 ‘QIFK’에 선정되었을 뿐만 아니라, 세계 최대 인공지능․컴퓨터비전 학회인 CVPR(Conference on Computer Vision and Pattern Recognition) 제출 논문 중 상위 2.5%에 드는 ‘Highlights’에 뽑혔으며, 제29회 삼성휴먼테크 논문대상에서는 은상을 수상하기도 했다.