한국에너지공대 김현주 교수, '수리 해석 기반 인공신경망 가중치 초기화 이론'... ICLR 2025 학회 논문으로 채택

2025-02-06 조준성 기자

한국에너지공과대학교 (KENTECH, 박진호 총장직무대행) 김현주 교수가 경북대학교 비선형동역학 수리응용센터 최하영 교수 연구팀과 함께 딥러닝 분야의 세계적 학회인 ICLR 2025 (International Conference on Learning Representations)에서 학회 논문 심사를 통과해 오는 4월에 발표할 예정이다.

(왼쪽부터) 본 연구를 수행한 한국에너지공과대학교 김현주 교수, 경북대학교 최하영 교수(수학과, 비선형동역학 수리응용센터), 경북대학교 이현우 대학원생

ICLR은 AI(인공지능) 분야 세계 3대 학회 중 하나로, 피인용지수 48.87에 대응하는 영향력을 자랑하는 학회이다. 이번 연구는 하이퍼볼릭 탄젠트(tanh) 활성 함수를 사용하는 인공신경망의 가중치 초기화 이론을 새롭게 제안하며 기존 방식 대비 데이터 효율성과 훈련 안정성을 크게 향상시킨 것으로 평가받고 있다.

50개의 은닉층(각각 32개의 노드)을 가진 tanh 활성 함수 인공신경망을 이용, MNIST, Fashion MNIST, CIFAR10, 그리고 CIFAR100 데이터세트에 대한 검증 정확도를 일반적으로 사용되는 Xavier 초기화 방법을 사용한 결과와 비교한 그래프이다.

tanh 활성 함수는 물리기반 인공신경망 등에 주로 사용돼지는데, 기울기 소실(vanishing gradient)과 신호 포화(saturation) 문제를 가지고 있어 깊은 인공신경망 학습에 어려움을 겪어왔다.

김현주 교수 (교신저자)는 경북대학교 최하영 교수 (공동저자)와 박사과정 이현우 학생 (제1저자)과 함께 고정점(fixed point) 해석을 기반으로, 인공신경망의 깊이에 따라 발생하는 활성 함수 값의 손실을 방지하는 새로운 초기화 방법을 제안했다.

버거스 방정식에 대한 해석적 해와 물리기반 인공신경망(Physics-Informed Neural Network)으로 예측한 해 사이의 절대 오차를 나타낸 그림이다. 1열은 Xavier 초기화 방법을 사용한 PINN 예측값에 대한 오차를 나타내며 2열은 본 연구에서 제안한 초기화 방법을 사용한 PINN 예측값에 대한 오차를 나타낸다.

본 연구를 주도한 김현주 교수는 한국전력 한계돌파과제(‘암모니아 직접 이용 CO2 free SOFC 핵심 원천기술 개발’)의 연구지원을 통해 다중물리기반 인공신경망을 활용한 SOFC 전산해석 모델을 연구하고 있으며 이번 연구는 물리기반 인공신경망 전산해석 모델의 수학적 기반을 다지는 데 중요한 기여를 했다는데 그 의의가 있다.