Posted by 
입력 기여도 계산에 결함을 일으키는 구역이 있을 때, 기존 방식은 최소한으로 통과하게 되는 구간이 존재하지만, 제안한 알고리즘은 해당 구역을 건너뛰게 됨으로써 결과의 잡음을 최소화할 수 있다. (자료=카이스트)
카이스트는 인공지능 딥러닝의 의사결정에 큰 영향을 미치는 입력 변수의 기여도를 계산하는 세계 최고 수준의 xAI 기술을 개발했다고 2022년 11월 23일 발표하였다.
Source: 에너지 경제
이번 연구는 오는 12월 1일, 국제 학술대회 ‘신경정보처리학회(Neural Information Processing Systems, NeurIPS) 2022’에서 발표될 예정이다.
우선 일반적인 xAI 모델인 LIME이나 SHAP에서와 같이 국소 입력 부분을 바라보고 있다.
AI 분류 모델 자체가 비선형이고, 어떤 방식으로 예측하는지 알 수 없기 때문에 선형으로 가정할 수 있는 작은 영역까지 Scale Down하여 바라보고 해석하게 된다.
선형으로 가정하게 된다면 분류 모델이 어떤 방식으로 계산하고 예측하는지 이해할 수 있기 때문이다.
딥러능 모델이 국소적인 공간에서 Feature-Inference 사이의 관계를 기반으로 모델 예측 기여도가 높은 Feature만 점진적으로 추출하고, 입력 영역에서 연관성이 적은 Feature를 제거하는 알고리즘을 개발했다. 이를 반복하게 되면(증류) 기여도 높은 Feature만 남을 것이고, 최종적으로 신뢰도 높은 결과를 산출하게 되는 것이 목표인 것이다.
- 증류과정을 통해 경사도 하강 접근 방법의 단점을 보완하여, 노이즈를 제거하고,
- 증류과정을 통해 기여도 높은 Feature만 남겨 설명력을 보완한다.
(a) 증류 절차의 각 단계는 국소적 기여도를 계산하고,이를 이용해 특성 증류를 위한 마스크를 계산한다.
(b) 증류 절차가 진행됨에 따라, 딥러닝 모델의 입력공간에서 순차적으로 데이터가 결정된다.
(c) 증류 절차를 통해 수집된 데이터의 국소적 기여도를 결합하여 포괄적 기여도를 계산한다. (자료=카이스트)
시각화를 위해서는 기여도 값을 직접 표현하는 히트맵과 기여도가 가장 높은 10%의 픽셀만을 선택하는 방법을 제공했다. 제안한 기술(가장 우측)이 가장 잡음이 적고, 예측에 관련된 부분을 선명하게 표현하는 것을 확인할 수 있다. (자료=카이스트)
Source: 카이스트, 에너지경제신문