XAI (eXplainable AI) 개념 요약

설명가능한 AI 머신러닝/딥러닝 모델의 결과값에 대한 이유를 인간이 이해할 수 있도록 블랙박스 성향을 분해하고 파악해 설명 가능하도록 하는 방법

(출처1, 출처2, 출처3)

 

머신러닝과 AI를 사용하면서 AI가 어떻게 의사결정을 내리는지 이해할 필요성이 커져가고 있다. 일명 XAI라고 불리는 ‘설명 가능한 AI’는 AI 모델이 특정 결정을 내린 원인과 그 작동 원리를 사람들이 쉽게 파악할 수 있도록 기관이 사용하는 도구와 기술 세트를 의미한다.

설명의 필요성 예시

• AI는 탁월한 성능으로 우리의 일상 속으로 금방 들어올 것 같았지만 Black Box 구조 탓에 AI의 상용화는 순탄하지 않다. A은행이 최근 신용 대출 가능 여부를 판단하는 AI를 도입했다고 하자. 고객 B씨가 A은행에 대출 신청했는데 대출이 거절된다면, B씨는 본인에게 어떤 문제가 있어서 대출이 안되는지 확인을 요구할 것이다. 그러나 A은행은 최신 AI 알고리즘이 빅데이터를 기반으로 판단했다는 답변밖에 할 수 없다.
• A병원은 최근 암을 진단하는 AI를 도입했다고 하자. B씨는 배탈이 난 것 같아서 병원에 방문했다가 AI로부터 암 판정을 받았다. 어떤 증상 때문에 암이라고 진단했는지는 설명하지 않고 최신 AI 알고리즘이 빅데이터를 기반으로 예측했다고 한다. B씨는 정밀검사를 받아야할지 고민에 빠진다.
• 이렇게 AI가 설명을 못해서 불이익을 당할뻔하는 이야기가 상상 속에만 있는 것은 아니다. 실제 2013~2014년 미국 플로리다주 브로워드 카운티에서 이런 일이 있었다. 약 18,000명의 범죄자를 중심으로 향후 2년 내 재범 가능성을 예측하기 위해 범죄 예측 알고리즘을 이용했는데 흑인의 재범 가능성을 백인보다 45% 높게 예측했다. 흑인의 재범 가능을 왜 더 높게 예측했는지는 알 수 없었다. 그러나 실제 동일 기간의 재범율을 조사한 결과 백인의 재범률이 흑인보다 높았다

 

모델의 족보(pedigree)

모델의 족보(pedigree)를 따르는 모델 설명법을 채택해야 한다.

• 모델 교육의 방식
• 사용된 데이터 종류
• 훈련 데이터의 편향 정도 측정 및 완화 정도

모델 설명을 통해 실제 결과를 모니터링한다면, AI 모델을 투명하게 파악 가능한 행동들로 구현할 수 있다.

설명 가능성의 평가

1. 해석 가능성 : 모델 내부의 역학을 자연어로 표현하는 것
2. 완전 무결성: 입력 값, 매개변수의 변경 등 환경에 따른 변화들을 확인하는 것

• 예
  • 완전 무결성이 높은 경우 : ‘성별 입력값이 -1 감소하면 채용 면접 합격의 여부에 -5.5% 기여도를 보이며 신뢰도는 95%입니다. 사용된 파라미터는 다음과 같습니다’
  • 해석 가능성이 함께 고려된 경우 : ‘본 의사결정에서 AI모델은 AA이론에 의거한 XX를 썼으며, 데이터 편향에 대해선 OO컨설팅의 자문받았고, 다음 순서도에 따라 인과관계를 통계적으로 증명해 의사결정이 이뤄졌습니다. 따라서 본 채용 과정에 있어 성별에 따른 차별은 없는 것으로 인증받았습니다.’

XAI의 분류

• 모델 종속성
  • 모델 종속적 설명 : 모델 내부의 매개변수, 아키텍쳐를 바탕으로 설명
  • 모델 비종속적 설명 : 모델과 무관하게 입력과 출력만으로 확인 가능 (블랙박스에 대한 귀납적 추론 기반)

연구 동향

1. 분류
   • Complexity : 모델이 복잡할수록 사람이 해석하기에는 더 어려워짐. 반대로 단순할수록 사람이 해석하기에는 더 용이함.
   • Scop : 설명 범위에 따라 해석 기법을 분류할 수 있음. 전역적(Global) ↔ 국소적(Local. 특정 분류에 대한 결과만 설명하는 등)
   • Dependency : 설명 기법이 특정 종류의 모델에만 적용할 수 있도록 특화되었는지, 혹은 모델에 관계 없이 범용적으로 적용할 수 있는지
2. 기술 예시 : Grad-CAM
   • (CAM은 이미지 분류 모델에서 이미지의 어느 부분을 보고 class를 예측했는지를 시각화)
   • Scope : 국소적으로 설명 가능
   • Dependency : 특정 모델에만 설명 가능 (CNN)
3. 활용 : 모델 성능 판단할때도 사용 가능

기술

• LIME (https://myeonghak.github.io/xai/XAI-LIME(Local-Interpretable-Model-agnostic-Explanation)-알고리즘/)
• SHAP (https://velog.io/@sjinu/개념정리SHAPShapley-Additive-exPlanations)
• Grad-CAM (https://goatlab.tistory.com/206) : CNN에서 사용
• Keras documentation: Grad-CAM class activation visualization
• Integrated Gradients (https://www.tensorflow.org/tutorials/interpretability/integrated_gradients): 이미지 뿐만 아니라 텍스트, 구조화데이터기반의 어떠한 모델에도 적용될 수 있는 기법
  • IG (paper)
  • Blur IG (paper)
  • Guided Integrated Gradients* (paper, poster)
• XRAI* (paper, poster)
• SmoothGrad* (paper)
• Vanilla Gradients (paper, paper)
• Guided Backpropogation (paper)

패키지(툴)

• PAIR Saliency Methods (framework-agnostic state-of-the-art saliency methods)
  • 어떤 모델인지와 관련 없이 모델의 해석 가능성을 추출해주는 툴 (XRAI, BlurIG, SmoothGrad, GradCAM 등)