본문 바로가기
XAI (eXplainable AI) 개념 요약 설명가능한 AI 머신러닝/딥러닝 모델의 결과값에 대한 이유를 인간이 이해할 수 있도록 블랙박스 성향을 분해하고 파악해 설명 가능하도록 하는 방법 (출처1, 출처2, 출처3) 머신러닝과 AI를 사용하면서 AI가 어떻게 의사결정을 내리는지 이해할 필요성이 커져가고 있다. 일명 XAI라고 불리는 ‘설명 가능한 AI’는 AI 모델이 특정 결정을 내린 원인과 그 작동 원리를 사람들이 쉽게 파악할 수 있도록 기관이 사용하는 도구와 기술 세트를 의미한다. 더보기 설명의 필요성 예시 AI는 탁월한 성능으로 우리의 일상 속으로 금방 들어올 것 같았지만 Black Box 구조 탓에 AI의 상용화는 순탄하지 않다. A은행이 최근 신용 대출 가능 여부를 판단하는 AI를 도입했다고 하자. 고객 B씨가 A은행에 대출 신청했는데 .. 2023. 9. 8.
TensorFlow Lite를 이용한 기기 내 대규모 언어모델 탑재 실습 git clone keras nlp $ pip install -q git+https://github.com/keras-team/keras-nlp.git@google-io-2023 tensorflow-text==2.12 사전학습된 GPT-2 모델과 글 생성하기 import keras_nlp gpt2_tokenizer = keras_nlp.models.GPT2Tokenizer.from_preset("gpt2_base_en") gpt2_preprocessor = keras_nlp.models.GPT2CausalLMPreprocessor.from_preset( "gpt2_base_en", sequence_length=256, add_end_token=True, ) gpt2_lm = keras_nlp.models.. 2023. 9. 3.
Google IO 2023 관련 내용 요약 Machine Learning https://io.google/2023/program/4b9ae421-afec-4c6e-a3ca-dfa1164f7cff/intl/ko/ Keras documentation: KerasCV keras random augmentation 랜덤으로 그림의 수를 증폭하는 방법 (뒤집기, 돌리기, 색변환 등 다양한 방식을 사용) rand_augment = keras_cv.layers.RandAugment(value_range=[0, 255]) plt.figure(figsize = (10, 10)) for i in range(9): ax = plt.subplot(3, 3, i+1) augmented_image = rand_augment(image) plt.imshow(augmente.. 2023. 9. 3.
[Paper] CLIP : Learning Transferable Visual Models From Natural Language Supervision (2021) 📖 Alec Radford, Jong Wook Kim, et al. Learning Transferable Visual Models From Natural Language Supervision, 2021. 0. 요약 기존 연구 미리 결정된 객체를 예측하도록 훈련 CLIP이 기존 연구와 다른 점 이미지에 대한 원시 텍스트 학습을 통해서 더 광범위하게 학습함. 인터넷으로 수집한 4억 쌍의 이미지-텍스트 데이터 세트로 훈련 사전 훈련 후 다운스트림 작업 가능 zero-shot transfer 모델은 대부분의 Task에 non-trivially하게 transfer 특수한 데이터 셋으로 훈련하지 않아도 지도학습과도 경쟁력있는 성능 1. Introduction and Motivating Work text-to-te.. 2023. 9. 3.
[Paper] A Neural Representation of Sketch Drawings (2017) 📖 David Ha, Douglas Eck. A Neural Representation of Sketch Drawings, 2017. [참고] 인공 신경망의 하위 구성 배경 Quick Draw!는 사람이 그린 그림이 무엇인지 인공지능이 맞히는 게임이다. 구글은 이를 통해서 공개 데이터셋을 구축했다. Sketch-RNN은 퀵드로우 데이터를 바탕으로 사람들이 그린 순서로 그림을 학습해 그리는 과정을 예측할 수 있는 모델이다. 목표 사람이 그리는 것과 비슷하게 추상적인 개념을 일반화하여 그릴 수 있도록 기계를 훈련시키는 것 데이터 사람이 직접 그린 스케치의 과정으로 학습 펜을 어느 방향으로 움직였는지 언제 펜을 종이에서 띄었는지 언제 멈추었는지 모델 구성 구조 sequence-to-sequence (seq2s.. 2023. 8. 28.
[특허] 인공지능 특허 보호 특허로 보호되는 기술 분류 학습용 데이터 셋 획득 데이터 전처리 방법 딥러닝 모델 구조 설계 학습 방법 선택 하드웨어 설계 딥러닝 응용 학습용 데이터 셋 획득 단순 공개 데이터셋은 특허 보호 불가 데이터 셋 획득 방법에 특이성이 있는 경우에 한하여 특허로 보호받을 수 있음 데이터 전처리 방법 학습용 데이터셋 노이즈 필터링, local minimum에 빠지지 않도록 정규화 수행. 종래 데이터 전처리 방법들을 응용 분야에 적합하게 변형해 사용하는 경우 (진보한 특징이 있으면) 특허 보호 가능 딥러닝 모델 구조 설계 및 학습 방법 특정 모델을 선택해서 학습했다는 내용은 특허로 보호받기 어려움 공개된 모델 구조를 변형하거나, 특정 문제를 해결하기 위해 복수의 모델을 결합하는 등과 같이 모델 구조에 특이성이 인정.. 2023. 8. 28.
[python] Demo 만들기 : Streamlit 초기 세팅 및 사용 설치 $ pipenv install streamlit 테스트 $ pipenv shell $ streamlit hello 실행 # Running $ python -m streamlit run your_script.py # is equivalent to: $ streamlit run your_script.py # URL로 실행하기 (Gist 이용) $ streamlit run 포트 번호 지정 후 실행 $ streamlit run your_script.py --server.port 80 디버깅 (.vscode/launch.json) "configurations": [ { "name": "Python: Streamlit", "type": "python", "request": "launch",.. 2023. 8. 28.
[Papaer] OFA : Language-Image pretraining model (2022) 0. 요약 과업 상관없이 적용 가능한 멀티 모달 프레임워크 image generation, visual grounding, image captioning, image classification, language modeling, etc. 사전 학습과 파인 튜닝이 동시에 진행됨 적은 데이터로도 높은 훈련 성능 1. 소개 “Pretrain-Finetuning” 패러다임 제시 한번에 ~처음부터 끝까지~ 하기 위한 조건 Task-Agnostic Modality-Agnostic Task Comprehensiveness 현재 언어 및 멀티모달 사전 훈련된 모델은 다음과 같은 설계로 인해 이러한 특성의 일부에서 쉽게 실패한다 Extra learnable components for finetuning : 모델마다 헤드.. 2023. 8. 28.
[NLP] Negative Log Likelihood 1. Likelihood Likelihood = 가능도 = 우도 = 특정 사건들이 일어날 가능성 = 샘플들과 확률분포의 일관된 정도 연속 사건 내에서 특정 확률은 0이다 (예를들면 0~1 값 중 0.001이 나올 확률 = 1/무한대 = 0) → 연속확률 내에서의 지정 가능한 확률 확률분포 내 Likelihood 연속확률 확률 = x1과 x2 사이의 넓이 가능도 = f(x1|θ) * f(x2|θ) = f(x1|μ,σ) * f(x2|μ,σ) 이산확률 확률 = p(x1|θ) * p(x2|θ) 가능도 = p(x1|θ) * p(x2|θ) 2. Log Loss Negative log 함수에 넣어서 변환을 시키면 확률이 1일 때 : -log(1.0) = 0 확률이 0.8일 때 : -log(0.8) = 0.22314 .. 2023. 8. 28.
728x90

티스토리툴바