훈련시 활용한 자원 및 툴 1. CPU vs GPU CPU는 거의 모든 계산을 사용 할 수 있으나, 병렬 컴퓨팅에 적합하지 않음. 순차적인 데이터를 사용하는 경우 유용할 수 있음 GPU는 이미지 생성과 조작을 위한 전자 칩으로 딥러닝에서 병렬 구조를 훈련하는데 빠른 연산이 가능함. 신경망과 같은 복잡한 다차원의 형식에서 학습 적합함. 다만 비싸고, 에너지 소비가 큼. 사용량 확인 함수 (linux) nvitop 사용량 체크 커멘드 라인 함수 어떤 GPU 사용할건지 os.environ["CUDA_VISIBLE_DEVICES"] = 사용하고자 하는 GPU 번호 CPU의 경우 os.environ["CUDA_VISIBLE_DEVICES"]="-1" 2. 모델 훈련 잘되고 있는지 성능 확인은 어디서해요? 훈련하면서 바로바로 시각화 해주는 .. 2023. 8. 28. [multi-modal] Image, Text pair models Multimodal Learning Audio, Video, Image, Text 등 다중 형태의 데이터를 모델의 입력으로 사용 단일 형태 데이터(모달)의 한계를 극복하고자 여러 형태의 데이터를 사용해 주어진 문제를 해결하는 모델을 구축 왜 멀티모달이 필요할까? → 인간이 멀티모달이니까 (맥거크 효과) https://www.youtube.com/watch?v=PWGeUztTkRA multimodal deep learing 각 모달에 적합한 딥러닝 구조를 사용해 특징 추출 모달 통합 방식으로는 대표적으로 Feature concatenation, Ensemble classifier 두 가지 방법이 존재 (a) ex. 이미지는 CNN, 텍스트는 RNN을 사용해 피쳐 벡터를 추출해 결합해 사용하는 방법 (b) .. 2023. 8. 27. [Class 101] 협업 필터링 기반 추천 목록 만들기 보호되어 있는 글 입니다. 2023. 8. 27. [Class 101] 룰 베이스 기반 추천 목록 만들기 보호되어 있는 글 입니다. 2023. 8. 27. [Class 101] 추천시스템 이해하기 보호되어 있는 글 입니다. 2023. 8. 27. Model 저장과 사용 (tf.keras) 저장 # 1. 모델 통째로 저장 model.save('./my_model') # 2. weight만 저장 model.save_weights('./my_model/epoch_001') # 3. callbacks를 사용하여 저장 # 체크포인트 경로 지정({}변수 에 epoch 값이 들어가도록 epoch fotmat을 포함시켜야 한다.) checkpoint_path = "./checkpoints/epoch_{epoch:03d}.ckpt" # 체크포인트 콜백 만들기 cp_callback = tf.keras.callbacks.ModelCheckpoint(checkpoint_path, save_weights_only=True, period=1, # 1개의 epoch마다 저장 verbose=1) model.fit(t.. 2023. 8. 26. [kaggle] Painting Vs Photograph Classification 사진과 그림을 구분해주는 모델 따라하기 [Painting or Photo]Guess right?_Deep Learning Explore and run machine learning code with Kaggle Notebooks | Using data from Painting Vs Photograph Classification Dataset www.kaggle.com 순서 Module Import 데이터 목록 확인 gray scale한 array를 dataset으로 만들기 데이터셋 합치기 train test split normalize 및 모델 학습에 적합한 형태로 변환 사진, 그림 이렇게 두가지 카테고리로 변환 모델링 (Sequential) 모델 컴파일 (optimizer) 모델 fit 그래프로 정확도.. 2022. 9. 1. 이전 1 2 다음 728x90
