훈련시 활용한 자원 및 툴

1. CPU vs GPU

• CPU는 거의 모든 계산을 사용 할 수 있으나, 병렬 컴퓨팅에 적합하지 않음. 순차적인 데이터를 사용하는 경우 유용할 수 있음
• GPU는 이미지 생성과 조작을 위한 전자 칩으로 딥러닝에서 병렬 구조를 훈련하는데 빠른 연산이 가능함. 신경망과 같은 복잡한 다차원의 형식에서 학습 적합함. 다만 비싸고, 에너지 소비가 큼.
• 사용량 확인 함수 (linux)
• nvitop 사용량 체크 커멘드 라인 함수
• 어떤 GPU 사용할건지
  • os.environ["CUDA_VISIBLE_DEVICES"] = 사용하고자 하는 GPU 번호
  • CPU의 경우 os.environ["CUDA_VISIBLE_DEVICES"]="-1"

2. 모델 훈련 잘되고 있는지 성능 확인은 어디서해요?

• 훈련하면서 바로바로 시각화 해주는 툴 사용

1. TensorBoard : https://www.tensorflow.org/tensorboard/get_started?hl=ko
2. Weights & Biases : https://docs.wandb.ai/quickstart