본문 바로가기
[linux] 서버 - 로컬 파일 통신 (scp) 서버에서 로컬로 다운로드 $ scp user@127.0.0.1:/app/data/test.txt ./download/test.txt $ scp -r user@127.0.0.1:/app/data/test ./download/test 로컬에서 서버로 업로드 $ scp test.txt user@127.0.0.1:/app/data/test.txt $ scp -r test/ user@127.0.0.1:/app/data/test 2023. 8. 28.
[책] 서비스 기획 스쿨 프로젝트 방법론 워터풀 프로젝트 방법론 기획 → 디자인 → 개발 → 테스트 → 오픈 전체적인 그림을 그리고 구조를 다 짜놓은 후 마감일을 정하고 프로젝트 진행 시간이 명확하고, 오픈 가능한 범위가 고정되어있음 요구사항 정의서, 화면 설계서 작성 필요 애자일 프로젝트 방법론 기획 문서 준비 시간은 줄이고 개발 기간을 2~3주의 스프린트 단위로 잘라 서비스의 기획과 검토를 여러번 수행 기획안 : 정책서, PI, 서비스 전략 기획안, 사용자 스토리, 백로그 기획용 프로토타입 : 페이퍼 목업, 프로토타이핑 UX 분석 관찰 → 추론 연역적 분석 귀납적 분석 정성적 분석 페르소나 기법 (페르소나 스팩트럼) 컨텍스츄얼 인쿼리, 쉐도잉 정량적 분석 트래픽 분석, 클릭 분석, 퍼널 분석 A/B 테스트 시스템 기획 초안 .. 2023. 8. 28.
[python] Sphinx로 문서화하기 1. 설치 pip install -U sphinx Installing Sphinx — Sphinx documentation 2. 시작하기 sphinx-quickstart 해당 코드를 입력하면 나오는 내용 (프로젝트 옵션 기재) Welcome to the Sphinx 6.1.3 quickstart utility. Please enter values for the following settings (just press Enter to accept a default value, if one is given in brackets). Selected root path: . You have two options for placing the build directory for Sphinx output. Either,.. 2023. 8. 28.
[virtual environment] 패키지 관리 툴 : pipenv pipenv는 패키지를 프로젝트 단위로 관리를 할 수 있도록 도와주는 관리 도구 입니다. 설치 mac os brew install pipenv other (pip) pip install pipenv 사용 폴더 내 가상환경 만들기 파이썬 3.7 버전의 가상환경을 생성하고자 할 때, $ pipenv --python 3.7 → /Users/dale/.local/share/virtualenvs/{폴더명}-{ID} 에 가상환경이 생성되고, 폴더 내 Pipfile 이 만들어져 메타 정보가 저장됩니다. 가상환경 사용 (conda activate ~ 의 역할을 함) $ pipenv shell (learn-python) $ which python #파이썬의 위치를 알 수 있음 → 가상환경이 활성화 됨 가상환경 나가기 $.. 2023. 8. 28.
[Papaer] OFA : Language-Image pretraining model (2022) 0. 요약 과업 상관없이 적용 가능한 멀티 모달 프레임워크 image generation, visual grounding, image captioning, image classification, language modeling, etc. 사전 학습과 파인 튜닝이 동시에 진행됨 적은 데이터로도 높은 훈련 성능 1. 소개 “Pretrain-Finetuning” 패러다임 제시 한번에 ~처음부터 끝까지~ 하기 위한 조건 Task-Agnostic Modality-Agnostic Task Comprehensiveness 현재 언어 및 멀티모달 사전 훈련된 모델은 다음과 같은 설계로 인해 이러한 특성의 일부에서 쉽게 실패한다 Extra learnable components for finetuning : 모델마다 헤드.. 2023. 8. 28.
[linux] SSH 키를 이용한 깃허브 로그인 안전하게 SSH 키를 등록해놓고 github와 통신하기위함 1) 만들어진 키 있는지 확인 cat ~/.ssh/id_rsa.pub → 없다고 나오면 새로 만들어야함 2) (없으면) 공개키 만들기 ssh-keygen 옵션 필요하면ssh-keygen -t rsa -b 4096 -C "your_email@example.com" ssh-keygen -t ed25519 -C "your_email@example.com" 종료할때까지 엔터 누르기 (저장하는 위치도 물어보고, 패스워드도 물어보는데 안하는게 편함) 3) 잘 만들어졌는지 확인 cat ~/.ssh/id_rsa.pub → 있다고 나올 것임 4) 공개키 복사 명령어로 복사하기(윈도우) clip < ~/.ssh/id_ed25519.pub (맥) pbcopy < ~.. 2023. 8. 28.
[NLP] Negative Log Likelihood 1. Likelihood Likelihood = 가능도 = 우도 = 특정 사건들이 일어날 가능성 = 샘플들과 확률분포의 일관된 정도 연속 사건 내에서 특정 확률은 0이다 (예를들면 0~1 값 중 0.001이 나올 확률 = 1/무한대 = 0) → 연속확률 내에서의 지정 가능한 확률 확률분포 내 Likelihood 연속확률 확률 = x1과 x2 사이의 넓이 가능도 = f(x1|θ) * f(x2|θ) = f(x1|μ,σ) * f(x2|μ,σ) 이산확률 확률 = p(x1|θ) * p(x2|θ) 가능도 = p(x1|θ) * p(x2|θ) 2. Log Loss Negative log 함수에 넣어서 변환을 시키면 확률이 1일 때 : -log(1.0) = 0 확률이 0.8일 때 : -log(0.8) = 0.22314 .. 2023. 8. 28.
훈련시 활용한 자원 및 툴 1. CPU vs GPU CPU는 거의 모든 계산을 사용 할 수 있으나, 병렬 컴퓨팅에 적합하지 않음. 순차적인 데이터를 사용하는 경우 유용할 수 있음 GPU는 이미지 생성과 조작을 위한 전자 칩으로 딥러닝에서 병렬 구조를 훈련하는데 빠른 연산이 가능함. 신경망과 같은 복잡한 다차원의 형식에서 학습 적합함. 다만 비싸고, 에너지 소비가 큼. 사용량 확인 함수 (linux) nvitop 사용량 체크 커멘드 라인 함수 어떤 GPU 사용할건지 os.environ["CUDA_VISIBLE_DEVICES"] = 사용하고자 하는 GPU 번호 CPU의 경우 os.environ["CUDA_VISIBLE_DEVICES"]="-1" 2. 모델 훈련 잘되고 있는지 성능 확인은 어디서해요? 훈련하면서 바로바로 시각화 해주는 .. 2023. 8. 28.
[multi-modal] Image, Text pair models Multimodal Learning Audio, Video, Image, Text 등 다중 형태의 데이터를 모델의 입력으로 사용 단일 형태 데이터(모달)의 한계를 극복하고자 여러 형태의 데이터를 사용해 주어진 문제를 해결하는 모델을 구축 왜 멀티모달이 필요할까? → 인간이 멀티모달이니까 (맥거크 효과) https://www.youtube.com/watch?v=PWGeUztTkRA multimodal deep learing 각 모달에 적합한 딥러닝 구조를 사용해 특징 추출 모달 통합 방식으로는 대표적으로 Feature concatenation, Ensemble classifier 두 가지 방법이 존재 (a) ex. 이미지는 CNN, 텍스트는 RNN을 사용해 피쳐 벡터를 추출해 결합해 사용하는 방법 (b) .. 2023. 8. 27.
728x90

티스토리툴바