<데이터 파이프라인 핵심 가이드> 02 최신 데이터 인프라 데이터 소스의 다양성 데이터 수집 도구 클라우드 데이터 웨어하우스와 데이터 레이크 모델링 도구 및 프레임워크 워크플로 오케스트레이션 플랫폼 소스 시스템 소유권 어디서 소스 시스템을 가지고 오는지에 따라 데이터 가용 범위가 달라짐 수집 인터페이스 및 데이터 구조 수집 인터페이스 Postgres, MySQL DB와 같은 애플리케이션 뒤 데이터베이스 REST API와 같은 시스템 상단의 추상화 계층 Apache Kafka같은 스트림 처리 플랫폼 로그, 쉼표로 구분된 값 (csv) 파일 및 기타 플랫 파일을 포함하는 공유 네트워크 파일시스템 또는 클라우드 스토리지 버킷 데이터 웨어하우스 또는 데이터 레이크 HDFS 또는 HBase 데이터베이스의 데이터 데이터 구조 REST API의 Json MySQL DB의 데.. 2024. 4. 1. Google IO 2023 관련 내용 요약 Machine Learning https://io.google/2023/program/4b9ae421-afec-4c6e-a3ca-dfa1164f7cff/intl/ko/ Keras documentation: KerasCV keras random augmentation 랜덤으로 그림의 수를 증폭하는 방법 (뒤집기, 돌리기, 색변환 등 다양한 방식을 사용) rand_augment = keras_cv.layers.RandAugment(value_range=[0, 255]) plt.figure(figsize = (10, 10)) for i in range(9): ax = plt.subplot(3, 3, i+1) augmented_image = rand_augment(image) plt.imshow(augmente.. 2023. 9. 3. [특허] 인공지능 특허 보호 특허로 보호되는 기술 분류 학습용 데이터 셋 획득 데이터 전처리 방법 딥러닝 모델 구조 설계 학습 방법 선택 하드웨어 설계 딥러닝 응용 학습용 데이터 셋 획득 단순 공개 데이터셋은 특허 보호 불가 데이터 셋 획득 방법에 특이성이 있는 경우에 한하여 특허로 보호받을 수 있음 데이터 전처리 방법 학습용 데이터셋 노이즈 필터링, local minimum에 빠지지 않도록 정규화 수행. 종래 데이터 전처리 방법들을 응용 분야에 적합하게 변형해 사용하는 경우 (진보한 특징이 있으면) 특허 보호 가능 딥러닝 모델 구조 설계 및 학습 방법 특정 모델을 선택해서 학습했다는 내용은 특허로 보호받기 어려움 공개된 모델 구조를 변형하거나, 특정 문제를 해결하기 위해 복수의 모델을 결합하는 등과 같이 모델 구조에 특이성이 인정.. 2023. 8. 28. [강연] 모두팝 : AI연구원으로 일하는 법 이한울 연구원님 강연 기록 AI aplication 연구직 EleutherAI HaeRae 팀 정보처리학회, 한국지능저오시스템학회 논문 하정우 박사님 강연 (네이버 AI 헤드) 채용시장의 구조 기업의 Hierachy of needs 데이터 수집 (Collect) 데이터 수집을 위한 플로우를 갖춰야 함 (서버 세팅 파이프라인 등) 데이터 노이즈 전처리 필요 Aggregate/label 시각화 Learn/optimize 단계별로 필요한 사람이 다름. 기업의 규모와 특성에 따라서 담당하는 범위가 다름. 문과 비전공자의 장벽 선형대수학 및 기타 수학적 토대 Mathmatics for Machine Learning & Data Science 대학 강의 중 통계수학, 공학수학 수리통계학, 확률론 등 통계학적 지식 .. 2023. 8. 26. [AI기술] 카카오 컨퍼런스 세션 요약 보호되어 있는 글 입니다. 2023. 8. 26. 이전 1 다음 728x90