Google IO 2023 관련 내용 요약

Machine Learning

https://io.google/2023/program/4b9ae421-afec-4c6e-a3ca-dfa1164f7cff/intl/ko/

Keras documentation: KerasCV

keras random augmentation

• 랜덤으로 그림의 수를 증폭하는 방법 (뒤집기, 돌리기, 색변환 등 다양한 방식을 사용)

rand_augment = keras_cv.layers.RandAugment(value_range=[0, 255])

plt.figure(figsize = (10, 10))
for i in range(9):
	ax = plt.subplot(3, 3, i+1)
	augmented_image = rand_augment(image)
	plt.imshow(augmented_image.numpy().astype('uint8')
	plt.axis('off')

keras nlp를 이용한 작은 모델 만들기

from keras_nlp.models import GPT2CausalLM

model = GPT2CausalLM.from_preset("gpt2_base_en")

model.compile(...)

model.fit(cnn_dailymail_dataset)

model.generate(
	"I love peanut butter and jelly sandwiches, but I",
	sampler = "top_p",
	max_length = 30,
)

kaggle models

Find Pre-trained Models | Kaggle

Tensorflow Lite

TensorFlow Lite | 휴대기기 및 에지 기기용 ML

MediaPipe Studio

https://mediapipe-studio.webapps.google.com/home

MLOps

• TFX

TFX | ML 프로덕션 파이프라인  |  TensorFlow

https://github.com/tensorflow/tfx

• “이루다” 인공지능 캐릭터 개발 회사 스캐터랩 기술 블로그
• TFX 머신러닝 파이프라인 사용하기
• 당근마켓 기술 블로그
• TFX와 함께 머신러닝 파이프라인 개발하기

 

KerasCV

(https://io.google/2023/program/79e77594-3e72-4df2-a754-916af4f29ba9/intl/ko/)

• 예시 코드 (Text-to-image)

model = StableDiffusion(img_width=512, img_height=512)

images = model.text_to_image(
		"photograph of an astronaut",
		"riding a horse",
		batch_size = 3,
)

• backbone 모델로 빠르게 불러오고 사용 가능 → 테스크에 맞게 훈련
  • 예시 코드

  from keras_cv.models import (ResNetBackbone, ImageClassifier)
  
  backbone = ResNetBackbone.from_preset(
  		"resnet50_imagenet",
  )
  model = ImageClassifier(
  		backbone=backbone,
  		num_classes=2,
  )
  model.compile(...)
  model.fit(cat_vs_dog_dataset)
  

• Object Detection 쉽게 사용 가능
  • 예시 코드

  from keras_cv.models import (ResNetBackbone, RetinaNet)
  
  backbone = ResNetBackbone.from_preset(
  		"resnet50_imagenet",
  )
  model = RetinaNet(
  		backbone=backbone,
  		num_classes=20,
  		bounding_box_format='xywh',
  )
  

• Data Augmentation
  • 예시 코드

  from keras_cv.layers import (CutMix, MixUp, RandAugment, RandomFlip)
  
  augmenter = keras.Sequential(
  	[
  		RandomFlip(),
  		RandAugment(value_range=(0,255)),
  		CutMix(),
  		MixUp(),
  	],
  )
  train_dataset = flowers_dataset.map(augmenter)
  

생성형 AI (LLM)

https://io.google/2023/program/21666103-ad8f-463f-9f05-a2b1e11aeb60/intl/ko/

PaLM API

PaLM API  |  Generative AI for Developers

• 프로토 타입 빠르게 만들기
• Maker Suite (웹 인터페이스)
• LLM을 기반으로 프롬프팅 해서 데이터를 만들 수 있음 (제로샷)
  • 데이터 프롬프트: 지침과 예제를 주면 해당하는대로 요약해주는 등 만들 수 있음
  • [사용 아이디어] 그림 설명 → 해당 프롬프트 이용해서 그림에 대해 설명해주는 가이드를 명확하게 제공하면 그림에서 나온 색상, 형용사, 캡션 등을 이용해 설명하고 질문하는 문장을 만들 수 있을까?
• PEFT를 위한 합성 데이터 생성이 가능함
  • PEFT = Parameter-Efficient Tuning
    • 모델이 커져서 하드웨어에서 학습하기 위한 완전한 미세조정이 불가능
    • 다운스트림 작업에 대해 미세조정된 모델을 독립적으로 저장하고 배포하는 것이 어려움(사전 모델과 크기가 같아서 무겁)
    • = 사전훈련된 LLM의 대부분의 매개변수를 동결하면서 적은 수의 모델 매개변수만 미세조정하여 계산 및 저장 비용을 크게 줄임.
  • 참고) the currently supported PEFT methods, with more coming soon:
    1. LoRA: LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS
    2. Prefix Tuning: P-Tuning v2: Prompt Tuning Can Be Comparable to Fine-tuning Universally Across Scales and Tasks
    3. Prompt Tuning: The Power of Scale for Parameter-Efficient Prompt Tuning
    4. P-Tuning: GPT Understands, Too
• 챗봇 만들기가 가능
  • 채팅의 역할 부여해서 대화 가능

PaLM API 사용

• Rest API로 만들었다고 함
• (Chat GPT와 유사하고 더 많은 것을 지원하는것으로 보임)

Web ML

https://io.google/2023/program/7845543e-04ef-458b-8041-7ff1fb95721a/intl/ko/

• Web ML Update
  • MediaPipe 웹 솔루션으로 구동되는 브라우저에서 라이브로 배경을 넣는 등의 작업 가능
  • 웹에서 포토샵 가능
  • 웹 인터페이스로 자바스크립트 코드 제공 (결과를 즉각 확인할 수 있음)
    • Colab으로도 작동
  • 데모 페이지
    • Visual Blocks
  • github
  • GitHub - google/visualblocks: Visual Blocks for ML is a Google visual programming framework that lets you create ML pipelines in a no-code graph editor. You – and your users – can quickly prototype workflows by connecting drag-and-drop ML components, including models, user inputs, processors, and visualizations.
  • MediaPipe Solution
• TensorFlow Decision Forests
  • tfjs.converters.tf_saved_model_conversion_v2를 이용해 케라스 모델을 tfjs 형태로 변환
• Debug Web ML models
• TFJS Debugger
• WebGPU를 이용한 빠른 이미지 생성 가능 (vs WebGL)

TensorFlow & Keras

https://io.google/2023/program/176100f3-dfec-44e7-bd43-8d0484a88b48/intl/ko/

• DTensor
  • (data parallelism) DTensor는 텐서 배치를 위한 장치 및 레이아웃을 위한 메시 구성을 제공함
  • SPMD(Single Program Multiple Devices) 패러다임에서 보다 쉬운 분산 연산 저작을 가능하게 하는 분산 텐서 제안
  DTensor 개념  |  TensorFlow Corepytorch/README.md at main · pytorch/pytorch
• Keras와 함께 DTensor 사용  |  TensorFlow Core
• JAX2TF
  • TensorFlow 컨텍스트에서 JAX 함수를 호출 / JAX 컨텍스트에서 TensorFlow 함수를 호출
  jax/jax/experimental/jax2tf at main · google/jax
  • JAX : Google이 만든 Python과 Numpy만을 결합한 머신러닝 라이브러리
• TF Quantization API
  • Quantization : to reduce model size, making your models run faster and consume fewer resources.
  훈련 후 양자화  |  TensorFlow Lite

실습 Code Lab

• Document AI 및 Python을 사용한 광학 문자 인식 (OCR)  |  Google Codelabs
• Keras 및 TensorFlow Lite를 사용한 기기 내 대규모 언어 모델  |  Google Codelabs
• MediaPipe로 커스텀 객체 인식 웹 앱 만들기  |  Google Codelabs