2024년 6월 글모음 2024. 6. 17정서적으로 풍족하다는 것은 그저 삶을 연장하는 것 (목숨을 부지하기 위해 사는 하루)뿐 아니라 더 풍부한 마음을 느낄 수 있는 여유가 있다는 뜻이다.항상 자신의 관점으로만 타인을 바라볼 수 밖에 없다.감정에 휘둘리느라 보지 못한 풍경이 아쉽다. 2024. 6. 19어차피 생각난 대로 행동할거면서 후회는 왜 해? 곱씹으면 욕먹을 일 투성이다. 누구나 후회할 일은 저지르고 어차피 시간이 지나면 잊혀져 갈 뿐이다. 웃으면서 인사하는 수 밖에. 2024. 6. 24날마다 사건에 대한 경중이 다른 것 같다. 오늘은 커피를 옷에 쏟았지만 그렇게 크게 기분이 나빠지지 않았다. 야근 신청을 하고 나서 내일 테스트가 없을거란 얘기를 들었다. 그래도 괜찮았다. 놓여진 사건은 동일하지만 어느 날은 기분이.. 2024. 7. 24. C5. 테스크 간 의존성 정의하기 5.1 기본 의존성 유형5.1.1 선형 의존성 유형명시적으로 테스크 의존성을 지정의존성 충족된 뒤 다음 태스크 실행다운스트림 태스크로 전달5.1.2 팬인/팬아웃 의존성두가지 소스에서 데이터가 정제되어 결합해야하는 테스크에서DummyOperator 사용from airflow.operators.dummy import DummyOperatorstart = DummyOperator(task_id='start')start >> [fetch_weather, fetch_sales][clean_sales, clean_weather] >> join_datasetsjoin_datasets >> train_model >> deploy_model시간당 페이지 수 집계도메인 코드 살펴보기4.2 태스크 콘텍스트와 Jinja 탬플릿 작업워크플로 첫 번째 버전4.2.1 오퍼레이터의 인수 템플릿 작업Jinja 템플릿 문자열 {{ }}print("Hello {{ name }}")모든 오퍼레이터 인수가 템플릿이 될 수 있는 것은 아님. 공식 문서 참고 (PythonOperator.template_fields)4.2.2 템플릿에.. 2024. 6. 2. C3. Airflow의 스케줄링 3.1 예시: 사용자 이벤트 처리하기사용자 이벤트를 가져오고 통계 및 계산하기 + 스케줄링으로 매일 특정 기간의 변화를 비교하기3.2 정기적으로 실행하기3.2.1 스케줄 간격 정의하기dag = DAG( dag_id="02_daily_schedule", schedule_interval="@daily", # 매일 start_date=datetime(2024, 4, 1), # 4월 1일 이후 자정부터 시작 (4월 2일 00시) end_date=datetime(2024, 5, 1),)3.2.2 Cron 기반의 스케줄 간격 설정하기Cron 사용 예시0 * * * * = 매시간 정시 실행0 0 * * * = 매일 자정 실행0 0 * * 0 = 매주 일요일 자정에 실행0 0 1 * * = 매월 .. 2024. 6. 2. C2. Airflow DAG의 구조 2.1 다양한 소스에서 데이터 수집2.1.1 데이터 탐색배경 : 로켓 뉴스 수집 프로그램 작성예정된 로켓 발사 데이터, 이미지 API2.2 첫 번째 Airflow DAG 작성Airflow에 매핑된 모형태스크를 나누는 기준은 때에 따라 다름. 2.2.1 태스크와 오퍼레이터 차이점오퍼레이터는 단일 작업을 수행할 수 있는 기능 제공.태스크는 오퍼레이터의 래퍼/매니저 역할을 함. 둘은 유사한 개념으로 혼용해서 사용2.2.2 임의 파이썬 코드 실행라이브러리import jsonimport pathlibimport airflowimport airflow.utilsimport requestsimport requests.exceptions as requests_exceptionsfrom airflow import DAG.. 2024. 6. 2. C1. Apach Airflow 살펴보기 1.1 데이터 파이프라인 소개1.1.1 데이터 파이프라인 그래프방향성 비순환 그래프 DAG앞선 태스크가 완료되어야 뒤의 태스크 실행 가능순환 그래프의 경우, 상호 의존성이 있어 명확한 실행 경로 파악 불가1.1.2 파이프라인 그래프 실행그래프 안 태스크는 각각 개방된 상태, 이전 태스크가 완료되었는지 확인태스크 완료되면 다음 태스크를 대기열 추가그래프의 모든 태스크가 완료될 때 까지 실행1.1.3 그래프 파이프라인과 절차적 스크립트 파이프라인 비교개별적인 태스크로 병렬 구성이 가능하기 때문에, 가용 컴퓨팅 리소스를 효율적으로 활용 가능절차적 (모놀리식) 스크립트의 경우 중간 태스크가 실패하면 전체를 재실행 해야함.1.4 워크플로 매니저를 이용한 파이프라인 실행워크플로 관리 시스템의 주요 차이 정의 방식O.. 2024. 6. 2. FBI 행동의 심리학 (2010) 사람은 누구나 위험을 감지하면 정지한다.달갑지 않은 사람이나 사건이 있을 때면 아예 피하거나 거리를 둔다.눈을 가리는 행동은 놀람, 불신, 의견 차이를 강력하게 보여준다. 자신의 눈을 가리거나 비비며 손으로 얼굴을 가리기도 한다. 테이블이나 상대로부터 몸을 약간 멀리할 수도 있고 가장 가까운 출구 쪽으로 다리를 돌릴 수도 있다. 이것은 속이는 행동이 아니라 뭔가가 불편 하다는 것을 보여주는 행동이다.목을 만지거나 쓰다듬는 것은 스트레스에 반응할 때 가장 자주 나타나는 진정시키기 행동이다. 천돌 만지기.몸을 멀리하기, 얼굴 찡그리기, 팔짱 끼기 등은 뇌가 진정시키기 위해 손의 협조를 얻는 것이다.스트레스에 대응할 때, 어떤 사람은 손가락으로 목 뒤를 문지르거나 마사지를 한다. 어떤 사람은 목의 양옆이나 울.. 2024. 5. 28. 감히, 아름다움을 읽고 몰, 그 느닷없는 슬픔과 대책없는 악동긍정적인 뜻을 가지는 명사 앞에 붙어, 어떤 대상이 그 명사가 나타내는 자질이나 속성이나 내용을 유감스럽게도 가지고 있지 않음을 나타내는 말.사전적 정의에서의 "몰" 개념은 긍정적인 뜻을 뒤집는 의미이지만 작가가 이야기 하고자 하는 몰은 어떤 순간의 변화를 아름답다고 일렀다."내게 아름다움이란 어떤 대상을 향한 것이 아니라 내 안의 충만한 체험으로 자릴 잡는다." 이 구절에서 나도 나만의 아름다움을 상상해보았다. 나의 아름다움을 생각해보자면 나는 참 반짝이는 것을 좋아했다. 어렸을 때는 보석이었고 지금은 윤슬, 별, 높고 먼 곳에서 본 야경 이런 것들을 볼 때 아름답다고 느낀다. 나의 아름다움을 정의하자면 "빛" 이라 부르고 싶다.2호선으로 출퇴근할 때 항상 한강 다.. 2024. 5. 17. 당신의 마음은 당신이 습관적으로 품는 생각을 닮아갈 것이다. 24. 5. 5생각보다 생각이 많다. 어느 날은 전혀 알지 못하는 사람을 보고 저 사람은 어디에서 왔으며 어떤 삶을 살고 있을지 궁금한 적도 있다. 또 어떤 날은 내 가까운 사람이 어떤 생각을 하고 사는지 머리를 들여다보고 싶을 때도 있고. 어떤 날은 많은 사람을 만나고 싶다가도 어떤 날은 아무도 보고 싶지 않을 때가 있다. 이런 잡생각들이 꼬리를 물어 머리를 둥둥 떠다닌다. 말을 있는 대로 내뱉고 살아왔다. 순간의 감정과 순간의 기분을 표출하며 살아왔다. 이런 생각을 글로 적으려고 할 때면 내 생각들이 한없이 부끄러워진다. 글을 쓰는 것은 상념을 정리하고 이성으로 돌아오는 순간이다. 스스로를 반성하며 다듬어본다."당신의 마음은 당신이 습관적으로 품는 생각을 닮아갈 것이다." - 이토록 무서운 말이 있을.. 2024. 5. 5. 이전 1 2 3 4 ··· 42 다음 728x90