-
Data Engineering
[데이터 파이프라인 핵심 가이드] 1. 데이터 파이프라인 소개
본 포스팅은 위키북스 사의 "데이터 파이프라인 핵심 가이드"의 내용을 정리한 글입니다. 1. 데이터 파이프라인 소개 1 - 1. 데이터 파이프라인이란? 데이터 파이프라인은 다양한 소스에서 새로운 가치를 얻을 수 있는 대상으로 데이터를 옮기고 (load) 변환하는 (transform) 일련의 과정이다. 데이터 파이프라인은 Rest API와 같은 단일 소스에서 데이터를 추출하고 데이터 웨어하우스의 SQL 테이블과 같은 다른 대상으로 데이터를 로드하는 간단한 구조의 파이프라인부터 추출된 데이터에 대한 유효성 검사, 가공 과정, 머신러닝 모델 추론과 같은 과정들이 추가되는 복잡한 구조의 파이프라인까지 다양한 복잡성을 가진다. 실제로 필자가 수행했던 프로젝트에서도 클라이언트로부터 받은 사용자 데이터를 가공하여 A..
-
CS
[Python OOP] Python에서의 객체(Object)와 타입 힌트
본 포스팅은 책 "Python 객체지향 프로그래밍 4판"의 내용을 정리한 글입니다 이번 포스팅에서는 Python에서의 객체와 타입 힌트에 대해서 알아보려고 한다. 우선 Python에서는 객체(Object)를 어떻게 정의하고 있을까? 한마디로 정의하자면, Python의 모든 것은 객체이다. str_variable_example = "hello world" print(type(str_variable_example)) # str값을 가진 변수를 선언하고 내장 함수인 type()을 이용하여 타입을 출력하는 간단한 코드이다. 첫번째 줄에서 "hello world"라는 문자열을 str_variable_example 변수로 선언하고 출력하면 다음과 같은 결과가 출력된다. 즉, str class의 인스턴스로서 "hel..
-
Data Engineering
[요리고 Airflow 도입기] 0. Airflow 사용을 결정한 이유
SW마에스트로 과정에서 본인은 AI 및 데이터 파트를 담당하여 "요리고" 모델에 대한 2개의 AI 모델 개발 및 데이터 파이프라인(이라고 부르지만 서빙이 전부)을 개발하였다. 소마가 끝난 후에 여러모로 데이터 파이프라인 부분에 아쉬움이 많이 남았고, 간단한 사이드 프로젝트로 airflow를 활용하여 데이터 파이프라인을 개선해보려고 한다. 기존 "요리고"의 시스템 구성은 다음과 같다. AI 모델의 경우, 서버비 절감을 위해서 Preprcessing, Inference, Postprocessing을 하나의 도커 이미지로 빌드하고 클라이언트의 요청이 있을 때마다 람다를 통해서 컨테이너를 생성하는 형태로 서빙을 진행했고 동작에는 무리가 없었으나 다음과 같은 문제점이 있었다. 1. Preprocessing이나 새..
-
소프트웨어 마에스트로
데뷔 전 개발자의 소프트웨어 마에스트로 합격기 (3) - 브론즈지만 프로 데뷔가 하고 싶어요..
▷ 자기소개서에 대한 내용은 이전 포스팅을 참고해주세요 ◁ 데뷔 전 개발자의 소프트웨어 마에스트로 합격기 (2) - 자기소개서는 어려워.. (feat 자소서 내용 ▷ 이전 포스팅도 같이 보시면 더 좋아요 ◁ 데뷔 전 개발자의 소프트웨어 마에스트로 합격기 (1) - 소마 연수생이 되고 싶었던 이유 2년 만에 블로그를 다시 시작해보려고 한다ㅎㅎ 이유는 여러 it-is-my-life.tistory.com 코딩테스트 문제는 공개할 수가 없기 때문에 문제 복기와 풀이보단 알고리즘 초보였던 내가 코테를 준비해나갔던 과정에 대해서 포스팅하려고 한다. 나같은 왕왕초보도 해냈으니 이 글을 보고있는 여러분도 해낼 수 있다!! 자기소개서는 완료했고 이제 남은건 코딩테스트다 코딩테스트란 무엇인가.. CS 지식과 쌍벽을 이루는..
-
소프트웨어 마에스트로
데뷔 전 개발자의 소프트웨어 마에스트로 합격기 (1) - 소마 연수생이 되고 싶었던 이유
2년 만에 대외 활동과 관련된 포스트를 다시 시작해보려고 한다ㅎㅎ 이유는 여러가지가 있겠지만 소마 활동을 기록하고 싶은 마음이 컸다. 팀을 꾸리고 개발을 시작한지도 3개월이 넘어가는 이 시점에서 여러 방면으로 매우 만족스러운 활동들을 경험했기 때문에 소마 해볼까하는 분들이 나의 블로그 글을 보고 소마에 지원해서 이 좋은 경험들을 해봤으면 하는 마음이다 :) 이 시리즈는 크게 합격기와 활동기로 나눠서 작성해볼까한다. 합격기에서는 소마를 선택한 이유부터 자소서 작성, 코딩테스트, 면접까지 차근차근 다룰 예정이고 활동기에는 합격 직후부터 중간 평가를 지나고 있는 현재 시점까지의 활동들을 정리하고 남아있는 활동들을 추가로 다룰 예정이다. 아무튼 재미있게 봐주셨으면 좋겠다!! 이번 포스팅의 주제는 소프트웨어 마에..
