IT is my life

Data Engineering [Apache Spark] 로컬 환경에서 Apache Spark 설치하기 로컬 환경에서 단일 클러스터로 Apache Spark를 설치하기 위해서는 1. JDK 설치 2. Python 설치 3. Apache Spark 설치 4. Hadoop Winutil 설치 5. 시스템 환경변수 설정 이렇게 총 5단계를 거쳐야 한다. 1. JDK 설치 Apache Spark는 Scala로 구현되어 있고 JVM 위에서 동작하기 때문에 Java를 먼저 설치해주어야 한다. 본인의 경우, 원래 Java 17 환경이 세팅되어 있었는데 version 때문인지 Spark 실행이 되지 않아 11.0.18로 재설치 해주었다. Download the Latest Java LTS Free Subscribe to Java SE and get the most comprehensive Java support avai..
Data Engineering [데이터 파이프라인 핵심 가이드] 1. 데이터 파이프라인 소개 본 포스팅은 위키북스 사의 "데이터 파이프라인 핵심 가이드"의 내용을 정리한 글입니다. 1. 데이터 파이프라인 소개 1 - 1. 데이터 파이프라인이란? 데이터 파이프라인은 다양한 소스에서 새로운 가치를 얻을 수 있는 대상으로 데이터를 옮기고 (load) 변환하는 (transform) 일련의 과정이다. 데이터 파이프라인은 Rest API와 같은 단일 소스에서 데이터를 추출하고 데이터 웨어하우스의 SQL 테이블과 같은 다른 대상으로 데이터를 로드하는 간단한 구조의 파이프라인부터 추출된 데이터에 대한 유효성 검사, 가공 과정, 머신러닝 모델 추론과 같은 과정들이 추가되는 복잡한 구조의 파이프라인까지 다양한 복잡성을 가진다. 실제로 필자가 수행했던 프로젝트에서도 클라이언트로부터 받은 사용자 데이터를 가공하여 A..
논문 리뷰 [논문 리뷰] BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding (2019) - (2) BERT ~ Experiments ▽ Abstract부터 Related Work까지는 이전 게시물을 참고해주세요 ▽ [논문 리뷰] BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding (2019) - (1) Abstract ~ Relate 오늘 소개할 논문은 자연어에 큰 관심이 있지 않더라도 다들 한번쯤은 들어봤을 수 있는 그 유명한 "BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding"이다. Google에서 2019년 발표한 it-is-my-life.tistory.com 3. BERT 이 장에서는 본격적으로 BERT의 메인 컨셉과 구체적인 실행에 대한..
소프트웨어 마에스트로 데뷔 전 개발자의 소프트웨어 마에스트로 합격기 (2) - 자기소개서는 어려워.. (feat 자소서 내용 살짝 공개) ▷ 이전 포스팅도 같이 보시면 더 좋아요 ◁ 데뷔 전 개발자의 소프트웨어 마에스트로 합격기 (1) - 소마 연수생이 되고 싶었던 이유 2년 만에 블로그를 다시 시작해보려고 한다ㅎㅎ 이유는 여러가지가 있겠지만 소마 활동을 기록하고 싶은 마음이 컸다. 팀을 꾸리고 개발을 시작한지도 3개월이 넘어가는 이 시점에서 여러 방면 it-is-my-life.tistory.com 나의 이전 글을 보면 알겠지만 (2년 전에 쓴 글이어서 못 봤을 확률이 더 높지만) 나는 정시로 대학에 들어왔고 글 쓰는데 크게 자신이 없기 때문에 자기소개서는 항상 어려운 테스크 중 하나이다. 항목을 해석해서 어떤 내용을 적을지 고르는 것도 어렵지만 짧은 글 분량에 나의 생각을 온전히 담아내는 것이 가장 어려운 것 같다. 그래도 내가 하고 싶..
소프트웨어 마에스트로 데뷔 전 개발자의 소프트웨어 마에스트로 합격기 (1) - 소마 연수생이 되고 싶었던 이유 2년 만에 대외 활동과 관련된 포스트를 다시 시작해보려고 한다ㅎㅎ 이유는 여러가지가 있겠지만 소마 활동을 기록하고 싶은 마음이 컸다. 팀을 꾸리고 개발을 시작한지도 3개월이 넘어가는 이 시점에서 여러 방면으로 매우 만족스러운 활동들을 경험했기 때문에 소마 해볼까하는 분들이 나의 블로그 글을 보고 소마에 지원해서 이 좋은 경험들을 해봤으면 하는 마음이다 :) 이 시리즈는 크게 합격기와 활동기로 나눠서 작성해볼까한다. 합격기에서는 소마를 선택한 이유부터 자소서 작성, 코딩테스트, 면접까지 차근차근 다룰 예정이고 활동기에는 합격 직후부터 중간 평가를 지나고 있는 현재 시점까지의 활동들을 정리하고 남아있는 활동들을 추가로 다룰 예정이다. 아무튼 재미있게 봐주셨으면 좋겠다!! 이번 포스팅의 주제는 소프트웨어 마에..

티스토리툴바