IT is my life

Data Engineering [airflow] Docker에서 airflow 환경 설정 및 실행하기 이번 포스팅에서는 Docker-compose를 활용하여 apache airflow를 실행하는 방법을 다룬다. 본 포스팅은 airflow 공식 document의 "Running airflow in Docker"를 참고하였으며 하단의 링크를 통해서 해당 문서로 이동할 수 있다. Running Airflow in Docker — Airflow Documentation airflow.apache.org Before You Begin (필수 도구 설치) 설치 이전에 airflow 이미지를 실행하기 위한 Docker와 Docker-compose의 설치 or 업데이트가 필요하다. Install on Windows docs.docker.com 본인은 Windows의 환경에서 설치를 진행하였으므로 위 링크를 통해서 Do..
IBM C:LOUDERs 클라우드는 처음이라 (1) - 도커는 뭐고 쿠버네티스는 또 뭐야? IBM C:LOUDERs 활동을 하면서 '세상은 넓고 능력자들은 많구나'라는 생각을 정말 많이 한다ㅋㅋ IBM C:LOUDERs를 통해 클라우드 컴퓨팅을 처음 접하는 나로서는 따라가기가 벅찬 게 사실이다. 그러다가 문득 이런 생각을 했다. '이런 고민을 나만 할까?' 분명 클라우드 컴퓨팅을 처음 접하고 구글링의 세계를 허우적대는 나같은 사람이 있지 않을까?그래서 시작한다! 클라우드는 처음이라 시리즈! IBM Cloud Essentials 코스를 수강하면서 공부한 내용을 입문자의 시선에서 정리해보려고 한다. 오늘의 내용은 하이브리드 클라우드와 멀티 클라우드.. 일 뻔했으나 강의를 보다 보니 생소한 용어가 많았다. 강연자 분은 당연한 듯이 넘어갔지만ㅠㅠ 나는 뜻을 몰라 구글링 또 구글링 하며 4분짜리 영상을..
Data Engineering [Apache Spark] 로컬 환경에서 Apache Spark 설치하기 로컬 환경에서 단일 클러스터로 Apache Spark를 설치하기 위해서는 1. JDK 설치 2. Python 설치 3. Apache Spark 설치 4. Hadoop Winutil 설치 5. 시스템 환경변수 설정 이렇게 총 5단계를 거쳐야 한다. 1. JDK 설치 Apache Spark는 Scala로 구현되어 있고 JVM 위에서 동작하기 때문에 Java를 먼저 설치해주어야 한다. 본인의 경우, 원래 Java 17 환경이 세팅되어 있었는데 version 때문인지 Spark 실행이 되지 않아 11.0.18로 재설치 해주었다. Download the Latest Java LTS Free Subscribe to Java SE and get the most comprehensive Java support avai..
소프트웨어 마에스트로 데뷔 전 개발자의 소프트웨어 마에스트로 합격기 (4) - 제일 자신있었지만 제일 어려웠던 심층 면접 ▷ 코딩테스트에 대한 내용은 이전 포스팅을 참고해주세요 ◁ 데뷔 전 개발자의 소프트웨어 마에스트로 합격기 (3) - 브론즈지만 프로 데뷔가 하고 싶어요.. ▷ 자기소개서에 대한 내용은 이전 포스팅을 참고해주세요 ◁ 데뷔 전 개발자의 소프트웨어 마에스트로 합격기 (2) - 자기소개서는 어려워.. (feat 자소서 내용 ▷ 이전 포스팅도 같이 보시면 더 it-is-my-life.tistory.com 꿈에 그리던 소프트웨어 마에스트로 연수생까지 면접 전형만을 남겨두었다. 사실 나는 면접 전형에 꽤 자신이 있는 편인데 면접은 코딩 테스트나 서류와는 다르게 나와 마주하고 있는 면접관이라는 사람을 설득하는 과정이라고 생각하기 때문이다. 그 분들이 하시는 대부분의 질문이 내가 제출한 여러 리소스들에서 나오고, 그 리..
소프트웨어 마에스트로 데뷔 전 개발자의 소프트웨어 마에스트로 합격기 (3) - 브론즈지만 프로 데뷔가 하고 싶어요.. ▷ 자기소개서에 대한 내용은 이전 포스팅을 참고해주세요 ◁ 데뷔 전 개발자의 소프트웨어 마에스트로 합격기 (2) - 자기소개서는 어려워.. (feat 자소서 내용 ▷ 이전 포스팅도 같이 보시면 더 좋아요 ◁ 데뷔 전 개발자의 소프트웨어 마에스트로 합격기 (1) - 소마 연수생이 되고 싶었던 이유 2년 만에 블로그를 다시 시작해보려고 한다ㅎㅎ 이유는 여러 it-is-my-life.tistory.com 코딩테스트 문제는 공개할 수가 없기 때문에 문제 복기와 풀이보단 알고리즘 초보였던 내가 코테를 준비해나갔던 과정에 대해서 포스팅하려고 한다. 나같은 왕왕초보도 해냈으니 이 글을 보고있는 여러분도 해낼 수 있다!! 자기소개서는 완료했고 이제 남은건 코딩테스트다 코딩테스트란 무엇인가.. CS 지식과 쌍벽을 이루는..

티스토리툴바