버트 (2) 썸네일형 리스트형 [논문 리뷰] BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding (2019) - (2) BERT ~ Experiments ▽ Abstract부터 Related Work까지는 이전 게시물을 참고해주세요 ▽ [논문 리뷰] BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding (2019) - (1) Abstract ~ Relate 오늘 소개할 논문은 자연어에 큰 관심이 있지 않더라도 다들 한번쯤은 들어봤을 수 있는 그 유명한 "BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding"이다. Google에서 2019년 발표한 it-is-my-life.tistory.com 3. BERT 이 장에서는 본격적으로 BERT의 메인 컨셉과 구체적인 실행에 대한.. [논문 리뷰] BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding (2019) - (1) Abstract ~ Related Work 오늘 소개할 논문은 자연어에 큰 관심이 있지 않더라도 다들 한번쯤은 들어봤을 수 있는 그 유명한 "BERT : Pre-training of Deep Bidirectional Transformers for Language Understanding"이다. Google에서 2019년 발표한 논문이고 현재 GPT와 함께 pre-train language model계의 양대 산맥을 형성하고 있는 모델이라고 할 수 있다. 논문을 읽게 된 계기는 소프트웨어 마에스트로 프로젝트였다. BERT를 기반으로 fine-tuning해서 개체명 인식 모델을 만들어야 했는데 무작정 코드만 생각하기 전에 BERT에 대한 원리나 컨셉을 먼저 아는게 좋을 것 같아서 찾아 읽게 되었다. 사실 학부 3학년이 감히 도전하기엔 난이도가 높았지.. 이전 1 다음
