Transformer-HuggingFace

교재 'Do it! BERT와 GPT로 배우는 자연어 처리'를 공부한 저장소입니다.

목차

• 1장 처음 만나는 자연어 처리

  • 1-1 딥러닝 기반 자연어 처리 모델
  • 1-2 트랜스퍼 러닝
  • 1-3 학습 파이프라인 소개
  • 1-4 개발 환경 설정

• 2장 문장을 작은 단위로 쪼개기

  • 2-1 토큰화란?
  • 2-2 바이트 페어 인코딩이란?
  • 2-3 어휘 집합 구축하기
  • 2-4 토큰화하기

• 3장 숫자 세계로 떠난 자연어

  • 3-1 미리 학습된 언어 모델
  • 3-2 트랜스포머 살펴보기
  • 3-3 셀프 어텐션 동작 원리
  • 3-4 트랜스포머에 적용된 기술들
  • 3-5 BERT와 GPT 비교
  • 3-6 단어/문장을 벡터로 변환하기

• 4장 문서에 꼬리표 달기

  • 4-1 문서 분류 모델 훑어보기
  • 4-2 문서 분류 모델 학습하기
  • 4-3 학습 마친 모델을 실전 투입하기

• 5장 문장 쌍 분류하기

  • 5-1 문장 쌍 분류 모델 훑어보기
  • 5-2 문장 쌍 분류 모델 학습하기
  • 5-3 학습 마친 모델을 실전 투입하기

• 6장 단어에 꼬리표 달기

  • 6-1 개체명 인식 모델 훑어보기
  • 6-2 개체명 인식 모델 학습하기
  • 6-3 학습 마친 모델을 실전 투입하기

• 7장 질문에 답하기

  • 7-1 질의응답 모델 훑어보기
  • 7-2 질의응답 모델 학습하기
  • 7-3 학습 마친 모델을 실전 투입하기

• 8장 문장 생성하기

  • 8-1 문장 생성 모델 훑어보기
  • 8-2 문장 생성 모델 파인튜닝하기
  • 8-3 프리트레인 마친 모델로 문장 생성하기
  • 8-4 파인튜닝 마친 모델로 문장 생성하기

• 찾아보기