파인튜닝3

• 

  [책] 쉽고 빠르게 익히는 실전 LLM 리뷰 트랜스포머 아키텍처 2017년 Google Brain 팀에서 발표한 딥러닝 모델이다. 학계와 산업에서 다양한 자연처 처리 작업을 다루는데 표준이 되었다. LLM은 대부분 트랜스포머 아키텍처를 기반으로 한 AI 모델로, 간단한 텍스트 분류부터 텍스트 생성까지 다양한 언어 관련 작업을 높은 정확도와 유창하고 유려하게 수행할 수 있다. LLM이란 LLM에 대한 정의를 설명하기 위해 다음과 같은 특징들을 설명하고 있다. 시퀀스 투 시퀀스 인코더 디코더 자기회귀 모델, 자동 인코딩 모델, 자기회귀와 자동 인코딩의 조합 사전학습 (pre-training), 전이학습 (Transfer Learning), 파인튜닝 (Fine-Tuning) 정렬 + RLHF 등… BERT, GPT, T5와 같은 언어 모델부터 Align.. 서평 2024. 2. 24.

• 

  BERT 활용하기 사전 학습된 BERT 모델 탐색 BERT를 처음부터 사전 학습 시키는 것은 계산 비용이 많이 든다. 따라서 사전 학습된 공개 BERT 모델을 다운로드해 사용하는게 효과적이다. 사전 학습된 모델은 BERT-uncased 및 BERT-cased 형식으로도 제공된다. BERT-uncased 에서는 모든 토큰이 소문자이지만 BERT-cased 에서는 토큰에 대해 소문자화를 하지 않은 상태로 학습을 진행한 모델이다. 대소문자를 보존해야 하는 개체명 인식(Named Entity Recognition)과 같은 특정 작업을 수행하는 경우 BERT-cased 모델을 사용해야 한다. 이와 함께 구글은 전체 단어 마스킹(WWM) 방법을 사용해 사전 학습된 BERT 모델도 공개했다. 사전 학습된 모델을 다음 두 가지 방법으로.. 딥러닝/NLP 2022. 11. 19.

• 

  BERT 정리 Introduce BERT(Bidirectional Encoding Representation from Transformer)는 구글에서 발표한 임베딩 모델이다. 질의 응답, 텍스트 분류, 정보 추출 등과 같은 태스크에서 가장 좋은 성능을 도출해 자연어 처리 분야에 크게 기여해왔다. BERT가 성공한 주된 이유는 문맥이 없는 Word2Vec과 같은 다른 인기 있는 임베딩 모델과 달리 문맥을 고려한 임베딩 모델이기 때문이다. A : He got bit by python B : Python is my favorite programming language A 문장에서 ‘파이썬’이라는 단어는 뱀의 한 종류를 의미하고 B 문장에서는 ‘파이썬’이라는 단어는 프로그래밍 언어를 의미한다. Word2Vec과 같은 임베딩.. 딥러닝/NLP 2022. 11. 15.