Llama1

• 

  [책] 쉽고 빠르게 익히는 실전 LLM 리뷰 트랜스포머 아키텍처 2017년 Google Brain 팀에서 발표한 딥러닝 모델이다. 학계와 산업에서 다양한 자연처 처리 작업을 다루는데 표준이 되었다. LLM은 대부분 트랜스포머 아키텍처를 기반으로 한 AI 모델로, 간단한 텍스트 분류부터 텍스트 생성까지 다양한 언어 관련 작업을 높은 정확도와 유창하고 유려하게 수행할 수 있다. LLM이란 LLM에 대한 정의를 설명하기 위해 다음과 같은 특징들을 설명하고 있다. 시퀀스 투 시퀀스 인코더 디코더 자기회귀 모델, 자동 인코딩 모델, 자기회귀와 자동 인코딩의 조합 사전학습 (pre-training), 전이학습 (Transfer Learning), 파인튜닝 (Fine-Tuning) 정렬 + RLHF 등… BERT, GPT, T5와 같은 언어 모델부터 Align.. 서평 2024. 2. 24.