Intro

• 오픈 LLM 모델 개발 프로젝트
  • AI-Hub Ko Leaderboard에 모델 제출하기

Data

데이터셋 비교

LLM 데이터셋

모델 및 데이터셋 형식 및 퀄리티 확인

Role

• 관련 기술 리서치
  • Quantization
  • PEFT
  • DPO
  • prompt Engineering
  • FSDP
  • Deep speed
• Yi-KO-6B, Mistral-7B 모델을 이용한 LLM 모델 개발(Fine tuning)
• AI-Hub, 허깅페이스 등을 활용한 LLM 학습 데이터 생성

Skill

• python
• SFT
• DPO
• Prompt Engineering
• PEFT
• FSDP
• DeepSpeed

Code