728x90 openllm2 Switch Transformers: Scaling to Trillion Parameter Modelswith Simple and Efficient Sparsity 논문 리뷰 안녕하세요 Simon 입니다. 오늘 리뷰해볼 논문은 MoE 모델의 아키텍처인 Switch Transformers 입니다. 사실 제가 딥러닝을 배우기전에 나왔던 논문인데 신기하게 다 언젠가는 빛을 바라는 순간이 오는거 같습니다. Abstrack 스위치 트랜스포머는 전통적인 딥러닝 모델의 한계를 극복하기 위해 개발된 새로운 접근 방식입니다. 기존 모델들이 모든 입력에 대해 동일한 매개변수를 사용하는 반면, 스위치 트랜스포머는 각 입력 예제마다 다른 매개변수를 선택하는 혼합(전문가 혼합) 모델을 채택합니다. 이 방식은 매개변수의 수를 크게 늘리면서도 계산 비용을 일정하게 유지합니다. 그러나 이러한 모델은 복잡성, 통신 비용, 그리고 훈련의 불안정성과 같은 문제들을 가지고 있었습니다. 스위치 트랜스포머는 이러한.. 2024. 1. 8. 오픈리더보드의 평가지표에 대해 안녕하세요 Simon 입니다. 오늘은 Open LLM Leaderboard 에서 순위를 평가하는 지표에 대해서 자세히 알아보겠습니다. https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4 huggingface.co 평가방식(Im-evaluation-harness) - 질문과 보기를 모델에 입력을 합니다. - 각 보기를 생성할 확률을 통해 예측을 수행합니다. - In-context Learning 을 위해 예제를 함께 삽입합니다. 질문 : 인구가 제일 많은 나라는? 보기 : (1) 중국 (2) 한국 (3) 미국 (4) 일본 [모델의 추론.. 2024. 1. 4. 이전 1 다음 728x90
