728x90 LLMs4 오픈리더보드의 평가지표에 대해 안녕하세요 Simon 입니다. 오늘은 Open LLM Leaderboard 에서 순위를 평가하는 지표에 대해서 자세히 알아보겠습니다. https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard Open LLM Leaderboard - a Hugging Face Space by HuggingFaceH4 huggingface.co 평가방식(Im-evaluation-harness) - 질문과 보기를 모델에 입력을 합니다. - 각 보기를 생성할 확률을 통해 예측을 수행합니다. - In-context Learning 을 위해 예제를 함께 삽입합니다. 질문 : 인구가 제일 많은 나라는? 보기 : (1) 중국 (2) 한국 (3) 미국 (4) 일본 [모델의 추론.. 2024. 1. 4. 대규모 언어 모델(Large Language Models, LLMs)에 대한 포괄적 조사 본 내용은 아래 Medium 글을 정리하였습니다. https://cobusgreyling.medium.com/a-comprehensive-survey-of-large-language-models-llms-946a30d9288e 핵심 내용 정리 논문 발표 증가: "대규모 언어 모델"이란 제목이나 초록에 포함된 arXiv 논문의 평균 발표 수가 하루 0.40편에서 8.58편으로 증가 LLM의 원리: 대규모 언어 모델의 진보와 영향에도 불구하고, 그 기본 원리는 아직 잘 탐구되지 않음 오픈 소스 LLM의 역할: Meta의 기여는 중요하며, 오픈 소스 LLM은 확장, 맞춤화 및 성장의 촉매제 역할 LLaMA 모델 활용 연구: 많은 연구자들이 LLaMA 모델을 지시 조정(instruction tuning) 또는 .. 2023. 12. 19. Large Language Models Understand and Can be Enhanced by Emotional Stimuli 논문 리뷰 최근 사장님께서 보내주신 "EmotionPrompt" 관련 기사를 읽고, 해당 논문에 대해 간단하게 소개하려고 합니다. Large Language Models Understand and Can be Enhanced by Emotional Stimuli 라는 제목으로, LLM 분야에서 감정 지능이라는 새로운 차원을 탐구함으로써 기술과 인간의 상호작용을 풍부하게 만드는 데 크게 기여하며, 특히 Emotion Prompt라는 혁신적인 접근 방식을 통해 대규모 언어 모델들이 감정을 어떻게 이해하고 반응하는지에 대해 소개합니다. 1. Instruction 이 논문에서 연구자들은 감정 지능을 “감정이 담긴 정보를 적절히 해석하고 관리하는 능력”으로 정의하며, 이를 통해 문제 해결부터 행동 조절에 이르기까지 다양한 .. 2023. 11. 16. WIZnet AI Chatbot의 동작 원리 ChatGPT 출시 이후 기업용 챗봇의 변화 ChatGPT, Bard, BingChat 등의 LLM 기반의 챗봇들이 출시된 이후 도메인을 가리지 않고 수많은 기업들은 기업용 챗봇의 도입을 원하고있으며, 기존의 Rule-based 시스템의 챗봇을 운영하던 기업에서도 보다 자연스러우면서도 뛰어난 챗GPT같은 챗봇을 도입하기를 원하고 있습니다. 하지만 우리가 흔히 사용하는 ChatGPT는 특정 도메인이나 목적에 집중한 모델이 아닌 범용 모델입니다. 따라서 기업에서 고객 대응이나 업무용으로 ChatGPT를 제공하려고 한다면, 해당 기업에 대한 정보가 해당 모델에 학습되지 않았을 경우, 또 학습일 기준 데이터(ChatGPT의 경우 2021년 이전) 까지만 학습이 되어 실시간으로 업데이트 된 외부 정보들에 대해서는.. 2023. 11. 2. 이전 1 다음 728x90
