728x90 자연어처리3 Attention Mechanism 이란? - (1) 어텐션이란? 풀고자 하는 Task의 핵심이 되는 정보를 찹아서 집중한다! 주의 주목, 관심 흥미, 뉴진스 어텐션! 등 다양한 뜻으로 쓰이고 있습니다. 자연어 처리 NLP 분야의 혁신으로 이끈 논문 All you need is attention 이란 논문을 다들 읽어보셨을거라고 생각합니다. Attention Is All You Need The dominant sequence transduction models are based on complex recurrent or convolutional neural networks in an encoder-decoder configuration. The best performing models also connect the encoder and decoder thr.. 2024. 3. 4. Switch Transformers: Scaling to Trillion Parameter Modelswith Simple and Efficient Sparsity 논문 리뷰 안녕하세요 Simon 입니다. 오늘 리뷰해볼 논문은 MoE 모델의 아키텍처인 Switch Transformers 입니다. 사실 제가 딥러닝을 배우기전에 나왔던 논문인데 신기하게 다 언젠가는 빛을 바라는 순간이 오는거 같습니다. Abstrack 스위치 트랜스포머는 전통적인 딥러닝 모델의 한계를 극복하기 위해 개발된 새로운 접근 방식입니다. 기존 모델들이 모든 입력에 대해 동일한 매개변수를 사용하는 반면, 스위치 트랜스포머는 각 입력 예제마다 다른 매개변수를 선택하는 혼합(전문가 혼합) 모델을 채택합니다. 이 방식은 매개변수의 수를 크게 늘리면서도 계산 비용을 일정하게 유지합니다. 그러나 이러한 모델은 복잡성, 통신 비용, 그리고 훈련의 불안정성과 같은 문제들을 가지고 있었습니다. 스위치 트랜스포머는 이러한.. 2024. 1. 8. 효과적인 AI 프롬프팅 전략을 위한 가이드 인공 지능(AI) 기술의 진화는 대화형 AI의 프롬프팅 기법에도 혁신적인 변화를 가져왔습니다. 특히 OpenAI의 GPT-4 같은 고급 모델에서는 사용자의 의도를 정확히 파악하고 적합한 결과를 도출하기 위해 구조화된 프롬프트 작성이 핵심적인 역할을 합니다. 이 글에서는 구조화된 프롬프트 작성을 위한 전략과 이를 효과적으로 활용하는 방법에 대해 설명하겠습니다. 1. 명확한 지침과 컨텍스트 제공 프롬프트는 사용자의 요구 사항을 분명하게 전달할 수 있도록 명확한 지침과 컨텍스트를 포함해야 합니다. 부정적인 표현보다는 명령문 형태로 지시를 제공하여 AI가 보다 효과적으로 행동을 이행하도록 해야 합니다. 예시: 잘못된 방식: "쓰지 마세요." 올바른 방식: "다음과 같이 작성해주세요." 2. 프롬프트 길이와 중복.. 2023. 11. 8. 이전 1 다음 728x90
