구글의 새로운 AI 모델 '제미나이 프로', 기대에 못 미치는 성능?

안녕하세요! 오늘은 최근 화제가 되고 있는 구글의 새로운 인공지능 모델 '제미나이 프로(Gemini Pro)'에 대한 이야기를 나눠보려 합니다.

구글이 자랑스럽게 선보인 '제미나이 프로'는, 이제 1년을 맞이한 오픈AI의 'GPT-3.5 터보'와 비교해 그 성능이 떨어진다는 소식이 전해졌어요. 이는 구글의 초기 주장과는 상반되는 결과로, 많은 이들의 주목을 받고 있습니다.

벤치마크 결과(사진=카네기 멜론 대학)

최근 벤처비트 보도에 따르면, 카네기 멜론 대학교와 스타트업 베리AI의 연구진이 진행한 외부 테스트에서, '제미나이 프로'는 GPT-3.5 터보와 비슷하거나 조금 낮은 정확도를 기록했다고 하네요. 특히, 제미나이 프로는 GPT-4와 비교할 때 더욱 뒤처지는 모습을 보였습니다.

벤치마크 결과(사진=카네기 멜론 대학 )

연구진은 제미나이 프로가 특정한 답변에 편향된 경향을 보였으며, 이는 훈련 과정에서의 조정 부족을 의미할 수 있다고 지적했습니다. 또한, 인간의 성, 형식 논리, 초등 수학, 전문 의학 등의 특정 카테고리에서 제미나이 프로의 성능이 현저히 떨어진다는 사실도 밝혀졌습니다.

그럼에도 불구하고, 언어 간 번역에서는 제미나이 프로가 빛을 발했다고 해요. 연구진에 따르면, 제미나이 프로는 20개 언어 중 8개에서 GPT 모델들을 능가하는 성능을 보였다고 합니다.

이번 테스트 결과는 구글에게 큰 타격을 줄 수 있으며, 구글이 오픈AI를 앞서기 위해 더 많은 노력을 기울여야 할 것으로 보입니다. 특히, 제미나이 울트라 모델의 출시가 내년으로 연기된 만큼, 이에 대한 기대감보단 아쉬움이 점점 커지고 있는것 같습니다. Gemini Ultra가 내년 상반기에 출시된다는 소식이 들려왔을때 다들 윤리적인 문제보다는 기술적인 문제일 확률이 높다고 말해왔는데, 추측이 아닌 사실일 확률이 점점 높아지고 있습니다.

 

여러분은 이번 구글의 제미나이 프로에 대한 소식, 어떻게 생각하시나요?