AI 취업 시장의 변화

최근 AI 취업 시장의 변화에 대해서 유럽의 한 NLP 연구자가 쓴 글을 보고 블로그에 유입되는 분들에게도 도움이 될만할 것 같아서 소개해드리려고합니다.

 

이 글에서는, 지난 5년 동안 AI와 NLP 분야의 발전이 매우 빠르게 진행되었으며, 박사학위를 마친 후에 NLP 관련 취업 시장의 분야가 훨씬 더 다양해졌다고합니다. 아마 BERT, GPT와 같은 다양한 모델이 생긴 영향이 크며, 과거에는 ML 등과 같은 기초 연구에 집중되었다면 이제는 점차 실용적인 연구로 옮겨가고 있다고 합니다. 그로인해 PhD. 박사학위에 대한 대안으로 스타트업에서의 경험을 통해 실제 문제 해결 위주의 경력을 쌓는 것을 대안으로 볼 수 있다고 말하고 있습니다.

 

여기서 소개하는 5가지 AI 취업시장 트랜드는 다음과 같습니다.

 

1. 연구의 응용 범위 확대

2. 박사 학위 대신하는 스타트업

3. ML의 개방성 감소 및 양극화

4. 대규모 프로젝트에 연구 집중

5. 더 많은 기업과 기회

 

하나씩 자세히 정리해보았습니다.

 

1. 연구의 응용 범위 확대

• 과거에는 ML과 NLP의 주요 문제들이 대부분 기초 연구에 속했으며, 최첨단 문제를 연구하기 위해서는 주로 학계나 소수의 대형 기술 연구소에 합류할 수 있었음.
• 모델의 성능이 제한적이었기 때문에, 데이터 세트는 실현 가능하지만 애플리케이션과 거리가 먼 단순화된 평가 설정을 반영함.
• 연구 성과가 제품에 적용되기까지는 수개월 또는 수년의 노력이 필요했음. 기계 번역은 구체적인 제품 개선으로 이어진 연구 혁신의 예외 사례임.
• 사전 학습의 등장과 모델의 강화로 기초 연구와 응용 연구 사이의 격차가 줄어듦. BERT 기반 표현의 통합으로 Google 검색의 큰 질적 도약을 이룸.
• 이전에는 기초 연구 영역에 속했던 문제들이 실제 애플리케이션에 영향을 미치기 시작함. 이는 새로운 기회와 연구 분야의 등장을 의미함.
• 생성 AI 분야의 성장으로 인해 새로운 연구 혁신이 경쟁에서 우위를 점하는 것으로 인식되며, 발표가 더 어려워짐.
• 제품과의 밀접한 연결로 인해 순수한 호기심에 기반한 연구 수행이 어려워짐. 연구자들은 단기적 영향과 장기적 연구 잠재력 사이의 균형을 찾아야 함.
• 애플리케이션 중심의 환경에서 장기적인 연구를 장려하기 위해, 기업은 개방적인 연구 방향에 대한 보상을 제공하는 환경을 조성해야 함. 연구에 필요한 컴퓨팅 요구 사항은 증가했으나, 덜 컴퓨팅 집약적인 연구 방향도 존재함.

2. 박사 학위 대신하는 스타트업

• 과거에는 PhD가 연구 직무에 필수적이며, 개인적 성장에 중점을 둘 수 있는 좋은 방법이라고 조언함.
• 현재 연구 문제의 응용적 성격을 고려할 때, 최첨단 AI 작업에 노출될 수 있는 또 다른 경로는 스타트업에 합류하는 것임.
• 스타트업, 특히 초기 단계의 스타트업은 모든 사람에게 적합하지 않음. 실제 문제를 해결하고 직접적인 영향을 미치는 것을 즐기며, 자율적으로 작업할 수 있고, 구조화되지 않은 환경에서 번성할 수 있는 특정 타입의 사람을 요구함.
• 이러한 조건에 편안하다면, 일반적인 PhD 과정보다 훨씬 빠르게 특정 기술과 지식을 습득할 수 있음. 지시 및 선호도 조정, 레드 티밍, LLM 정렬 등과 같은 신흥 방법론에 대한 실무 경험을 얻을 수 있음.
• 스타트업에서는 일반적으로 작업이 회사의 필요에 의해 결정되므로 유연성이 필요함.
• 여전히 자신의 호기심을 따르고 개인적 발전에 중점을 두고 싶다면, 주제에 깊이 몰입하고, 협업과 멘토십을 가치 있게 여기며, 창의적으로 새로운 아이디어를 내고 싶다면 PhD가 최선의 선택임.
• 과학적 사고 방식 및 가설 설정 및 검증, 출판, 연구 취향 개발 등과 같은 다른 연구 관련 기술은 PhD 과정에서 더 쉽게 배울 수 있음..

3. ML의 개방성 감소 및 양극화

• ML 커뮤니티의 놀라운 특징 중 하나는 많은 ML 개발 및 연구가 공개적으로 수행되었다는 것임.
• 2000년에 설립된 최고의 ML 저널 JMLR은 출판물에 대한 개방 접근을 제공하는 목표를 가지고 있음. 학회는 그 절차를 온라인에서 무료로 제공함.
• TensorFlow와 PyTorch와 같은 ML 프레임워크는 원래 회사에 의해 개발된 후 오픈 소스화되었음. NLP에서도 저널과 학회가 개방 접근이며, Transformers와 같은 오픈 소스 라이브러리가 일반적인 구성 요소임.
• ELMo, ULMFiT, GPT, T5와 같은 초기 사전 훈련 모델이 오픈 소스화됨으로써 널리 채택될 수 있었음. 그러나 이러한 극단적 개방성의 풍경이 변화하기 시작함. OpenAI와 Google과 같은 오픈 소스 AI의 선봉장들이 점차 모델에 대한 정보를 덜 공개하기 시작함.
• GPT-3 및 PaLM과 같은 LLM의 첫 세대부터 모델은 점차 API 뒤에 숨겨지기 시작했으나 논문은 여전히 구조와 데이터에 대해 자세히 설명함. GPT-4, PaLM-2, Gemini와 같은 최근 모델은 닫힌 소스일 뿐만 아니라 해당 논문은 구조와 훈련 데이터에 대해 아무 것도 공개하지 않음.
• 이러한 지식 공유의 부족은 AI 개발의 진보를 저해할 수 있음. 다행히 다른 회사와 조직은 계속해서 오픈 소스 LLM의 꾸준한 흐름을 발표함. 그러나 오픈 소스 모델 사이에서도 개방성의 스펙트럼이 존재함.
• Facebook과 Microsoft와 같은 대형 기술 회사들은 오픈 소스에 대한 새로운 약속을 보여줌. Apple도 비밀스러운 평판에도 불구하고 조용히 AI 프로젝트를 오픈 소싱함.
• 산업 연구자에게 닫힌 소스로의 추세는 발표가 더 어려워졌다는 것을 의미함. 과거에는 최고 AI 산업 연구소의 연구자들이 학계 동료들과 유사한 출판물의 꾸준한 흐름을 발표할 수 있었음. LLM 관련 논문의 경우, 이 흐름이 줄어들고 새로운 발전이 특허로만 나타날 수 있음.

4. ML의 개방성 감소 및 양극화

• 출판물의 평균 저자 수가 꾸준히 증가함. 입자 물리학에서 시작된 저자 수의 급증은 대형 하드론 충돌기와 같은 대규모 글로벌 협업으로 인해 최근 몇 년 동안 급증함.
• LLM의 등장은 이러한 추세를 ML과 NLP로 가져옴. BLOOM(300+ 저자), GPT-4(200+ 저자), Gemini(900+ 저자)와 같은 대규모 협업의 최근 예시임.
• LLM 프로젝트는 연구 기술뿐만 아니라 수백억 개의 매개변수와 수조 개의 토큰으로 효율적으로 확장할 수 있는 시스템을 설계할 수 있는 강력한 소프트웨어 엔지니어도 요구함.
• 이러한 크기는 AlphaGo와 같은 이전 세대의 AI 돌파구와 대조적임. 이러한 크기는 효과적인 실행과 우선순위 결정에 도전이 되며, 빠르게 결정을 내리기 어렵게 만듦. LLM 관련 연구에 점점 더 많은 사람들이 흡수됨에 따라 LLM의 최신 세대와 직접 관련이 없는 다른 연구 방향이 우선순위에서 밀림.

5. 더 많은 기업과 기회

• 대규모 언어 모델(LLM)의 등장은 이 기술을 활용하는 새로운 회사들의 파도를 일으켰고, 기존 회사들에게 이러한 모델을 제품에 어떻게 통합할지 고민하게 만듦.
• 유명한 스타트업 인큐베이터인 YC는 이미 100개 이상의 생성 AI 스타트업에 투자함.
• 최근 맥킨지 보고서는 생성 AI가 생산성에 미치는 영향이 글로벌 경제에 수조 달러를 추가할 수 있으며, 예상 가치의 대부분이 고객 운영, 마케팅 및 판매, 소프트웨어 엔지니어링, R&D 네 가지 사용 사례에 집중될 것으로 추정함.
• 그러나 생성 AI는 여전히 시작 단계에 있음. 환각 완화, 신뢰성 및 귀속 보장, 모델을 통한 원하는 행동의 신뢰할 수 있는 유도, 강력한 추론 보장 등 많은 연구 과제가 남아 있음.
• 비즈니스 사례에 LLM을 효과적으로 사용하기 위해서는 파일럿 연구를 성공적으로 수행하고, 편향과 위험을 평가하며, 적절한 안전장치를 정의하고, 핵심 비즈니스 프로세스를 재고하며, 노동력 내에서 새로운 기술을 개발하는 등 여러 조치가 필요함.

  

  AI Startups (Image credit: Base10)

 

이러한 변화는 AI 취업 시장에 중대한 영향을 미치고 있으며, 연구자와 개발자들에게 새로운 기회와 도전을 제공하고 있습니다. 연구와 기술의 빠른 발전에 발맞추어 개인의 경력 방향을 고민하는 분들께 이 글이 유용한 통찰과 정보를 제공할 것으로 기대합니다.

 

원문출처

Thoughts on the 2024 AI Job Market