2024년은 온디바이스 AI의 해!

2023년을 chatGPT로 촉발된

인공지능(AI)의 열풍이 전 세계를

휩쓸었던 해로 본다면,

​

2024년을 휩쓸 기술의 핵심은

온디바이스 인공지능(On-device AI)이

될 것으로 보입니다.

​

출처 : 삼성전자 반도체 뉴스

​

지난해에는 AI모델이 그 크기로

성능을 겨루는 제1라운드 였다면,

올해는 노트북, 냉장고, TV, 스마트카 등에

AI를 탑재하는 경쟁이 시작된 것입니다.

​

---

​

스마트폰과 자동차까지 다양한 기기에

AI 기술이 탑재되고 있고,

이러한 기기들은 자체적으로 정보를

수집, 연산하는 능력을 갖추는

온디바이스AI가 되어야 하는데요.

여기서, 온디바이스 AI는

서버나 클라우드를 거치지 않고

기기가 자체적으로

AI를 구동하는 것을 말합니다.

​

온디바이스 AI와 클라우드 기반 AI의 차이

​

이용자 입장에서 본다면,

개인정보가 외부로 새어 나가지

않기 때문에 보안적인 측면에서

분명히 이점이 있고,

이 때문에 개인 정보를 활용한

맞춤형 서비스가 가능해질 수 있습니다.

​

공급자 입장에서는 서버나 네트워크 비용을

들이지 않아도 되기때문에

보다 저렴하게 AI 서비스를

제공할 수가 있게 됩니다.

​

이를 위해서는

AI를 경량화하는 기술이 필요한데,

그 중심에

경량 대형언어모델(sLLM)이 있습니다.

​

---

​

LLM이 큰 두뇌로 범용 영역에서

고성능을 낸다면

sLLM은 상대적으로 사이즈가 작지만,

특정 영역에서 성능을 특화시켜

비용 효율성이 높은 것이 특징입니다.

 

​

​

OPENAI의 GPT-4는

현재까지 가장 발전된 대규모 언어모델(LLM)중 하나로,

2023년 3월에 출시되었었는데요.

GPT(Generative Pre-trained Transformer)

시리즈의 최신버전으로,

약 1조 개의 파라미터를 보유하고 있으며,

이를 통해 이미지를 포함한

다양한 형태의 데이터를 처리할 수 있는

멀티모달 기능을 제공하는 등

텍스트와 시각적 정보를 모두

해석하고 설명할 수 있으며,

이로 인해 실제 데이터에 대해

보다 인간과 유사한 이해를 제공합니다.

​

하지만, sLLM의 경우에는

2~300억개 미만의 매개변수를 가지고도

어느 특정영역에서는 대형언어모델(LLM)보다

뛰어난 추론 능력을 보이기도 합니다.

​

2023년 11월에 공개된

마이크로소프트의 경량언어모델 '오르카2(Orca2)'의

경우 70억 매개변수의 '오르카2-7B'와

130억 매개변수의 '오르카2-13B'로

구분되는데요.

​

​

마이크로소프트 측에서는

"오르카2의 개선된 훈련방법이

더 작은 언어 모델이 일반적으로

훨씬 더 큰 언어 모델의 추론 능력을

능가할 수 있다는 것을 입증한다"고

주장했는데요.

​

오르카2는 '라마2(Llama2)' 기반 모델을

고도로 맞춤화된 합성 데이터셋에서

미세조정하였는데,

​

데이터셋은 오르카2에게 단계별,

회상후 생성, 회상-이유-생성, 직접 답변 등

다양한 추론 기술을 가르치고,

동시에 각 작업에 대해

가장 효과적인 추론 기술을 결정하는

방법을 훈련했다고 합니다.

​

​

그 결과 오르카2 모델은 언어 이해,

상식 추론, 다단계 추론, 수학 문제 해결,

독해, 요약 및 진실성 등

15개의 다양한 주제를 다루는

일련의 벤치마크에서

파라미터의 크기가 5~10배가 더 큰

'라마2(Llama2)'나 '위저드LM(WazardLM)'보다

뛰어난 성능을 보인다고 합니다.

​

---

​

국내 AI스타트업인 '업스테이지'는

자체 LLM인 '솔라'를 구현할 때

작을 모델을 쪼개고 합치면서

최적의 성능을 내는 비율을

찾아냈다고 하는데요.

​​

107억개의 파라미터에 불과한 크기로

오픈소스 AI 모델의 글로벌 경연장인

'허깅페이스 리더보드'에서

1위를 차지하기도 했습니다.

​

​

---

​

이제는 하드웨어의 규모로 경쟁하는 단계에서

다양한 하드웨어에 얼마나 적합하게

모델을 경량화하고 최적화하느냐에

온디바이스 AI의 경쟁력이 달려있고,

온디바이스 AI기술이야 말로

다양한 분야에 AI가 적용되는데에 있어

가장 핵심적인 기술이라고

볼 수가 있겠습니다.