유재윤 에너자이 CTO “엣지 AI는 양자화 넘어 풀스택 최적화 향할 것”

엣지 AI란 데이터를 스마트폰, 사물인터넷 센서, 자율주행차 등 현장의 장치에서 직접 AI로 처리하는 기술이다. 몇년 전만 해도 엣지AI는 성능의 한계가 분명해 카메라 객체 인식, 음성 인식, 노이즈 제거 등 가벼운 수준의 모델을 운용하는 수준이었지만 최근에는 모델 양자화 기법이 기본으로 자리잡으면서 엣지 AI 기기에서도 소형언어모델(sLLM)을 운용하는 방식이 주목받고 있다.

LLM을 탑재하면서 정해진 기능을 수행하는 기기에서 상황을 이해하고 판단해 여러 기능을 응용하는 기기로 발전한 것이다.이에 엣지AI용 모델양자화 기법을 개발