[IT News] 온디바이스 AI (엣지 AI (Edge AI))

NEWSPAPER

https://n.news.naver.com/mnews/article/015/0004933796

7초면 그림 그리는 이미지 AI…실시간 소음제거 이어폰

7초면 그림 그리는 이미지 AI…실시간 소음제거 이어폰

온디바이스 AI로 '유니콘' 도전AI 산업은 크게 두 가지 축으로 나뉜다. 오픈AI, 마이크로소프트, 구글, 메타처럼 자체 AI 모델을 개발하고 이를 토대로 초거대 AI 플랫폼을 구축하려는 빅테크가 주류다. 전문가들은 다양한 AI 기반 응용 서비스 시장도 이에 못지않게 중요하다고 보고 있다. 이 분야에선 스타트업이 강점을 갖기 마련이다.자율주행 기업, 배송 로봇 플랫폼도 앞다퉈 온디바이스 AI를 채택하고 있다. 뷰런테크놀로지는 이번 CES에서 차세대 라이다 첨단운전자보조시스템(ADAS) 솔루션 ‘뷰원’을 공개한다. 운전자 졸음 모니터링 솔루션을 개발한 이스라엘의 치피아는 ‘엔비디아 드라이버’ 시스템온칩(SoC)에 최적화한 임베디드 제품을 CES에서 공개할 예정이다.

기존 그래픽처리장치(GPU)보다 전력 효율이 높은 신경망처리장치(NPU) 관련 스타트업도 주목받고 있다. 딥엑스는 CES에서 ‘올인포 AI 토털 솔루션’을 공개하고 스마트 카메라, 모빌리티, 로봇, 가전에 적용하는 시연 행사를 연다. CES 참가 기업은 아니지만 경량화 솔루션에선 스퀴즈비츠가 기대주다. 포스텍 출신 NPU 전문가들이 설립한 이 회사는 초거대 이미지 생성형 AI 모델인 ‘스테이블 디퓨전’을 클라우드 접속 없이 스마트폰에서 구동해 7초 만에 그림을 그려낼 수 있도록 가볍게 만들었다. 셀카 사진을 클라우드 서버로 전송할 필요가 없어 개인정보 보호 측면에 강점이 있다는 평가를 받는다.

CES 2024에 참가한 가우디오랩은 실시간으로 소음을 제거하는 AI 음원 분리 기술로 CES 혁신상을 받았다. 이 회사는 이어폰 등에 적용할 수 있는 온디바이스 기술을 개발 중이다. 오현오 가우디오랩 대표는 “개인 맞춤형 소리를 원하는 수요가 점점 커지고 있다”며 “사적인 대화의 경우 서버에 저장하면 프라이버시 이슈가 생길 수 있어 온디바이스 AI가 필요하다”고 설명했다.

온디바이스 인공지능(AI) 시장에 스타트업도 속속 뛰어들고 있다. 실시간으로 소음을 제거하는 AI 기능이 들어간 이어폰, 7초 만에 원하는 이미지를 스마트폰에서 구현하는 기술 등이 주목받고 있다.

 

추가 조사

• CES 2024: 세계 최대 IT, 가전 전시회
• 온디바이스 AI란? (Edge AI)

→ 클라우드나 원격 서버를 거치지 않고, 기기 자체에서 AI 서비스를 실현하는 기술→ 디바이스(On-device) AI는 이름 그대로 멀리 떨어진 클라우드 서버를 거치지 않고 스마트기기 자체적으로 정보를 수집하고 연산할 수 있음

• 관련 링크https://contents.premium.naver.com/kbd/kabalstory/contents/230802023721256uw
• https://news.samsungsemiconductor.com/kr/차세대-딥러닝-기술-온-디바이스on-device-ai란/

[온디바이스 AI #1] #온디바이스AI 개념의 이해

차세대 딥러닝 기술 ‘온 디바이스(On-Device) AI’란?

• NPU: 신경망 처리 장치→ 최근 출시되는 스마트폰에는 NPU를 탑재한 제품들이 많이 등장하고 있으며, 아이폰 시리즈에는 ‘Neural Engine’이라는 이름으로 탑재되어 있고, 스마트폰용 SoC인 ‘스냅드래 (Snapdragon)’에도 NPU를 탑재한 모델이 존재

→ 대량의 연산을 동시에 수행하는 처리에 특화. 또한, NPU는 머신러닝 전용으로 설계된 칩이기 때문에 GPU보다 더 효율적으로 연산을 수행할 수 있음. 반면 NPU는 머신러닝 전용 설계 칩이기 때문에 CPU나 GPU처럼 다양한 용도로 사용할 수 없다는 단점있음.

→ 별도의 네트워크가 필요 없기 때문에 인터넷 연결이 어려운 상황에서도 실시간 번역과 같은 작업이 가능합니다.

→ 서버와 연결되지 않기 때문에 데이터센터에 투입되는 인프라 비용 절감이 가능하며, 개인 정보가 서버를 통해 유출될 확률이 적어 보안 측면에서도 우수

 

 

REVIEW

• 본문 및 추가 조사 요약
  • 온디바이스 AI → 인터넷 없이 NPU를 탑재하여 기기안에서 생성형 AI 활용할 수 있도록 하는 기술
  • 삼성, 애플뿐만 아니라 많은 스타트업 기업들이 해당 기술을 활용한 사업 진행 중
  • Stable diffusion 7초만에 구동 / 음원 분리 기술을 통해 개인 맞춤형 소리 서비스 / 아이폰 16에 음성 비서 시리 업데이트하여 적용 / 갤러시, 버즈에 AI 온디바이스 탑재 → 개인 비서 역할
  • 비용 절감, 인터넷 없이 자체 AI 서비스 사용 가능, 보안 장점
• 깨달은 점 + 적용할 점
  • 온디바이스 AI 적용을 위해서는 NPU 사용 역량 필요 → small data 사용 역량 필요
  • 데이터 수집 및 확보 (augmentation)도 중요하지만 데이터에서 의미있는 정보를 발굴하는 역량 필요
  • 분산 처리 역량에 대한 중요성 강조