NPU (Neural Processing Unit): 엣지 AI 칩
NPU, Neural Processing Unit, AI accelerator, 엣지 AI
정의
NPU (Neural Processing Unit) 는 모바일/엣지 디바이스용 저전력 AI 가속기. 스마트폰, 노트북, IoT 에 내장.
특징
- 저전력: 배터리 구동 (수 W ~ 수십 W)
- 정수 연산 위주: INT8, INT4 로 추론 최적화
- 온디바이스 추론: 개인정보 보호, 지연시간 낮음
대표 NPU
스마트폰
- Apple Neural Engine (ANE): A11 (2017) 부터, M-series 도 내장. 15.8 TOPS (A16).
- Qualcomm Hexagon: Snapdragon 내장
- Google Tensor: Pixel 시리즈, TPU 아키텍처 계승
PC
- Intel NPU (Meteor Lake+, 2024): 저전력 AI 워크로드 처리
- AMD XDNA: Ryzen AI 라인
- Apple Silicon: M-series 내장 ANE
자율주행 / 로봇
- NVIDIA Jetson: 엣지 서버급
- Google Coral (Edge TPU): USB / M.2 형태
GPU 와의 차이
| 항목 | GPU | NPU |
|---|---|---|
| 유연성 | 학습 + 추론 | 추론 위주 |
| 정밀도 | FP16/32 학습 | INT4/8 추론 |
| 전력 | 100-700W | 1-20W |
| 지연시간 | 배치 대기 | 즉각 처리 |
사용
- 얼굴 인식 (Face ID)
- 사진 처리 (Portrait mode, Deep Fusion)
- 음성 인식 (Siri, Google Assistant 온디바이스)
- 실시간 번역
- LLM 온디바이스 (Apple Intelligence, Copilot+)
참고
이 글의 용어 (4개)
- 모델 양자화ml
- 정의 양자화 (Quantization) 는 신경망 모델의 가중치/활성화를 높은 정밀도 (FP32, FP16) 에서 낮은 정밀도 (INT8, INT4 등) 로 변환하여 메모리와 연…
- Federated Learning: 분산 학습 without central dataml
- 정의 Federated Learning (FL) 은 데이터를 중앙에 모으지 않고 각 클라이언트 (edge device, 병원, 은행 등) 가 로컬 데이터로 모델을 학습한 뒤 모델…
- GPU: 그래픽/ML 병렬 프로세서ml
- 정의 GPU (Graphics Processing Unit) 는 원래 그래픽 렌더링용이었지만, massively parallel 아키텍처가 딥러닝과 HPC 에도 이상적. NVID…
- TPU (Tensor Processing Unit): Google 의 ML ASICml
- 정의 TPU (Tensor Processing Unit) 는 Google 이 딥러닝 워크로드용으로 만든 ASIC (application-specific IC). 2015 년 v1…
💬 댓글