- 분류
- 호남권연구본부
병렬 NPU 기반 멀티 AI 모델 운영을 위한 온디바이스 AI 플랫폼
-
TRL09
사업화
- 본격적인 양산 및 사업화 단계
-
TRL08
시작품 인증/표준화
- 일부 시제품의 인증 및 인허가 취득 단계
- 조선 기자재의 경우 선급기관 인증, 의약품의 경우 식약청의 품목 허가 등
- 일부 시제품의 인증 및 인허가 취득 단계
-
TRL07
Pilot 단계 시작품 신뢰성 평가
- 시작품의 신뢰성 평가
- 실제 환경(수요기업)에서 성능 검증이 이루어지는 단계
-
TRL06
Pilot 단계 시작품 성능 평가
- 경제성(생산성)을 고려한, 파일로트 규모의 시작품 제작 및 평가
- 시작품 성능평가
-
TRL05
시제품 제작/ 성능평가
- 개발한 부품/시스템의 시작품(Prototype) 제작 및 성능 평가
- 경제성(생산성)을 고려하지 않고, 우수한 시작품을 1개~수개 미만으로 개발
-
TRL04
연구실 규모의 부품/시스템 성능평가
- 연구실 규모의 부품/시스템 성능 평가가 완료된 단계
- 실용화를 위한 핵심요소기술 확보
-
TRL03
연구실 규모의 성능 검증
- 연구실/실험실 규모의 환경에서 기본 성능이 검증될 수 있는 단계
- 개발하려는 시스템/부품의 기본 설계도면을 확보하는 단계
- 모델링/설계기술 확보
-
TRL02
실용 목적의 아이디어/특허 등 개념 정립
- 실용 목적의 아이디어, 특허 등 개념 정립
-
TRL01
기초 이론/실험
- 연구과제 탐색 및 기회 발굴 단계
기술설명
- 기술 개요
▣ 단일/복수개의 NPU가 탑재되어 다중의 AI 모델 추론 연산에 대하여 직렬/병렬처리를 지원하는 온디바이스 AI HW/SW 플랫폼
▣ 시각/시계열/언어 지능 AI 모델 직렬/병렬 추론 서비스를 지원함으로써 복잡한 AI 응용서비스를 단일 온디바이스 AI 플랫폼에서 실시간으로 제공하는 SW
<병렬 NPU 기반 온디바이스 AI 공용 플랫폼>
<다중 AI 모델 기반 시각지능 서비스 최적화 기술>
- 특징 및 장점
▣ [세부1: 병렬 NPU 기반 온디바이스 AI 공용 하드웨어 플랫폼]
- 복수개의 경량 AI 가속기를 활용하여 실시간 AI 추론 연산을 병렬 처리할 수 있는 온디바이스 AI HW 플랫폼
▣ [세부2: 다중 AI 모델 활용 시각지능 서비스 최적화 기술]
- 다중 AI 모델 추론이 포함되어 있는 복잡한 시각지능 응용서비스를 실시간으로 제공 가능한 시각지능 서비스 최적화 SW 기술
▣ [세부3: 경량 NPU 기반 시계열 데이터 추론 SW 기술]
- IoT 센서 데이터 기반 시계열 추론 지원을 통해 응용 서비스 효율성을 극대화 하는 시계열 데이터 추론 SW 기술
▣ [세부4: 인공지능과의 대화를 위한 온디바이스 ALT 시스템 기술]
- 음성으로 입력되는 사용자의 질문을 이해하고 답변을 제공하기 위한 ALT 파이프라인* 프레임워크 기술
*[ALT 파이프라인] Automatic Speech Recognition-Large Language Model-Text To Speech 의 3개 모델 동작하는 파이프라인
<경량 NPU 기반 시계열 데이터 추론 SW 기술>
<온디바이스 ALT(ASR-LLM-TTS) 시스템 기술 >
- 비즈니스 아이디어
▣ 시각/시계열/언어 지능이 필요한 모든 AI 서비스에 활용 가능하며, 특히 거대 AI 모델보다 다수개의 중/소 규모 AI 모델을 조합하여 제공하는 형태의 AI 서비스 대체에 효과적임.
▣ 전기차 충전소, 무인 점포, 축산 환경, 과수 재배 환경 및 음성기반 AI 어시스턴트 등 다양한 AI 서비스 분야에서의 운영 효율화 가능
- 시장동향
▣ 2025년 약 249억 달러 에서 2033년 약 1,186억 달러로 성장 전망 (CAGR 21.7%)
▣ IoT 확산 및 실시간 데이터 처리 수요 증가에 따라 온디바이스 AI 및 NPU 기반 추론 기술 수요가 빠르게 증가 중
▣ 멀티 AI 모델 병렬처리 기술은 스마트시티, 산업 자동화, 모빌리티 등 다양한 분야에서 핵심 인프라로 활용 확대될 예정
- 기술이전 범위 및 내용
▣ 병렬 NPU기반 온디바이스 AI 공용 하드웨어 플랫폼 (HW)
* 병렬형 엣지 AI 가속기 모듈 구조설명서포함 기술문서 7건
* SW 기술과 세트기술로 단독기술이전 불가
▣ 다중 AI 모델 활용 시각지능 서비스 최적화 기술 (SW)
* 온디바이스 AI 가속장치 활용 다중 AI 모델 추론 병렬처리 기술 상세설계서 포함 기술문서 7건
* HW 플랫폼 기술과 세트 기술로 총 2.0천만원
▣ 경량 NPU 기반 시계열 데이터 추론 기술 (SW)
* 시계열 데이터 추론 모델 활용 AI 기술 SW 상세설계서 포함 기술문서 7건
* HW 플랫폼 기술과 세트 기술로 총 2.0천만원
▣ 인공지능과의 대화를 위한 온디바이스 ALT 시스템 기술 (SW)
* ASR-LLM-TTS 플랫폼 HW/SW 상세 설계서 포함 기술문서 5건
* HW 플랫폼 기술과 세트 기술로 총 2.5천만원