‘GPU+HBM 조합’만 있을쏘냐…AI 반도체 시장 대안 찾기 속으로

팹리스들 엔비디아 GPU 주도 속 NPU 틈새 공략…메모리 반도체 기업들도 LPDDR 기술 경쟁

[일요신문] 엔비디아가 주도하는 인공지능(AI) 반도체 시장에서 전 세계 반도체 기업들이 대안 찾기에 분주하다. 반도체 설계(팹리스) 후발주자들은 그래픽처리장치(GPU) 대신 신경망처리장치(NPU)를 개발하며 시장의 틈새를 노리고 있다. 엔비디아 등에 공급할 고대역폭메모리(HBM)에 집중해 온 메모리 반도체 업체들도 저전력 D램(LPDDR) 기술 개발을 통해 새로운 도전에 나서고 있다. 

#추론용에 적합한 NPU 개발 속도 

NPU 팹리스 스타트업들의 움직임이 활발하다. SK텔레콤 자회사 사피온과 최근 합병한 리벨리온이 대표적이다. 리벨리온은 올해 NPU ‘아톰’을 양산한 데 이어 이르면 올해 말 대규모 언어모델(LLM)을 지원하는 차세대 NPU ‘리벨’을 내놓을 예정이다. 모빌린트·퓨리오사AI·딥엑스 등 국내 팹리스 스타트업도 NPU 양산에 속도를 내고 있다. 영국 그래프코어, 미국 세레브라스 등도 NPU 신제품을 잇달아 출시하고 있다.

리벨리온은 이르면 올해 말 대규모 언어모델(LLM)을 지원하는 차세대 NPU ‘리벨’을 내놓을 예정이다. 사진=리벨리온 제공

NPU는 인간의 두뇌를 모방한 칩이다. 뇌 신경세포가 연결돼 서로 신호를 주고받으며 작업을 진행하듯, NPU는 칩 안에서 신호를 주고받으며 정보를 처리한다. 통신망 없이 여러 개의 연산을 실시간으로 처리한다. AI 반도체는 어떤 용도로 시스템을 구현하느냐에 따라 학습용과 추론용으로 구분된다. 엔비디아 GPU가 학습용에 초점을 맞췄다면 NPU는 추론용을 중심으로 개발되고 있다.

글로벌 AI 반도체 시장의 90%는 엔비디아가 장악하고 있다. 엔비디아 GPU는 고용량 데이터 병렬 연산에 강점이 있다. 챗GPT 등 LLM 구동에 필수적이다. GPU 기반 AI 칩은 다양한 AI 서비스 구현이 가능해 범용성이 높다. 하지만 가격이 비싸고 전력소모가 커 효율이 떨어지는 단점이 있다. 최근 공급 부족으로 엔비디아 GPU 대기 시간이 길어지고 있다.

NPU 팹리스 기업들은 NPU가 GPU를 보완 내지 일부 대체할 수 있다고 보고 있다. NPU는 GPU보다 성능은 낮다. 하지만 가격이 GPU 10분의 1 수준으로 알려졌다. NPU는 설계 시점부터 특정 분야별로 특화되기 때문에 GPU보다 전력 효율이 높다. NPU를 개발 중인 국내 한 팹리스 관계자는 “추론용 시장에서는 AI 서비스나 제품을 내놓고 싶은 기업들은 전력·비용·스펙 등 전략에 따라 각 도메인에 맞는 특화된 칩이 필요하다”고 설명했다.

현재 NPU는 엔비디아 GPU처럼 AI 데이터센터(서버)용으로 개발되거나, 스마트폰·차량·PC 등 디바이스와 소규모 서버 등 엣지디바이스용으로 개발되고 있다. 삼성전자나 퀄컴 등 스마트폰용 AP 설계 능력을 보유한 기업들도 독자 개발한 NPU를 PC나 스마트폰에 탑재하기 시작했다. 모바일 기기가 자동으로 AI 연산을 할 수 있는 ‘온디바이스 AI’를 구현하기 위해서다. NPU 시장은 당장은 엣지디바이스용을 중심으로 성장이 점쳐진다.

엔비디아 GPU는 범용성이 높지만 가격이 비싸고 전력소모가 커 전력 효율이 떨어지는 단점이 있다. 미국 캘리포니아주 엔비디아 본사. 사진=연합뉴스

NPU가 주도하는 추론용 AI 반도체의 성장 전망은 긍정적이다. 이미혜 한국수출입은행 해외경제연구소 선임연구원은 보고서를 통해 “2023년 엔비디아의 데이터센터 사업 매출의 40% 이상이 추론에서 발생했다. 생성형 AI 서비스 확산으로 AI 반도체 성장의 축이 학습용 칩에서 추론용 칩으로 이동할 전망”이라고 밝혔다. 장은현 KDB미래전략연구소 산업기술리서치센터 전임연구원은 7월 발간한 산업동향 자료에서 “AI 반도체 수요는 AI 모델 학습을 위한 AI GPU 중심에서 추론을 위한 NPU 중심으로 점차 변화할 것으로 예상된다”고 말했다.

#삼성전자, LPDDR 탑재한 마하-1 개발 중

다른 한편에서는 HBM 대신 LPDDR의 역할이 늘어날 것이란 전망이 나온다. LPDDR은 전력 소모를 최소화한 D램이다. 예컨대 퓨리오사AI가 올 4분기 출시할 엣지디바이스용 NPU ‘레니게이드S’에는 LPDDR이 탑재될 전망이다. 딥엑스의 NPU ‘DX-H1’ 등에는 LPDDR이 장착됐다. 권영화 세종대 경영전문대학원 겸임교수는 “LPDDR도 대역폭을 높이기 위해 층을 쌓고 있다. 그만큼 성능이 더 좋아질 수 있는 것”이라고 말했다.

엔비디아에 공급할 HBM에 집중했던 메모리 반도체 기업들도 LPDDR 기술 경쟁에 한창이다. 지난 8월 삼성전자는 업계 최소 두께를 구현한 12나노(nm, 10억 분의 1m)급 LPDDR5X D램 12·16GB(기가바이트) 패키지 양산을 시작했다. 삼성전자는 LPDDR에 연산 기능을 더한 LPDDR5X-PIM도 내놓기로 했다. 지난해 11월 SK하이닉스는 초당 9.6Gb(기가바이트)로 데이터를 전송할 수 있는 LPDDR5T를 선보였다. SK하이닉스는 혁신적인 대역폭과 전력을 갖춘 LPDDR6도 개발 중이라 밝혔다.

메모리 반도체 기업들도 LPDDR 기술 경쟁에 한창이다. 삼성전자의 LPDDR5X D램. 사진=삼성전자 제공

서버에서도 LPDDR을 활용하려는 시도는 나오고 있다. 삼성전자는 네이버가 협업해 NPU 기반의 AI 가속기 ‘마하1’을 개발 중이다. 마하1에는 HBM 대신 LPDDR이 탑재된다. 지난 3월 삼성전자 정기주주총회에서 경계현 삼성전자 DS부문장 사장은 “여러 알고리즘을 써서 메모리와 GPU 사이에 발생하는 병목 현상을 약 8분의 1 정도로 줄인다”며 “HBM보다 LP 메모리를 써도 LLM 추론이 가능하도록 준비하고 있다”라고 밝혔다. AI 메모리 시장의 주도 제품인 HBM 점유율 면에서 SK하이닉스가 좀 더 우위에 있다. 삼성전자 입장에선 LPDDR로 AI 메모리 반도체 판에 변화를 꾀할 수 있다.

다만 AI 반도체 시장 중 엣지디바이스와 달리 서버 시장에서는 당분간 큰 변화를 기대하기는 어렵다는 것이 중론이다. 김정호 카이스트 전기 및 전자공학과 교수는 “NPU와 LPDDR 조합은 특정 모델에만 써야 한다. 엣지디바이스용 시장은 좀 열리겠지만 당분간은 GPU와 HBM 조합이 큰 시장이 될 것 같다”라고 말했다. 반도체 업계 한 관계자는 “GPU와 HBM 조합이 메인으로 계속 갈 듯하다. NPU와 LPDDR 조합은 하나의 가성비 모델 느낌인 듯하다”라고 밝혔다.

김명선 기자 [e-mail]