“차세대 AI의 병목은 GPU가 아니라 CPU”라는 말이 반도체 공학계와 시장 분석가들 사이에서 심심찮게 들린다. 이 주장이 단순한 반전 서사인지, 아니면 기술 구조의 진짜 변화를 가리키는 신호인지를 찬찬히 살펴볼 필요가 있다.
GPU의 강점은 병렬 처리에 있다. 동일한 수식을 수만 개의 데이터에 동시에 적용하는 능력, 이것이 대규모 언어 모델 학습에 GPU가 절대적이었던 이유다. 우리가 ChatGPT에 질문을 던지고 답을 기다리던 시절, AI의 작동 방식은 본질적으로 단방향이었다. 프롬프트를 입력하면 텍스트를 출력한다. 이 구조에서 GPU는 타의 추종을 불허하는 주역이었다.
‘만약 A가 막혀 있으면 B로 우회하라’, ‘표가 이미지라면 외부 도구를 호출하라’와 같은 순차적 논리 처리와 시스템 제어는 애초에 CPU가 특화된 영역이다. 아무리 뛰어난 GPU라도 프라이팬이 전화를 걸어 재료를 주문할 수 없듯, 복잡한 판단과 조율의 역할은 구조적으로 CPU의 몫일 수밖에 없다.
이 현실은 수치로도 확인된다. 조지아공대와 인텔이 2025년 11월 발표한 논문에 따르면, 에이전틱 워크플로우에서 전체 지연 시간의 50%에서 많게는 90% 이상이 GPU가 아닌 CPU의 도구 처리 과정에서 발생한다. 수백만 달러를 들여 설치한 최신 GPU 서버가 실제로는 절반 이상의 시간을 그냥 대기하며 보내고 있다는 뜻이다.
업계에서는 이를 ‘GPU 기아(GPU Starvation)’라고 부른다. 아이러니하게도, 막대한 연산력을 자랑하는 GPU가 CPU가 넘겨줄 다음 명령을 기다리느라 제 능력을 발휘하지 못하는 것이다. 8차선 고속도로 끝에 1차선 톨게이트 하나가 놓인 형국이다. 그렇다면 톨게이트를 더 많이 세우면 해결될까. 안타깝게도 그렇지 않다.
이미 전력과 냉각 용량의 한계에 다다른 데이터센터에 발열 덩어리인 CPU를 추가로 밀어 넣을 물리적 공간도, 끌어올 전기도 없다. 수를 늘리는 것이 아니라 칩 설계 자체를 근본부터 바꿔야 하는 상황이다.
여기서 반도체 공학계가 내놓은 해법이 ‘후면 전력 공급(Backside Power Delivery)’ 기술이다. 기존 칩 내부에서는 데이터 신호선과 전력선이 같은 면에 스파게티처럼 뒤엉켜 있어, 전기가 복잡한 경로를 통과하는 과정에서 저항에 의한 전압 강하(IR Drop)가 발생하고 그 손실은 고스란히 열로 바뀌었다.
인텔의 18A 공정이 구현한 이 기술은 전력망 전체를 웨이퍼 뒷면으로 옮겨버린다. 골목 안에 뒤엉킨 수도관과 가스관, 통신선을 지하로 매설하고, 골목 공간을 온전히 통행에만 쓰게 만드는 것과 같은 원리다. 전력 손실과 발열이 줄고, 칩 윗면에 생긴 여유 공간에는 AI 가속기와 고대역폭 메모리(HBM)를 수직으로 쌓아 올리는 3D 패키징이 가능해진다. 이는 단순한 공정 개선이 아니라, 물리적 한계를 우회하는 새로운 건축술이다.
시장은 이 변화를 예민하게 감지했다. 최근 인텔이 2026년 1분기 실적을 발표하자 주가는 하루 만에 23.7%를 뛰었다. 데이터센터와 AI 부문 매출이 전년 대비 22% 급등한 것이 방아쇠였다. 그러나 이 변화는 인텔 한 회사의 부활 이야기로만 읽히지 않는다. 엔비디아는 서버 CPU인 ‘베라(Vera)’를 출시하며 CPU 시장에 뛰어들었고, 35년간 IP 라이선스 사업만 해온 ARM은 처음으로 자체 AI 전용 CPU 개발을 선언했다.
아마존(그래비톤), 마이크로소프트(코발트), 구글(악시온) 같은 클라우드 기업들은 이미 자사 에이전트 트래픽에 최적화된 커스텀 CPU를 자체 설계해 상용 서비스에 투입하고 있다. 단일 하드웨어 독점에서 맞춤형 설계 파트너십으로 밸류체인이 재편되는 흐름이다.
이 모든 흐름을 균형 있게 보려면 몇 가지 냉정한 시선도 함께 유지해야 한다. CPU의 귀환이 GPU의 몰락을 의미하지는 않는다. 대규모 모델 학습이라는 토대는 여전히 GPU 없이 불가능하고, 추론 단계에서도 GPU의 역할은 사라지지 않는다.
다만 에이전틱 환경에서 시스템의 성능을 결정하는 병목이 이동했을 뿐이다. 또한 인텔의 18A 공정 상용화와 주가 반등이 기술적 실현 가능성을 모두 보장하는 것은 아니다. 반도체 공정 혁신은 발표와 양산 사이의 거리가 먼 분야다. 투자의 관점에서든 기술 전망의 관점에서든, 화려한 서사에 쓸려가기보다 실제 양산 일정과 수요의 구조적 변화를 따로 검증하는 태도가 필요하다.
어느 시대든 기술의 병목은 돈과 인재와 혁신을 그쪽으로 끌어당긴다. AI 인프라의 무게중심이 이동하고 있다는 신호는 분명하다. 중요한 것은 이 변화가 하드웨어 스펙표 안의 이야기로 끝나지 않는다는 점이다. 수십억 개의 AI 에이전트가 자율적으로 협업하는 세계가 현실이 될수록, 그 에이전트들의 권한을 어떻게 설정하고 충돌을 어떻게 조율할 것인가라는 질문이 기술 못지않게 중요해진다.
칩 설계의 병목은 공학으로 풀 수 있지만, 자율 에이전트들이 만들어낼 사회적 병목은 전혀 다른 종류의 설계를 요구한다. 에이전트가 의료 진단을 보조하고, 채용 후보를 걸러내고, 대출 심사를 처리하는 세상에서 그 판단이 잘못되었을 때 누가 책임을 지는가라는 질문에 우리는 아직 답을 갖고 있지 않다. AI 인프라의 변화를 바라보는 눈이 필요한 것은 투자자만이 아니라, 이 기술이 만들어낼 세계 속에서 살아갈 우리 모두다.
※외부필자의 칼럼은 본지의 편집방향과 다를 수 있습니다.
최윤석 마이크로소프트 Tech PM journalist@ilyo.co.kr