인공지능(AI) 반도체 시장의 절대 강자 엔비디아(NVIDIA)의 독주 비결은 단순히 뛰어난 GPU 하드웨어에만 있지 않다. 진짜 핵심은 전 세계 600만 명 이상의 개발자를 묶어둔 소프트웨어 생태계, 바로 CUDA(쿠다)다. 20년 가까이 쌓아 올린 CUDA의 진입장벽 덕분에 빅테크 기업들조차 울며 겨자 먹기로 비싼 엔비디아 칩을 사들여야 했다.
하지만 최근 이 견고한 CUDA의 지배력에 가장 실질적인 위협을 가하고 있는 존재가 있다. 바로 구글(Google)의 자체 AI 칩 ‘TPU(Tensor Processing Unit)’와 그 소프트웨어 생태계다. 구글 TPU가 어떻게 엔비디아의 아성을 흔들고 있는지, 그리고 투자자 관점에서 주목해야 할 핵심 포인트와 ‘HBM(고대역폭 메모리) 불변의 법칙’을 함께 정리한다.
1. 엔비디아 CUDA가 무적이었던 이유
CUDA는 개발자가 GPU의 병렬 연산 능력을 쉽게 끌어다 쓸 수 있게 해주는 프로그래밍 플랫폼이다. 수많은 AI 라이브러리, 프레임워크, 오픈소스 코드가 CUDA를 기준으로 최적화되어 있어, 다른 칩으로 갈아타려면 코드를 처음부터 다시 짜야 하는 막대한 전환 비용(Lock-in 효과)이 발생한다. 이 때문에 AMD나 인텔 등이 훌륭한 하드웨어를 내놓고도 소프트웨어 장벽을 넘지 못해 고전해 왔다.
2. 구글 TPU의 반격: 하드웨어와 소프트웨어의 수직 계열화
구글은 2015년부터 딥러닝 연산만을 위해 특화 설계된 맞춤형 반도체(ASIC)인 TPU를 자체 데이터센터에 투입해 왔다. 최근에는 단일 연도에 4종의 신규 TPU 시스템을 연이어 선보이며 세대 교체 속도를 엔비디아 수준으로 끌어올리고 있다.
여기에 구글은 CUDA에 의존하지 않는 독자적인 소프트웨어 스택을 완성하며 판도를 바꾸고 있다.
- JAX와 XLA 컴파일러: 고성능 수치 연산 라이브러리 JAX와 머신러닝 컴파일러 XLA는 개발자가 복잡한 하드웨어 구조를 직접 몰라도 코드를 TPU 아키텍처에 맞게 최적화해 준다.
- 오픈소스 TorchTPU와 PyTorch 지원: 과거에는 텐서플로우만 TPU에서 잘 돌아간다는 한계가 있었으나, 오픈소스 TorchTPU를 통해 파이토치(PyTorch) 호환성을 대폭 끌어올리며 기존 CUDA 개발자들의 진입 장벽을 낮추고 있다.
3. 탈(脫)엔비디아를 꿈꾸는 빅테크들의 선택지
- 검증된 초거대 모델 레퍼런스: 구글의 최신 AI 모델인 제미나이(Gemini) 시리즈는 엔비디아 GPU가 아니라 100% 구글 TPU 클러스터에서 학습되고 구동된다. 초거대 AI도 CUDA 없이 구축 가능하다는 강력한 증거다.
- 외부 AI 선도 기업들의 도입: 오픈아이의 최대 라이벌인 앤트로픽(Anthropic)을 비롯해 애플, 미드저니 등 주요 AI 기업들이 구글 클라우드의 TPU를 대규모로 도입해 모델을 학습·추론시키고 있다.
4. 투자자 입장에서 바라본 핵심 포인트와 ‘HBM 불변의 법칙’
① 엔비디아 vs 구글, 그리고 뗄 수 없는 ‘HBM(고대역폭 메모리)’
엔비디아의 GPU든, 구글의 맞춤형 TPU든 아키텍처나 소프트웨어가 어떻게 경쟁하든 상관없이 AI 반도체 시장에서 절대 변하지 않는 대원칙이 있다. 바로 “어떤 칩을 쓰든 HBM은 무조건 대량으로 써야 한다”는 점이다. (그럼 메모리는 계속 가는건가?)
- 초거대 AI 모델의 학습과 추론 과정에서 발생하는 데이터 병목 현상을 해결할 수 있는 유일한 대안은 HBM뿐이다. 엔비디아의 지배력이 흔들리거나 빅테크들이 구글 TPU 같은 자체 ASIC(주문형 반도체) 비중을 늘리더라도, SK하이닉스, 마이크론, 삼성전자 등 HBM 선도 기업들의 칩 수요는 줄어들지 않고 오히려 판가름의 핵심 자산으로 남게 된다.
② ASIC(맞춤형 칩) 생태계의 최대 수혜: 브로드컴(Broadcom)
구글은 TPU를 직접 설계하지만, 물리적 설계와 고속 네트워킹 구현은 파트너사에 맡긴다. 구글 TPU의 핵심 파트너인 브로드컴은 구글 TPU 출하량 급증과 오픈아이·메타 등의 자체 칩 수주가 겹치며 구조적 수혜를 입고 있다.
③ 알파벳(GOOGL)의 수익성 개선 및 밸류에이션 재평가
자체 TPU를 활용함으로써 외부에 지불하는 GPU 구매 비용(CapEx)을 줄이고 클라우드 영업이익률을 극대화하는 수직 계열화 모델이 완성되고 있다.
요약
| 구분 | 엔비디아 (GPU + CUDA) | 구글 (TPU + JAX/TorchTPU) |
| 핵심 강점 | 압도적인 범용성, 600만 개발자 생태계 | AI 연산 특화 설계, 뛰어난 전성비와 가성비 |
| 소프트웨어 | CUDA (업계 표준, 강력한 락인 효과) | JAX, XLA, 오픈소스 TorchTPU (이식성 개선) |
| 공통 분모 | HBM 필수 탑재 | HBM 필수 탑재 |
| 주요 투자 포인트 | AI 인프라 절대 강자, 이익률 방어 여부 | 알파벳 마진 개선, 브로드컴 등 ASIC 파트너 및 HBM 공급사 수혜 |
결국 AI 반도체 시장은 엔비디아의 독점에서 ‘범용 GPU + 맞춤형 ASIC’의 양강 구도로 진화하고 있다. 승패가 어떻게 갈리든 HBM과 첨단 패키징(TSMC 등)이라는 ‘핵심 인프라’는 양쪽 모두에 무조건 쓰일 수밖에 없다는 점이 투자 관점에서 가장 안전하고 강력한 투자 포인트다.
엔비디아, 구굴 누가 되도 HBM은 써야됨