왜 구글은 엔비디아를 손절하고 TPU를 직접 만들었을까?

챗GPT가 세상에 나왔을 때 모두가 엔비디아의 그래픽 카드(GPU)를 구하지 못해 발을 동동 구를 정도였습니다. 그런데 참 이상한 일이 있습니다. 인공지능 기술력으로 세계 1, 2위를 다투는 구글은 이 흐름에 온전히 탑승하지 않았습니다.

오히려 구글은 아주 오래전부터 조용히, 그리고 치밀하게 자신들만의 반도체인 TPU를 개발해 왔습니다. 남들이 엔비디아에 줄을 설 때 구글은 왜 막대한 개발비와 위험 부담을 안고 독자 노선을 선택했을까요.

감당할 수 없는 비용 청구서

가장 현실적이면서도 결정적인 이유는 바로 돈입니다. 엔비디아의 GPU는 성능이 뛰어난 만큼 가격도 엄청납니다.

특히 데이터센터에 들어가는 H100이나 H200 같은 칩셋 하나가 수천만 원을 호가합니다. 구글처럼 전 세계 수십억 명의 사용자에게 검색, 번역, 유튜브 추천, 그리고 제미나이 같은 AI 서비스를 제공해야 하는 기업 입장에서 생각해 봅시다.

만약 이 모든 서비스를 돌리기 위해 엔비디아의 GPU를 사다 쓴다면 어떻게 될까요. 아마 구글이 버는 돈의 상당 부분을 엔비디아에게 하드웨어 구매 비용으로 지불해야 했을 겁니다.

엔비디아의 높은 마진을 고스란히 챙겨주는 꼴이 됩니다. 구글은 계산기를 두드려봤을 겁니다.

앞으로 AI 시대가 오면 칩이 수만 개, 아니 수백만 개가 필요할 텐데 이걸 다 사서 쓰는 건 불가능하다는 결론에 도달한 것입니다.

차라리 그 돈으로 우리에게 딱 맞는 칩을 직접 만들면, 초기 개발비는 들더라도 장기적으로는 천문학적인 비용을 아낄 수 있다고 판단했습니다. 이것이 바로 TPU 탄생의 가장 큰 경제적 동기입니다.

엔비디아의 GPU는 아주 성능 좋은 스포츠카와 같습니다. 고속도로도 잘 달리고, 시내 주행도 잘하고, 비포장도로도 어느 정도 달릴 수 있습니다.

게임도 하고, 그래픽 작업도 하고, AI 연산도 할 수 있도록 범용적으로 만들어졌기 때문입니다. 하지만 범용적이라는 말은 반대로 말하면, 특정 작업 하나만을 위해 최적화되지는 않았다는 뜻이기도 합니다.

반면 구글이 원한 건 오직 F1 서킷만 달리는 경주용 자동차였습니다. 구글은 자신들의 AI 프레임워크인 텐서플로우(TensorFlow)에 완벽하게 맞춰진 하드웨어가 필요했습니다.

게임 기능도 필요 없고, 그래픽 렌더링 기능도 필요 없습니다. 오직 행렬 연산만 미친 듯이 빨리 처리하면 그만이었습니다.

구글은 불필요한 기능이 잔뜩 들어간 비싼 GPU를 쓰는 대신, 딥러닝 학습과 추론에 불필요한 회로를 싹 걷어내고 오직 인공지능 연산 효율만을 극대화한 TPU를 설계했습니다.

덕분에 칩의 크기는 줄이면서도, 자신들이 원하는 특정 연산에서는 GPU보다 월등한 효율을 뽑아낼 수 있게 되었습니다.

2026년 현재, 데이터센터의 가장 큰 골칫덩어리는 바로 전기세와 발열입니다. AI 모델이 거대해지면서 전기를 그야말로 물 쓰듯이 쓰고 있습니다.

엔비디아의 고성능 GPU들은 성능만큼이나 전기를 많이 먹기로 유명합니다. 전기를 많이 쓴다는 건 그만큼 열이 많이 난다는 뜻이고, 그 열을 식히기 위해 에어컨을 더 세게 틀어야 하니 비용이 이중으로 들어갑니다.

구글의 TPU는 태생부터 이 전력 효율(Performance per Watt)을 염두에 두고 만들어졌습니다.

GPU가 메모리와 연산 장치 사이를 바쁘게 오가며 데이터를 나르는 동안, TPU는 칩 내부에서 데이터가 물 흐르듯 지나가며 연산이 끝나는 구조(Systolic Array)를 채택했습니다.

이 차이는 거대합니다. 같은 양의 AI 공부를 시킬 때, TPU를 사용하면 GPU 대비 훨씬 적은 전기로 끝낼 수 있습니다. 친환경을 강조하고 운영 비용을 낮춰야 하는 구글 입장에서는 포기할 수 없는 강점입니다.

이 복잡한 관계를 한눈에 이해하기 쉽게 표로 정리해 드립니다.

비교 항목	엔비디아 (GPU 전략)	구글 (TPU 전략)
비즈니스 모델	칩을 만들어 전 세계 모든 기업에 판매	자사 서비스(검색, AI) 가속 및 클라우드 대여
핵심 철학	어떤 작업이든 가능한 강력한 범용성	딥러닝 연산에만 집중한 극한의 효율성
접근성	누구나 구매하여 개인 PC나 서버에 장착 가능	칩만 따로 살 수 없음, 구글 클라우드를 통해서만 사용
소프트웨어	쿠다(CUDA) 생태계를 통한 강력한 호환성	텐서플로우(TensorFlow), JAX 등 자사 프레임워크 최적화
2026년 목표	압도적 성능으로 시장 점유율 1위 유지	자사 AI(제미나이 등)의 운영 비용 최소화 및 속도 향상

결과적으로 구글의 선택은 현명했습니다. 만약 구글이 TPU 없이 100퍼센트 엔비디아에만 의존했다면, 지금의 제미나이 같은 거대 언어 모델을 무료나 저렴한 가격에 대중에게 공개하기 어려웠을 것입니다.

운영 비용이 감당이 안 되었을 테니까요. 또한 전 세계적인 반도체 품귀 현상 속에서도 구글은 자체 생산 라인을 통해 비교적 안정적으로 컴퓨팅 파워를 확보할 수 있었습니다.

물론 구글이 엔비디아를 완전히 손절한 것은 아닙니다. 구글 클라우드(GCP)에 들어가 보면 여전히 엔비디아의 최신 GPU를 빌려 쓸 수 있습니다.

고객들이 원하기 때문입니다. 하지만 구글은 자신들의 핵심 무기인 검색 알고리즘과 초거대 AI 모델을 돌리는 뒷단에서는 조용히, 그리고 강력하게 자신들이 만든 TPU를 가동하고 있습니다.

구글이 TPU를 만든 것은 단순한 기술 과시가 아니라, AI 시대의 주도권을 뺏기지 않기 위한, 그리고 살아남기 위한 처절하고도 똑똑한 생존 본능의 결과물이었습니다.

구글의 제미나이 최신 버전과 그와 연동된 서비스들이 공개되자 챗GPT 주도의 시장이 한번에 뒤집히는 시장의 변화가 감지되었습니다.

챗GPT 개발사 오픈AI는 위기감을 느끼고 TPU 개발에 참여한 구글 직원 출신이 설립한 회사 그록을 29조원에 인수하게 됩니다. AI 시대의 초기 선점 경쟁이 치열해지는 상황으로 보입니다.