도구의 폭발과 인프라의 현실
AI 도구가 폭발하고 있습니다. 그 도구들이 어디서 돌아갈까요?
크리에이티브 AI 에이전트가 또 나왔습니다. 어떤 AI는 기획부터 실행까지 돕는 도구라고 합니다. 이게 이번 주에 나온 새 도구의 일부일 뿐입니다. 코딩에는 클로드 코드, 커서, 코덱스, gstack이 있고. 디자인에는 미드저니, Figma AI가 있고. 영상에는 Runway, Pika, Sora가 있고. 자동화에는 n8n, Zapier, Make가 있고. 에이전트 프레임워크에는 LangChain, AutoGen, CrewAI가 있고.
매주 새로운 도구가 쏟아집니다. 도구를 위한 도구가 나오고, 도구의 도구의 도구가 나옵니다. AI 도구의 우주가 끝없이 팽창하는 것처럼 보입니다.
그런데 이 풍요의 한가운데에서, 정작 그 모든 도구가 의존하는 진짜 토대는 위기에 빠져 있습니다. 데이터센터, GPU, 전력. 이 인프라가 흔들리면 그 위의 모든 도구가 작동하지 않습니다. 그리고 지금, 그 인프라가 흔들리고 있습니다.
2024년 칩 부족, 2026년 전력 부족
미국 GPU 클라우드 회사 GPUnex가 2026년 2월에 정리한 한 문장이 변화의 핵심을 보여줍니다. "2024년에는 AI 컴퓨트의 주된 제약이 칩 공급이었다. 엔비디아가 H100을 충분히 빨리 만들지 못했다. 2026년에는 제약이 전기로 옮겨갔다. GPU는 있다. 그것을 돌릴 전력이 없다." [Twitter](https://twitter.com/maekyungsns)
병목이 이동했습니다. 1년 전에는 "엔비디아 GPU를 못 구해서" 사업이 멈췄습니다. 지금은 "GPU를 꽂을 데이터센터에 전기가 부족해서" 사업이 멈춥니다.
블룸버그가 4월에 보도한 숫자가 이 충격을 보여줍니다. 2026년 미국에 가동 예정이었던 12~16GW 규모의 데이터센터 중 실제 착공에 들어간 것은 5GW에 불과합니다. 절반 가까이가 중단되거나 지연되고 있습니다.
OpenAI가 자랑하던 5,000억 달러(약 742조 원) 규모의 스타게이트 프로젝트도 멈췄습니다. 텍사스 현지의 전력과 인프라 문제 때문입니다. 샘 올트먼이 한국 대통령도 만나고 일본 총리도 만나면서 추진하던 그 거대 프로젝트가, 결국 전기 앞에서 발이 묶였습니다.
95% 채워진 데이터센터
미국 데이터센터의 가동률이 임계점에 도달했습니다. 2026년 말까지 주요 미국 시장의 데이터센터 점유율이 95%를 넘을 것으로 예상됩니다. 이건 서버가 가득 찼다는 뜻이 아니라 전력 용량이 전부 약속되어 있다는 뜻입니다. 신규 고객은 GPU 랙을 배치할 수 없습니다. 시설에 남은 전력 할당이 없기 때문입니다.
세계 최대 데이터센터 시장인 북부 버지니아의 상황은 더 심각합니다. 새 대규모 배치를 위한 유틸리티 연결 대기 시간이 3~5년을 넘습니다.
3~5년. AI 도구가 매주 새로 나오는 시대에, 그 도구가 돌아갈 데이터센터에 전기를 연결하는 데 3년이 걸린다는 겁니다.
이 격차가 만들어내는 풍경이 묘합니다. 한쪽에서는 매일 새로운 AI 도구가 발표됩니다. 다른 쪽에서는 그 도구가 돌아갈 물리적 기반이 부족합니다. 도구의 풍요와 인프라의 빈곤이 동시에 진행되고 있습니다.
도구가 폭발하면 추론 부하도 폭발합니다
이 이야기가 멀리 있는 이야기로 들릴 수 있습니다. "그건 OpenAI나 메타 같은 큰 회사 일이지"라고 생각할 수 있습니다. 하지만 본질을 따져보면, 모든 AI 도구가 결국 하나의 기반 위에서 돌아갑니다.
Luma AI든, 클로드든, 미드저니든, 모든 AI 도구는 결국 두 가지 중 하나입니다. 누군가의 GPU를 빌려 쓰거나(API), 자기가 GPU를 사서 돌리거나. 도구의 사용자가 늘면 추론(inference) 부하가 늘고, 추론 부하가 늘면 GPU와 전력에 대한 수요가 늘어납니다.
업타임 인스티튜트(Uptime Institute)의 2026년 전망이 이 구조를 정확히 짚습니다. "AI 컴퓨트 인프라가 소수 업체에 쏠리는 흐름은 향후 몇 년간 계속 강화될 것이다. 2026년 말까지 생성형 AI와 인접 워크로드를 운영하기 위해 전 세계 데이터센터에 약 10기가와트(GW)의 새로운 IT 부하가 추가될 것이다. 전 세계적으로 약 1,300만~1,500만 개의 GPU와 가속기가 배치된다는 의미다." [Mk-corp](http://mk-corp.co.kr/)
기업들이 AI 도구를 쓸수록, 그 도구가 의존하는 인프라는 점점 더 소수의 거대 사업자에게 집중됩니다. 이 인프라가 부족하면, 도구의 가격이 오르고, 응답 속도가 느려지고, 결국 도구를 쓸 수 없는 상황이 옵니다.
추론 시대의 새로운 병목
지금까지 AI 인프라 논의는 학습(training) 중심이었습니다. GPT-5나 클로드 오퍼스 같은 큰 모델을 만드는 데 필요한 막대한 컴퓨팅 자원. 그런데 이제 무게중심이 바뀌고 있습니다.
"AI 추론 워크로드가 학습을 추월하는 시점이 2027년으로 예상된다."
학습은 한 번 끝내면 됩니다. 추론은 계속 일어납니다. 사용자가 AI에게 질문할 때마다, 에이전트가 도구를 호출할 때마다, 이미지가 생성될 때마다 추론이 돌아갑니다. 도구가 많아질수록, 사용자가 늘어날수록, 추론 부하는 기하급수적으로 늘어납니다.
추론 인프라는 학습 인프라와 다른 특성이 있습니다. "AI 에이전트의 다단계 워크로드에서 초기 추론(연산 집약적), 디코딩(메모리 집약적), 도구 호출(네트워크 집약적) 등 단계별 특성에 맞는 칩에 자동으로 작업을 배분해 동일한 비용·전력으로 추론 속도를 3~10배 높인다."
에이전트의 한 단계마다 다른 종류의 자원이 필요합니다. 추론 단계마다 GPU 종류, 메모리, 네트워크 대역폭이 다르게 요구됩니다. 에이전트 도구 하나를 돌리는 데도 인프라 스택 전체가 영향을 받습니다.
도구 사용자에게 주는 시사점
이 변화가 AI 도구를 쓰는 우리에게 무엇을 의미할까요. 세 가지 실용적인 함의가 있습니다.
첫째, AI 도구의 가격은 인프라 가격을 따라갑니다. 지금 클로드 API 한 번 호출에 몇 센트, 챗GPT 구독료 월 20달러. 이 가격이 영원히 유지될 거라고 가정하면 안 됩니다. 데이터센터 전력 비용이 오르고, GPU 공급이 막히면, 그 비용이 결국 사용자에게 전가됩니다. 미국 지역별 전력 비용이 4배 차이(킬로와트시당 0.04~0.16달러)가 납니다. GPU 운영의 가장 큰 변동 비용 요소가 위치입니다. [Twitter](https://twitter.com/maekyungsns)
둘째, 사용자가 늘면 응답 속도가 느려질 수 있습니다. 인기 있는 AI 서비스가 점점 느려지는 경험을 한 적이 있을 겁니다. 이건 단순한 트래픽 문제가 아니라, 그 서비스가 의존하는 GPU와 데이터센터의 한계 때문입니다. 새 데이터센터가 3~5년 걸려야 가동되니, 단기적으로 인프라가 늘어나는 속도가 수요를 따라가지 못합니다.
셋째, 어떤 AI 도구는 사라지거나 폐쇄형이 될 수 있습니다. 매주 새로 나오는 도구들 중 상당수는 자체 인프라를 갖추지 못하고 빅테크의 API에 의존합니다. API 가격이 오르거나 정책이 바뀌면, 그 도구는 사업 모델 자체가 흔들립니다. 사용자 입장에서는 어느 날 갑자기 좋아하던 도구가 가격을 두 배 올리거나 서비스를 중단할 수 있다는 뜻입니다.
진짜 차별화 요소는 인프라 통제력
이 구조에서 누가 살아남을까요. 자체 인프라를 가진 회사입니다. 엔비디아는 GPU뿐 아니라 스케일업 네트워킹(NVSwitch), 스케일아웃 이더넷(Spectrum-X), 플랫폼 보안(MGX)까지 수직 통합을 밀어붙이고 있습니다.
OpenAI는 스타게이트로 자체 데이터센터를 지으려 합니다. 마이크로소프트, 구글, 아마존은 각각 원자력 발전 계약을 체결했습니다. "마이크로소프트, 구글, 아마존이 모두 AI 데이터센터 전력을 위한 원자력 발전 계약을 체결했습니다."
원자력 발전소까지 동원하는 이유는 단순합니다. AI 도구의 미래가 결국 전기에서 결정되기 때문입니다.
이런 관점에서 보면 "누가 안정적이고 저렴한 전력을 얼마나 오래 공급할 수 있는가가 새로운 승부처"가 된다는 분석이 명확해집니다. 데이터센터는 IT 시설을 넘어 전력·에너지 패권의 전초기지로 인식되고 있습니다.
한국의 위치
한국은 이 게임에서 어디에 있을까요. 국내 민간 데이터센터 시장 규모는 2024년 약 6조 2,200억 원에서 2028년 약 10조 1,900억 원에 이를 것으로 전망됩니다. 문제는 인프라 수용 여력입니다. 수도권에 전력 수요가 집중된 가운데 송전망 증설을 둘러싼 사회적 갈등, 발전원 입지 제약이라는 구조적 한계가 여전합니다.
한국 기업이 자체 AI를 운영하든, 해외 AI 도구를 가져다 쓰든, 결국 데이터센터 인프라가 그 위에 있어야 합니다. 그 인프라가 부족하면, 한국에서의 AI 사용 비용이 더 비싸지고 응답이 더 느려집니다. 글로벌 AI 경쟁에서 한 발 뒤처지게 됩니다.
결론: 인프라가 결정하는 AI 미래
다시 처음 질문으로 돌아갑니다. AI 도구가 끝없이 쏟아지는 시대입니다. 그런데 그 도구가 어디서 돌아갈까요.
답은 명확합니다. 데이터센터의 GPU에서. 그 GPU를 돌리는 전기에서. 그 전기를 만드는 발전소에서. 그 발전소까지 전기를 보내는 송전망에서.
AI를 둘러싼 진짜 경쟁은 새 도구를 만드는 것이 아닙니다. 그 도구가 돌아갈 인프라를 통제하는 것입니다. 새로운 도구는 매주 나오지만, 새로운 데이터센터는 3년 걸립니다. 새로운 발전소는 6년 걸립니다. 시간 단위가 완전히 다른 두 게임이 같은 무대 위에서 진행되고 있습니다.
도구를 잘 쓰는 능력이 중요하지 않다는 게 아닙니다. 다만 그 도구의 안정성, 가격, 미래가 도구 자체보다 그 아래의 인프라에 더 크게 의존한다는 사실을 알아야 합니다. 매주 나오는 새 도구에 환호하면서도, 그 도구가 의존하는 인프라가 어떻게 변하고 있는지를 함께 봐야 합니다.
AI 시대에 가장 중요한 자원이 무엇이냐는 질문에 대한 답이 점점 분명해지고 있습니다. 모델도 아니고, 도구도 아니고, 데이터도 아닙니다. 전기입니다. 그리고 그 전기를 통해 GPU를 돌릴 수 있는 데이터센터입니다. 도구의 시대 아래에서, 진짜 게임은 인프라의 시대로 진입하고 있습니다.