챗GPT든 클로드든 제미나이든, 지금까지 AI를 쓰려면 인터넷이 필요했습니다. 내가 입력한 데이터가 외부 서버로 나가고, 처리된 결과가 돌아오는 구조입니다. 대부분의 사람에게는 문제가 없습니다. 하지만 은행, 병원, 군사 기관, 정부 부처에게는 이 구조 자체가 장벽입니다. 환자 진료 기록, 고객 금융 정보, 군사 기밀이 외부 서버를 경유한다는 건 규정상으로도, 심리적으로도 받아들이기 어렵습니다.
4월 22일, 이 장벽이 무너졌습니다. 클라우드 서비스 전문 회사 시라스케일(Cirrascale)이 구글 분산 클라우드(GDC)를 통해 제미나이를 인터넷 연결 없이 사용할 수 있는 온프레미스 형태로 제공한다고 발표했습니다. 구글의 최고급 AI 모델을 완전히 외부와 차단된 상태에서 돌릴 수 있게 된 겁니다.
온프레미스가 뭔가요
IT 용어 중에 가장 자주 듣지만 정확히 이해하기 어려운 말 중 하나입니다. 쉽게 비유하면 이렇습니다.
클라우드는 넷플릭스입니다. 영화가 넷플릭스 서버에 있고, 인터넷을 통해 스트리밍합니다. 내 컴퓨터에 파일이 저장되지 않습니다. 편리하지만, 인터넷이 끊기면 못 봅니다. 넷플릭스가 서비스를 중단하면 접근할 수 없습니다. 그리고 내가 무엇을 얼마나 봤는지를 넷플릭스가 전부 알고 있습니다.
온프레미스는 DVD를 사서 집에 두는 것입니다. 내 선반에 있으니 인터넷이 없어도 봅니다. 넷플릭스가 문을 닫아도 상관없습니다. 내가 뭘 보는지 아무도 모릅니다. 대신 DVD를 사야 하고, 선반 공간이 필요하고, 고장 나면 직접 고쳐야 합니다.
IT에서 온프레미스(On-Premises)는 소프트웨어와 하드웨어를 외부 서비스에 맡기지 않고, 자기 건물 안에 직접 설치해서 운영하는 방식입니다. 'Premises'가 '구내', '건물 안'이라는 뜻입니다. 내 건물 안에서(On my premises) 돌린다는 겁니다.
반대 개념이 클라우드입니다. 아마존 AWS, 구글 클라우드, 마이크로소프트 애저 같은 외부 업체의 서버를 빌려서 쓰는 방식입니다. 초기 투자가 적고 확장이 유연하지만, 데이터가 외부로 나갑니다.
왜 AI에서 온프레미스가 중요해졌나
지금까지 최고 성능의 AI 모델을 쓰려면 클라우드가 필수였습니다. GPT-4, 클로드 오퍼스, 제미나이 같은 대형 모델은 수천 대의 GPU가 필요합니다. 개별 기업이 이 인프라를 자체적으로 갖추는 건 현실적이지 않았습니다.
문제는 규제 산업에서 발생합니다. 금융기관은 고객 데이터가 외부 서버를 경유하는 것을 규정으로 제한합니다. 의료기관은 환자 기록이 외부로 나가는 것 자체가 법적 리스크입니다. 군사 기관은 당연히 외부 연결을 허용하지 않습니다. 이런 조직들은 AI의 가능성을 알면서도, 데이터 통제권 때문에 도입하지 못하고 있었습니다.
"AI를 쓰고 싶지만 데이터를 밖으로 보낼 수 없다." 이 딜레마를 온프레미스 AI가 풀어줍니다.
제미나이 온프레미스의 구조
이번 솔루션은 시라스케일의 고성능 가속 서버에 제미나이 모델을 최적화해 탑재한 일종의 'AI 전용 장비' 형태로 제공됩니다. 8개의 엔비디아 GPU가 장착된 이 시스템은 완전히 인터넷과 분리된 상태에서 운영할 수 있으며, 기업 내부 데이터센터나 자체 시설에 설치해 사용할 수 있습니다.
핵심적인 차이가 있습니다. 구글도 지난해부터 GDC를 통해 제미나이를 온프레미스로 제공해 왔지만, 이 서비스는 업데이트나 관리를 위해 구글 클라우드와 연결이 필요한 '커넥티드(Connected)' 모드가 기본이었습니다. 즉, 기존 방식은 "거의 온프레미스"였지 "완전한 온프레미스"는 아니었습니다. 이번에 시라스케일이 내놓은 것은 외부와 완전히 단절된 상태에서의 운영이 처음 가능해진 것입니다.
보안 설계도 흥미롭습니다. 모델은 메모리상에서만 실행되고 저장되지 않으며, 전원이 꺼지면 즉시 사라지는 구조로 설계됐습니다. 여기에 시스템이 물리적으로 변조되거나 보안 정책이 위반될 경우, 장비가 자동으로 작동을 중단하고 모델이 삭제되는 '자기 보호 메커니즘'이 적용됐습니다.
장비를 훔쳐가도 모델을 꺼낼 수 없고, 뜯어보려고 하면 스스로 삭제됩니다. 군사 기밀 장비에서나 볼 법한 수준의 보안입니다.
클라우드 vs 온프레미스, 어떤 상황에 뭘 쓰나
둘 다 장단점이 있습니다. 어느 쪽이 더 좋은가가 아니라, 상황에 따라 맞는 쪽이 다릅니다.
클라우드 vs 온프레미스 비교
스타트업이나 일반 기업이 AI를 도입한다면 클라우드가 합리적입니다. 초기 투자가 적고, 확장이 쉽고, 유지보수를 직접 하지 않아도 됩니다.
하지만 금융, 의료, 국방, 공공 분야에서 민감한 데이터를 다루면서 AI를 쓰려면 온프레미스가 사실상 유일한 선택지입니다. "데이터가 건물 밖으로 나가지 않는다"는 보장이 필요한 곳에서는 클라우드의 편리함이 아무리 좋아도 쓸 수 없습니다.
빅테크 간 온프레미스 AI 경쟁이 시작됐습니다
제미나이의 온프레미스 진출은 단독 사건이 아닙니다. 마이크로소프트는 '애저(Azure)' 기반 AI 전략을, 아마존은 '베드록(Bedrock)'과 '아웃포스트(Outposts)'를 통해 같은 시장을 공략하고 있습니다.
클라우드 시장에서의 경쟁이 온프레미스로 확장되고 있는 겁니다. 클라우드 시장은 이미 성숙기에 접어들었고, 새로운 성장 동력이 필요합니다. 규제 산업이 AI를 도입하기 시작하면 그 시장 규모가 막대합니다. 은행, 병원, 정부가 클라우드 AI를 못 쓰고 있었다는 건, 이 시장이 아직 열리지 않았다는 뜻이기도 합니다.
이것이 의미하는 것
AI가 클라우드에서만 작동하던 시대가 끝나고 있습니다. 최고 성능의 AI 모델이 기업 내부 서버에서, 인터넷 연결 없이, 데이터가 외부로 나가지 않는 상태로 돌아가는 시대가 열립니다.
이 변화가 가장 먼저 영향을 미치는 곳은 그동안 AI 도입을 망설여왔던 규제 산업입니다. "데이터를 밖에 보낼 수 없으니 AI를 못 쓴다"는 말이 더 이상 통하지 않게 됩니다.
물론 온프레미스 AI가 모든 기업에 해당하는 건 아닙니다. 엔비디아 GPU 8개가 탑재된 전용 장비의 가격은 일반 기업이 가볍게 도입할 수준이 아닙니다. 하지만 기술의 방향은 분명합니다. AI가 구름 위에서 내려와 내 건물 안으로 들어오기 시작했습니다.