"ChatGPT가 3초 안에 답을 안 주면 그냥 새로 칩니다." 우리는 어느 순간부터 AI 응답 속도를 기준으로 도구의 가치를 판단하기 시작했습니다. 빠를수록 좋고, 느리면 불량품처럼 여겼습니다.

그런데 지금 AI 인프라의 중심에서 벌어지는 변화는 그 직관을 완전히 뒤집습니다. 속도가 경쟁력이 아닌 시대, 오히려 느리고 깊이 생각하는 AI가 더 많은 가치를 만드는 시대가 열리고 있습니다.

지금까지의 AI는 '즉답 기계'였습니다

지금까지 우리가 써온 AI 추론 방식은 기본적으로 단발성 질의응답 구조였습니다. 사람이 질문하고, AI가 즉시 답하고, 그 답을 사람이 받아 다음 행동을 결정합니다. 이 구조에서 속도는 핵심 변수였습니다. 응답이 느리면 사용자 경험이 나빠지고, 서비스 경쟁력이 떨어졌습니다. 그래서 OpenAI든 구글이든 AI 서비스 제공업체들은 지연 시간latency​을 줄이는 데 막대한 컴퓨팅 자원을 투입해 왔습니다.

Ben Thompson이 Stratechery에서 분석한 내용의 핵심도 여기서 출발합니다. 그는 이 변화를 'Inference Shift', 즉 추론 방식의 전환이라고 정의합니다. 현재의 추론 인프라는 인간이 화면 앞에 앉아 기다린다는 전제 위에 설계되어 있습니다. GPU는 비싸고, 전력 소비는 크고, 속도는 빠릅니다. 전부 사람의 인내심을 기준으로 최적화된 결과입니다.

그런데 에이전틱 AIAgentic AI​, 즉 인간의 개입 없이 스스로 다단계 작업을 수행하는 AI 시스템이 주류로 올라오면서 이 전제가 흔들리기 시작했습니다. 에이전트는 사람이 보고 있지 않아도 됩니다. 밤새 혼자 작업을 처리하고, 아침에 결과를 내놓습니다. 3초 안에 답하지 않아도 됩니다.

Andreessen Horowitz의 최근 보고서에 따르면, 2024년 기준 AI 추론 비용의 70% 이상이 실시간 사용자 응답에 집중되어 있습니다. 하지만 에이전틱 워크플로우가 확산되면, 이 비율은 역전될 가능성이 높습니다. 배치 처리batch processing​, 즉 여러 작업을 묶어서 처리하는 방식이 다시 주목받는 이유도 같은 맥락입니다. 속도보다 비용 효율이 중요해지기 때문입니다.

속도가 빠진 자리에 '깊이'가 들어옵니다

속도 요구가 사라지면 무슨 일이 벌어질까요. 컴퓨팅 인프라가 달라집니다. 지금까지 AI 서비스를 지탱해온 고성능 GPU(주로 엔비디아의 H100, B200 계열) 중심 구조에서, 상대적으로 저렴하고 느리지만 전력 효율이 높은 칩으로 무게중심이 이동할 수 있습니다. 이미 아마존, 구글, 메타는 자체 AI 추론 칩을 개발해 배치 작업에 활용하기 시작했습니다. 비용을 낮추면서도 대규모 에이전틱 워크플로우를 감당하려는 목적입니다.

이 변화는 단순히 서버 하드웨어의 문제가 아닙니다. AI가 어떻게 일하느냐의 문제이고, 따라서 우리가 AI를 어떻게 써야 하느냐의 문제이기도 합니다.

실시간 추론과 에이전틱 추론의 차이를 조금 더 구체적으로 보겠습니다. 실시간 추론은 사람이 "이 계약서 요약해줘"라고 입력하면 10초 안에 요약문이 나오는 방식입니다. 여기서 AI는 단순한 도구입니다. 사람이 명령하고, AI가 실행하고, 사람이 결과를 가져갑니다. 반면 에이전틱 추론은 다릅니다. "이번 달 계약서 50건을 분석해서 리스크 항목 분류하고, 주요 이슈는 슬랙으로 알려줘"라는 지시를 내리면, AI가 스스로 파일을 열고, 읽고, 분류하고, 판단하고, 커뮤니케이션 툴과 연결해 결과를 보냅니다. 이 과정에서 사람은 자리를 비워도 됩니다.

중요한 것은 이 과정에서 AI가 단순히 더 많은 일을 하는 것이 아니라, 더 긴 맥락 안에서 더 복잡한 판단을 한다는 점입니다. 속도 요구가 사라지면 AI는 훨씬 더 깊이 생각할 수 있습니다. 여러 단계를 거쳐 검토하고, 오류를 스스로 수정하고, 더 정교한 결과를 만들어냅니다.

여기서 우리가 주목해야 할 지점이 생깁니다. AI가 기술과 지식을 대신하는 수준이 점점 높아질 때, 인간에게 남는 것은 무엇인가. 에이전트에게 어떤 일을 맡길지 결정하는 판단, 결과를 어떻게 해석하고 다음 행동으로 연결할지 결정하는 태도, 그리고 그 전체 흐름을 책임지는 자세입니다. S(기술)와 K(지식)가 AI로 넘어갈수록, A(태도)가 인간 역량의 핵심 변수로 남습니다. 에이전틱 AI 시대에 사람의 역할은 빠른 실행자가 아니라, 방향을 설정하고 판단을 내리는 사람입니다.

1인 사업자에게 이 변화는 지금 당장의 문제입니다

에이전틱 AI 인프라 전환은 글로벌 빅테크의 이야기처럼 들릴 수 있습니다. 그런데 그 변화의 실질적인 수혜자 혹은 피해자는 오히려 소규모 사업자일 가능성이 높습니다.

이유는 간단합니다. 대기업은 이미 수백 명의 인력이 분산해 처리하던 업무 구조를 갖고 있습니다. 에이전틱 AI가 들어오면 일부 자동화가 되지만, 그 충격은 분산됩니다. 반면 1인 사업자는 모든 것을 혼자 합니다. 기획, 실행, 정산, 고객 응대, 콘텐츠 제작, 파트너 관리. 에이전틱 AI가 이 중 하나라도 제대로 대신해주기 시작하면, 그 시간이 고스란히 더 중요한 판단에 쓰일 수 있습니다.

지금 시점에서 1인 사업자가 구체적으로 살펴볼 만한 방향은 세 가지입니다.

반복 작업을 목록화하세요. 매주 반복하는 업무, 정해진 형식으로 처리하는 일, 데이터를 보고 정리하는 루틴. 이 목록이 에이전틱 AI에게 맡길 수 있는 후보군입니다. 지금 당장 자동화하려는 것이 아니라, 어떤 작업이 내 시간을 소비하는지 명확히 보는 것이 먼저입니다.

'느린 AI'를 두려워하지 마세요. Perplexity의 Deep Research, OpenAI의 o3 계열 모델, 구글의 Gemini Advanced 등은 수 분씩 걸리는 대신 훨씬 깊이 분석합니다. 즉각적인 답이 필요 없는 작업, 예를 들어 시장 조사, 계약서 검토, 경쟁사 분석 같은 일에는 이런 모델을 활용하는 습관이 도움이 됩니다. 속도가 목적이 아닌 작업에 빠른 AI를 쓰는 것은 오히려 낭비일 수 있습니다.

AI와의 협업 방식을 재설계하세요. 지금까지 우리는 AI에게 "이것 해줘"라고 말하고 결과를 받았습니다. 에이전틱 AI 환경에서는 "이 흐름 전체를 이렇게 처리해줘"라고 설계하는 역할로 바뀝니다. 이것은 단순한 툴 사용법의 문제가 아니라, 일을 바라보는 시각의 문제입니다. 어떤 판단을 AI에 위임할 것인지, 어떤 판단은 반드시 내가 내려야 하는지 구분하는 능력이 점점 중요해집니다. AI가 기술과 지식을 빠르게 대체하는 환경일수록, 내가 왜 이 일을 하는지, 어떤 가치를 만들려는지에 대한 명확한 태도가 실질적인 경쟁력이 됩니다.

현재 Make, n8n, Zapier 같은 자동화 플랫폼에 AI 에이전트 기능이 빠르게 붙고 있습니다. Notion AI, Linear, Notion Calendar 등도 점차 에이전틱 기능을 확장하는 방향으로 업데이트되고 있습니다. 비용도 낮아지고 있습니다. 2024년 초 대비 주요 LLM API 가격은 최대 80% 이상 하락했습니다. 에이전틱 AI를 실험해보는 진입 장벽이 사실상 없어진 상황입니다.

AI 인프라가 에이전틱 방향으로 재편되면, 그 끝에 남는 것은 결국 사람의 판단입니다. 어떤 일을 맡길지, 그 결과를 어떻게 해석할지, 그 판단으로 어디로 갈지. 빠른 AI가 즉답을 주던 시대에는 사람도 즉각 반응하면 됐습니다. 느리고 깊은 AI가 밤새 일을 처리하는 시대에는, 사람이 해야 할 일이 훨씬 더 본질적인 수준으로 올라갑니다.

속도 경쟁이 끝나는 자리에서, 판단 경쟁이 시작됩니다.