인터넷이 대중화된 이후, 콘텐츠를 만드는 사람들이 공통으로 들어온 조언이 있습니다. 좋은 글을 꾸준히, 공개적으로 올려두면 검색 엔진이 알아서 독자를 데려온다는 것입니다. 블로그, 뉴스레터, 유튜브, 팟캐스트. 플랫폼이 바뀌어도 기저 논리는 같았습니다. 더 많이 공개할수록 더 많이 발견되고, 더 많이 발견될수록 더 많은 사람이 온다. 이 흐름이 광고 수익이든 구독 전환이든 컨설팅 문의든, 온라인 콘텐츠 사업 거의 전부의 출발 논리였습니다.

이 논리가 20년 동안 실제로 작동한 데는 이유가 있습니다. 검색 엔진은 사용자에게 검색 결과를 보여줄 뿐, 내용을 직접 소화해주지 않았습니다. 기사, 글, 영상. 무엇이든 소비하려면 링크를 클릭해 원문 사이트를 방문해야 했습니다. 콘텐츠 소비와 원문 방문이 분리되지 않았기 때문에, 공개하면 발견되고 발견되면 방문이 따라오는 경로가 거의 자동으로 작동했습니다.

그 조건이 달라지고 있다는 데이터가 나왔습니다.

소비와 방문이 분리된 첫 수치들

인터넷 인프라 기업 클라우드플레어는 지난해 8월, 자사 네트워크에서 측정한 AI 크롤러 행동 분석 결과를 공개했습니다. 앤트로픽 크롤러는 콘텐츠 수집 요청을 약 3만 8,000번 보내는 동안 원문 사이트로 실제 방문자를 돌려보낸 횟수는 1번이었습니다. 오픈AI 크롤러는 1,091번 수집에 방문자 1명이었습니다.

숫자를 보기 전에 비교 대상을 짚어야 합니다. 구글 크롤러는 페이지를 수집해 인덱스를 만들고, 사용자가 검색할 때 결과로 보여줍니다. 사용자는 결과에서 링크를 클릭해야만 내용을 읽을 수 있습니다. 방문이 소비의 완성 단계입니다. AI 시스템은 수집한 텍스트로 모델을 훈련하거나 응답을 직접 생성합니다. 사용자는 AI에게 질문하고 AI에게서 답을 받습니다. 원문 사이트를 방문할 이유가 없습니다.

콘텐츠 소비와 원문 방문이 처음으로 분리된 것입니다. 공개하면 발견된다는 전제는 여전히 맞습니다. 발견되면 방문이 온다는 전제는, AI 크롤러에 한해서는 성립하지 않습니다.

세 회사의 선택이 갈리는 지점

이 불균형을 확인한 콘텐츠 보유 기업들의 대응이 실제로 엇갈리고 있습니다.

WSJ와 뉴욕포스트를 운영하는 뉴스코프는 오픈AI와 콘텐츠 라이선싱 계약을 체결했습니다. AI 기업이 아카이브를 쓸 수 있도록 허락하는 대신 사용료를 받습니다. 네이버는 자사 블로그·카페·뉴스에 외부 AI 크롤러가 접근하는 것을 차단했습니다. CJ온스타일은 반대 방향으로, 상품 정보를 AI 시스템에 개방하는 쪽을 택했습니다.

세 선택이 각각 이득이 되는 조건이 다릅니다. 라이선싱은 콘텐츠 자체가 AI 기업에게 교환 가치를 가질 때, 즉 그 데이터 없이는 모델 성능을 올리기 어렵다고 AI 기업이 판단할 때 성립합니다. 뉴스코프가 협상 테이블에 앉을 수 있었던 것은 수십 년치 전문 저널리즘 아카이브 때문입니다. 차단은 플랫폼 자체가 방문 이유가 될 때 유효합니다. 네이버는 검색, 커뮤니티, 쇼핑이 묶여 있어 크롤러를 막아도 사용자가 돌아오는 이유가 따로 있습니다. CJ온스타일의 개방은 판매 채널 확장의 논리입니다. 독자가 원문을 방문하지 않아도 AI가 상품을 추천 후보에 올려주면 구매는 발생합니다. 소비와 방문의 분리를 받아들이고, 분리된 방문을 대신할 경로를 따로 만든 것입니다.

세 방향 중 어느 것이 맞는지는 맥락에 따라 다릅니다. 어떤 콘텐츠를 가지고 있는가, 그 콘텐츠가 AI에게 어떤 가치인가, 그리고 방문 없는 소비를 대체할 다른 경로가 있는가. 이 세 조건이 선택의 근거가 됩니다.

1인 운영자가 지금 당장 물어봐야 할 것

협상력이 없는 1인 사업자나 소규모 콘텐츠 운영자에게 라이선싱 계약은 현실적이지 않습니다. 차단은 할 수 있습니다.

사이트 루트 디렉터리의 robots.txt 파일에 AI 크롤러를 지정하면 됩니다. User-agent 항목에 GPTBot(오픈AI), ClaudeBot(앤트로픽), anthropic-ai, PerplexityBot 등을 입력하고 Disallow: / 를 추가합니다. 워드프레스를 사용하고 있다면 플러그인 수준에서 관리할 수 있습니다. 다만 robots.txt는 기술적 강제 수단이 아닙니다. 준수를 요청하는 관례이고, 일부 크롤러가 이를 따르지 않을 가능성이 있습니다.

차단보다 먼저 따져봐야 할 질문이 있습니다. 지금 올리고 있는 콘텐츠가 AI가 원문 방문 없이 완전히 소화할 수 있는 형태인지입니다.

정리된 사실, 완성된 방법론, 고정된 지식을 담은 글은 AI 요약에 취약합니다. 독자가 AI에게 "X를 알려줘"라고 물으면 원문보다 압축된 형태로 답을 받을 수 있고, 원문을 방문할 이유가 줄어듭니다. 반면 작성자의 현재 판단, 지금 이 시점의 해석, 신뢰 관계에서만 나오는 정보, 상황에 따라 달라지는 조언은 AI 요약이 원문을 대체하기 어렵습니다. 독자가 AI 응답이 아니라 이 사람의 직접 판단을 읽고 싶다는 이유가 콘텐츠 안에 있어야 합니다.

확인 기준 하나를 제안합니다. 지금 작성하는 글에서 고유명사, 날짜, 수치를 모두 빼도 논지가 그대로라면, AI 요약과 원문 사이의 차이가 거의 없다는 신호입니다. 그 경우 차단 여부보다, 왜 사람이 AI를 거치지 않고 직접 와야 하는지를 설계하는 것이 먼저입니다.

20년 동안 SEO를 고민하던 자리에서 다른 질문이 들어서고 있습니다. 독자가 AI를 우회해서 직접 올 이유가 내 콘텐츠 안에 있는가. 이 질문에 답이 없는 콘텐츠는 공개할수록 방문자 없이 데이터만 제공하는 쪽으로 가고, 답이 있는 콘텐츠는 개방이 여전히 유리합니다.