150만 페이지 규모의 정보 사이트를 운영하던 1인 퍼블리셔가 서버 로그를 처음으로 제대로 들여다봤습니다. 월간 방문자는 수백만으로 찍혔지만, 광고 수익은 몇 달째 같은 자리였습니다. 서버 비용만 계속 올라갔습니다.

로그에 찍힌 요청의 99%가 사람이 아니었습니다. 행동도 달랐습니다. 초당 수십 개씩 페이지를 요청했고, 같은 IP가 하루에 수만 번 접속했습니다. 클릭하지도, 멈추지도, 돌아오지도 않았습니다. 이들의 목적은 페이지를 읽는 것이 아니었습니다.

차단 작업을 시작한 뒤 트래픽은 사실상 99% 줄었습니다. 이상한 일이 일어났습니다. 아무것도 나빠지지 않았습니다.

차단하고 나서야 보인 것

봇을 막은 뒤의 접속 로그는 처음에는 황량해 보였습니다. 하루 수백만 건이던 요청이 수만 건으로 줄었습니다. 그런데 이 수만 건 안에서 비로소 실제 패턴이 드러났습니다.

진짜 독자는 한 번에 한 페이지만 요청했습니다. 1~2초 간격으로 다음 페이지로 넘어갔습니다. 같은 주제의 글을 여러 편 이어서 읽기도 했습니다. 봇이 만들어 낸 소음 안에서는 이 패턴이 전혀 보이지 않았습니다.

드러난 것은 단순했습니다. 이 사이트는 1년 내내 트래픽에 최적화된 콘텐츠를 만들어 왔지만, 실제 독자가 원하는 것은 달랐습니다. 봇은 페이지 수를 좋아하고, 사람은 한 주제를 깊이 파고드는 글 한 편을 찾습니다. 이 두 방향이 얼마나 어긋났는지가 차단 이후에야 보였습니다.

봇마다 목적이 달랐습니다

이 사이트를 찾아온 봇이 모두 같은 목적은 아니었습니다.

가장 큰 비중을 차지한 것은 AI 학습 데이터 수집용 크롤러였습니다. 이들은 사이트 전체를 통째로 긁어 갑니다. 특정 페이지의 품질이나 인기도에 무관하고, 어떤 글을 썼든 동일하게 처리합니다. 이 유형이 전체 봇 트래픽의 절반 이상을 차지했습니다.

여기에 SEO 분석 도구가 더해집니다. 경쟁 사이트의 구조를 파악하려는 마케터들이 쓰는 소프트웨어가 정기적으로 방문했습니다. 이들도 콘텐츠를 읽지 않습니다. 제목, 메타데이터, 내부 링크 구조만 수집합니다. 그 외에도 사이트 정보를 자체 서비스에 재활용하려는 데이터 취합 서비스들이 있었습니다.

이들 모두 광고를 클릭하지 않았고, 구독을 신청하지 않았고, 글을 공유하지도 않았습니다. 어떤 수익 모델과도 연결되지 않는 트래픽이었습니다.

한 가지 더 있습니다. AI 학습 크롤러는 글의 질과 무관하게 수집합니다. 공들여 쓴 분석 글이나 허술하게 채운 페이지나 같은 가중치로 처리합니다. 이들의 트래픽이 많다는 것은 사이트가 좋다는 신호가 아닙니다. 단지 크다는 신호입니다.

남은 1%의 행동 패턴

봇을 걷어 낸 뒤 남은 진짜 독자는 전체의 1%였습니다. 그런데 이 1%는 달랐습니다.

이들은 검색으로 왔을 때 곧바로 나가지 않았습니다. 평균 체류 시간이 봇 포함 전체 수치의 10배 이상이었습니다. 뉴스레터 구독 전환율을 다시 계산해 봤더니, 실제 방문자 기준으로는 적지 않은 숫자가 나왔습니다. 봇이 분모에 섞여 있던 수치에서는 이 숫자가 거의 0으로 찍혔습니다.

콘텐츠는 실제로 작동하고 있었습니다. 봇 트래픽에 묻혀서 보이지 않았을 뿐입니다.

문제는 이 1년 동안 콘텐츠 방향 결정이 봇과 사람 중 누구의 행동 신호를 따랐는가 하는 점입니다. 페이지 수를 늘리고, 키워드 밀도를 조정하고, 업데이트 빈도를 높인 것이 사람의 행동 데이터에서 나온 결정이었는지, 아니면 트래픽 총량을 기준으로 삼은 결정이었는지를 확인할 방법이 없었습니다. 분모가 오염돼 있었기 때문입니다.

기준을 바꾸면 무엇을 써야 하는지도 달라집니다

봇 차단 이후 이 퍼블리셔는 다른 지표들을 찾기 시작했습니다.

가장 먼저 눈에 들어온 것은 이메일 오픈율이었습니다. 뉴스레터를 받은 구독자가 메일을 열었는지 여부입니다. 봇이 개입할 수 없는 숫자입니다. 콘텐츠가 좋으면 올라갔고, 제목이 약하면 내려갔습니다. 사이트 트래픽과는 전혀 다른 신호였습니다.

다음으로 살펴본 것은 직접 유입 비율이었습니다. 주소창에 URL을 직접 치거나 북마크로 들어오는 방문은, 그 사이트를 기억하고 다시 찾는 사람이 있다는 신호입니다. 검색 최적화나 알고리즘에 기대지 않고 돌아오는 사람. 이 비율이 높을수록 콘텐츠가 기억에 남는 형태로 작동하고 있다는 추정이 가능합니다.

구독 취소율도 뒤따랐습니다. 봇이 구독하지 않는 한, 이 지표는 순수하게 사람의 반응만 반영합니다. 취소가 늘어나는 시점에는 무언가 달라진 것이 있었습니다.

1인 콘텐츠 사업자가 '내 독자가 몇 명인가'를 묻는 방식은 대부분 잘못된 분모를 씁니다. 페이지뷰·방문자 수·팔로워 수는 봇과 사람을 섞은 숫자입니다. 이 숫자를 기준으로 콘텐츠 전략을 짜면, 사람보다 봇에게 유리한 방향으로 글쓰기가 조정될 가능성이 높습니다.

이 퍼블리셔가 1년 끝에 얻은 것은 차단 기술보다 지표의 재설정이었습니다. 트래픽에서 이메일 오픈율로 기준을 옮기는 순간, 무엇을 써야 하는지가 달라졌습니다. 더 많은 페이지보다 더 깊이 읽히는 한 편이 사업의 중심으로 들어왔습니다.