AI 크롤러, 웹사이트 자원 고갈 원인? 분석 왜곡까지!

AI 크롤러가 사이트 자원과 분석 데이터에 미치는 영향

AI 크롤러(AI Crawlers)는 전 세계 웹사이트에서 대량의 대역폭을 소모하며 분석 데이터에 영향을 미치고 있습니다. 이는 OpenAI 등 다양한 AI 서비스에서 발생하며, 웹사이트 운영자들은 불필요한 서버 비용이 늘어나는 문제를 겪고 있습니다. AI 봇의 트래픽은 서버 자원의 과도한 소비는 물론, 성능 지표와 검색 순위에까지도 부정적인 영향을 미칠 수 있습니다.

특히, SourceHut과 같은 일부 사이트는 AI 크롤러 활동으로 인해 서버 부하가 증가하고 있다는 사례를 전했으며, 심지어 클라우드 제공업체를 차단하기에 이르렀습니다. 클라우드 서비스인 Vercel에 따르면, OpenAI의 GPTBot은 한 달 동안 무려 5억 6,900만 건의 요청을 발생시켰습니다.

분석 데이터, AI 크롤러로 인해 왜곡 가능성

AI 크롤러로 인한 트래픽은 광고 통계 및 분석 데이터에 심각한 왜곡을 초래할 수 있습니다. DoubleVerify의 조사에 따르면, GIVT(일반 비유효 트래픽)가 2024년 하반기 동안 86% 증가했으며, 이는 AI 크롤러와 밀접한 연관이 있었습니다. 많은 기업들이 이로 인해 광고 수익 분석 결과의 신뢰도가 낮아지는 문제를 겪고 있습니다.

또한, 'Read the Docs' 프로젝트는 AI 크롤러를 차단한 후 트래픽이 75% 감소했으며 약 1,500달러의 월간 비용을 절감했다고 보고했습니다. 이런 결과는 AI 크롤러가 웹사이트의 자원 및 비용 절감에 있어 주요 변수가 될 수 있음을 시사합니다.

AI 크롤러의 특성과 식별 방법

AI 크롤러는 기존의 봇들과는 달리 특정 페이지를 빈번히 재방문하며, 더 깊이 있는 데이터 접근 방식을 보이는 것이 특징입니다. 이는 웹사이트 서버의 대역폭 사용량을 급증시키는 주요 원인으로 작용합니다. 사이트 관리자들은 이상 트래픽이나 대역폭 사용량 급증 여부를 확인하며 이러한 봇의 활동을 식별할 수 있습니다.

특히, AI 크롤러는 코어 웹 바이탈(Core Web Vitals) 등 성능 지표에도 영향을 주기 때문에, 이를 정기적으로 모니터링하는 것이 중요합니다. 정밀한 로그 분석과 트렌드 감시를 통해 이러한 비정상적인 활동을 효율적으로 관리할 수 있습니다.

AI 크롤러 트래픽 관리 방안과 기술적 지원

지나친 AI 크롤러 트래픽 문제를 해결하기 위해 여러 대안이 제안되고 있습니다. Google은 robots.txt 파일에 'Google-Extended'라는 솔루션을 추가, 자사의 AI 서비스 학습에 데이터를 제공하지 않도록 설정할 수 있는 옵션을 제공합니다. 이는 사이트 운영자들이 AI 크롤러를 선택적으로 차단할 수 있게 돕는 실질적인 방법입니다.

더불어, 지나치게 큰 영향을 받는 사이트의 경우 추가적인 기술적 조치를 검토해야 할 수 있습니다. 운영자들은 AI 관련 트래픽을 제한하는 동시에, 중요한 검색 엔진 크롤러가 사이트에 접근할 수 있도록 균형을 유지해야 합니다. AI 크롤러 문제가 지속될 경우 전문적인 웹 보안 및 서버 관리 서비스를 고려해볼 필요가 있습니다.

출처 : SEARCHENGINEJOURNAL.com