클라우드플레어 AI 봇 차단, AI 검색 노출 지키는 GEO 점검 7단계

클라우드플레어 AI 봇 차단 핵심: robots.txt보다 먼저 볼 엣지 설정

2026년 9월 15일부터 클라우드플레어 AI 봇 차단의 새 기본값이 적용되면서 robots.txt를 그대로 둔 사이트도 AI 검색 답변에서 빠질 수 있게 됐습니다. 봇이 본문을 받지 못하면 AI가 인용할 재료도 사라지니 CDN의 봇 설정은 GEO(생성형 AI 검색 최적화)의 첫 관문인 셈입니다. Cloudflare 블로그에 따르면 클라우드플레어 뒤에 있는 웹 도메인은 전체의 20%가 넘습니다.

• robots.txt는 크롤러에게 보내는 요청이고 실제 차단은 엣지의 봇 정책과 WAF 규칙에서 일어납니다.
• 2026년 7월 원클릭 차단이 Search·Agent·Training 세 범주로 나뉘었고 9월 15일부터 광고 페이지의 Agent와 Training을 막는 기본값이 작동합니다.
• Training을 막으면 Googlebot·Bingbot 같은 혼합형 크롤러까지 함께 막힙니다.
• AI 검색 유입이 줄었다면 콘텐츠보다 봇별 응답 코드를 먼저 보는 편이 빠릅니다.

목차

• 클라우드플레어 AI 봇 차단 핵심
• 클라우드플레어 AI 봇 차단 새 기본값과 범주별 영향
• 혼합형 크롤러 예외: 학습 차단이 Googlebot·Bingbot까지 막는 구조
• AI 검색 노출을 지키는 GEO 점검 7단계
• 중고차 거래 플랫폼 C사 사례
• 사이트 유형별 클라우드플레어 AI 봇 차단 권장 설정
• 클라우드플레어 AI 봇 차단 FAQ
• 함께 읽으면 좋은 글
• 출처

클라우드플레어 AI 봇 차단 새 기본값과 범주별 영향

새 기본값은 광고가 붙은 페이지에서 Agent와 Training을 막고 Search만 허용합니다. AI 검색 노출과 곧바로 이어지는 범주는 Search와 Agent입니다.

2026년 7월 1일 개편 뒤에는 무료 플랜을 포함한 모든 고객이 범주마다 '모든 페이지 차단', '광고 페이지만 차단', '허용' 가운데 하나를 고릅니다. Cloudflare 보도자료가 밝힌 새 기본값의 적용 대상은 신규 고객, 기존 고객이 새로 추가한 사이트, 9월 15일까지 설정을 바꾸지 않은 기존 무료 고객입니다.

OpenAI 크롤러 문서는 OAI-SearchBot을 거부한 사이트가 ChatGPT 검색 답변에 나오지 않는다고 밝히는데 엣지에서 막혀도 결과는 같습니다. Agent 계열은 사용자 요청으로 움직여 robots.txt가 적용되지 않을 수 있으니 실제 통제는 CDN과 WAF가 맡습니다.

혼합형 크롤러 예외: 학습 차단이 Googlebot·Bingbot까지 막는 구조

클라우드플레어 AI 봇 차단에서 Training을 '차단'으로 고르면 Googlebot·Applebot·Bingbot 같은 다목적 크롤러도 함께 막힙니다. 용도를 나눠 밝히지 않는 크롤러에는 가장 엄격한 규칙이 걸리기 때문입니다.

옛 'Block AI bots'를 포함해 학습을 막는 설정은 모두 이 원칙을 따르고 새 기본값에서도 혼합형 크롤러는 광고가 붙은 모든 페이지에서 막힙니다. 광고 수익형 사이트가 기본값을 그대로 두면 광고 페이지에서는 검색 크롤러까지 막힐 수 있습니다. 바이라인네트워크 보도에 따르면 클라우드플레어 집계에서 AI 크롤러 요청은 학습 목적 51.8%, 혼합 목적 35.7%, 순수 검색 9.3%였습니다.

Google 검색 센터 문서에서 Google-Extended는 Gemini 학습과 그라운딩에 콘텐츠를 쓸지만 정하는 토큰이라 막아도 구글 검색 포함 여부와 순위는 그대로입니다. 반면 클라우드플레어에서 Training을 막으면 Googlebot 자체가 막혀 검색과 AI Overviews 노출이 함께 사라집니다.

AI 검색 노출을 지키는 GEO 점검 7단계

AI 검색 유입이 줄었다면 콘텐츠를 고치기 전에 봇이 페이지를 받을 수 있는지부터 봐야 합니다. 진단의 중심은 봇별 응답 코드입니다.

1. 적용 대상 판정 - 9월 15일 이후 추가한 사이트, 설정을 바꾼 적 없는 무료 플랜, 광고 페이지 유무를 확인합니다.
2. 실제 robots.txt 확인 - curl로 받아 GPTBot·ClaudeBot·CCBot 등을 Disallow하는 관리형 블록이 맨 앞에 붙었는지 봅니다.
3. 대시보드 정책 확인 - 옛 'Block AI bots' 메뉴가 아닌 Configure AI bot policies에서 범주별 상태를 캡처해 둡니다.
4. WAF 사용자 규칙 확인 - cf.verified_bot_category로 AI 범주 전체를 막는 규칙과 해외 봇 IP가 걸리는 국가 차단 규칙을 찾습니다.
5. 로그 집계 - OAI-SearchBot·ChatGPT-User·PerplexityBot·Googlebot 등이 받은 응답 코드(200, 403, 챌린지) 비율을 봇별로 셉니다.
6. 광고 페이지 표본 비교 - 차단은 광고 페이지에서만 일어나므로 광고 유무로 나눠 봐야 전체 평균에 묻히지 않습니다.
7. 재측정 - 같은 질문 세트로 ChatGPT·Perplexity 인용 여부와 'URL을 열어 요약해 줘' 요청의 성공 여부를 기록합니다.

robots.txt가 열려 있는데 5단계에서 403이나 챌린지가 보인다면 원인은 엣지 설정입니다. 봇 접근 회복과 AI 인용 회복은 나눠 기록해야 둘 사이의 시차가 보입니다. 유입 변화는 GA4의 AI 리퍼러로 변경 전후 4주씩 비교합니다.

중고차 거래 플랫폼 C사 사례: 4개월 만에 AI 인용 포함률 8%에서 34%로

중고차 거래 플랫폼 C사는 robots.txt를 열어 둔 채 엣지 설정 때문에 AI 답변에서 빠졌습니다. 설정을 바로잡고 콘텐츠를 보강한 뒤 4개월 만에 인용 포함률이 차단 전보다 높은 34%가 됐습니다.

C사는 배너 광고가 붙은 매물 상세 페이지 수만 개를 운영합니다. 8개월 사이 전체 봇 요청 중 AI 에이전트성 봇의 비중이 12%에서 31%로 늘었습니다. 인프라팀은 서버 부하를 줄이려고 클라우드플레어 AI 봇 차단을 켰고 WAF 사용자 규칙으로 'AI Crawler'·'AI Search'·'AI Assistant' 범주도 한꺼번에 막았습니다. robots.txt는 그대로여서 마케팅팀은 변화를 알아채지 못했습니다. 6주 뒤 '중고차 시세 확인하는 법', '믿을 만한 중고차 플랫폼 추천' 같은 핵심 질문 40개에서 C사가 답변에 들어가는 비율은 23%에서 8%로 떨어졌습니다. ChatGPT에 매물 URL을 주고 요약을 시켜도 다른 사이트 정보로 답이 돌아왔습니다.

지오랭크는 GRank Pilot에서 인용 이탈 알림을 받은 날 분석을 시작해 이번 하락을 콘텐츠가 아닌 기술 이슈로 분류했습니다. 서버 로그에서 주요 검색·에이전트 봇의 응답 코드를 봇별로 집계하니 요청의 39%가 403이나 챌린지 페이지를 받고 있었습니다. 광고가 붙은 매물 페이지와 광고 없는 가이드 페이지를 나눠 비교하면서 봇을 막은 곳이 엣지의 봇 정책과 WAF 규칙이라는 점을 짚어 냈습니다. 실행은 세 갈래로 동시에 진행했습니다.

• 접근 복구: AI bot policies에서 Search와 Agent를 '허용'으로 바꾸고 허용 조건에는 User-Agent 문자열 대신 검증된 봇 분류를 걸었습니다. 해외 봇 IP까지 막던 국가 차단 규칙에는 예외를 넣었습니다.
• 학습 거부 신호 분리: 관리형 robots.txt의 Content-Signal(search=yes, ai-train=no)로 학습 거부를 밝혀 Googlebot·Bingbot이 함께 막히지 않게 했습니다. 서버 부하는 더 바뀌지 않는 판매 완료 매물 경로에만 요청 제한을 걸어 풀었고 9월 15일 전에 광고 페이지 정책도 고정했습니다. 봇·범주·정책·설정 위치를 묶은 정책표는 C사 인프라팀과 함께 운영합니다.
• 콘텐츠 보강: GRank Creator로 시세 확인, 보험 이력 조회, 성능점검 기록 읽는 법처럼 첫 문장에서 바로 답하는 가이드를 만들었습니다. FAQPage·HowTo 스키마를 붙여 발행하고 sitemap·IndexNow로 색인을 제출했습니다.

봇별 403·챌린지 비율은 2주 만에 2% 아래로 내려갔습니다. 실시간 검색형인 Perplexity에서 3주 차에 인용이 가장 먼저 돌아왔고 4개월 차에는 ChatGPT·Gemini·Claude·Perplexity 4개 AI 모두에서 C사가 인용됐습니다. 함께 모니터링한 Copilot과 Google AI Overviews에서도 매물 가이드가 다시 출처로 잡혔습니다. GA4 기준 AI 서비스 리퍼러 유입은 차단 전의 2.3배가 됐고 'URL을 열어 요약해 줘' 요청에도 이제 C사 매물 페이지 본문을 바탕으로 한 답이 나옵니다.

“콘텐츠는 그대로인데 AI 답변에서만 사라져서 원인을 찾지 못하고 있었습니다. 지오랭크가 서버 로그부터 보고 엣지 설정을 바로 짚어 줬어요. 지금은 내 차 팔기 상담 폼에 'ChatGPT에서 보고 왔어요'라는 응답이 꾸준히 나옵니다. 광고 없이 AI만으로 들어오는 문의라 질이 확실히 다릅니다.” - C사 플랫폼사업 팀장

사이트 유형별 클라우드플레어 AI 봇 차단 권장 설정

학습은 거부하면서 검색과 인용을 지키려면 엣지에서 Training을 막기보다 관리형 robots.txt의 Content-Signal(search=yes, ai-train=no)로 학습 거부를 밝히는 편이 손실이 적습니다. 지오랭크는 Search와 Agent를 열어 두고 서버 부담은 경로 단위로 조절하는 것을 기본 방향으로 봅니다.

지디넷코리아에 따르면 2025년 6월 크롤링 대비 방문 비율은 구글 14회당 1회, OpenAI 1,700회당 1회, 앤트로픽 73,000회당 1회였습니다. 학습을 거부할 만한 숫자지만 이 판단을 엣지 차단으로 옮기면 검색 크롤러까지 잃습니다. Cloudflare 보도자료는 AI 크롤러 트래픽의 50% 이상이 바뀌지 않은 페이지를 다시 가져가는 데 쓰인다고 밝혔습니다. C사처럼 갱신이 끝난 경로만 제한하면 사이트 전체를 막을 때보다 손실이 훨씬 적습니다.

User-Agent 문자열만 보고 허용하면 누구나 OAI-SearchBot을 사칭할 수 있습니다. Cloudflare 개발자 문서에서 검증된 봇은 Web Bot Auth(암호 서명)나 IP 검증으로 정체를 밝히고 남용하지 않는다고 확인된 봇입니다. 허용 조건에는 User-Agent가 아니라 검증된 봇 분류를 거는 편이 안전합니다.

클라우드플레어 AI 봇 차단 FAQ

ChatGPT-User를 막아도 ChatGPT 검색 노출은 유지되나요?

OpenAI는 ChatGPT-User가 검색 노출 여부를 정하는 데 쓰이지 않는다고 설명합니다. 검색 답변 포함 여부는 OAI-SearchBot의 접근에 달려 있습니다. ChatGPT-User가 막히면 사용자가 대화 중 페이지를 열어 달라고 할 때 AI가 다른 출처로 답합니다.

광고가 없는 사이트도 9월 15일 새 기본값의 영향을 받나요?

새 기본값이 Agent와 Training을 막는 곳은 광고가 붙은 페이지라서 광고 없는 페이지는 직접 영향이 작습니다. 예전에 켜 둔 AI 봇 차단이나 WAF 사용자 규칙은 기본값과 별개로 계속 작동합니다.

클라우드플레어를 쓰지 않는 사이트도 점검이 필요한가요?

robots.txt는 요청일 뿐이고 실제 차단은 서버 앞단 규칙에서 일어난다는 구조는 다른 CDN이나 보안 설정도 같습니다. 서버 로그에서 AI 봇의 응답 코드를 보는 방법은 그대로 쓸 수 있습니다.

Pay per Crawl은 차단과 무엇이 다른가요?

차단은 접근 자체를 끊고 Pay per Crawl은 크롤링 1회당 요금을 정해 그 조건으로 접근을 허용합니다. 콘텐츠 사용에 대가를 받고 싶은 데이터 자산형 사이트에 맞는 선택지입니다.

설정을 고치면 언제 AI 답변에 다시 나오나요?

봇 접근은 설정 직후부터 로그의 응답 코드로 확인할 수 있고 OpenAI는 robots.txt 변경 반영에 약 24시간이 걸릴 수 있다고 안내합니다. 인용 회복 속도는 플랫폼마다 다르며 C사 사례에서는 실시간 검색형 플랫폼이 가장 먼저 반응했습니다.

함께 읽으면 좋은 글

• robots.txt 자체를 어떻게 써야 할지 궁금하시다면? robots.txt 작성법: AI 크롤러 허용·차단 예시
• 봇이 받은 페이지를 AI가 왜 못 읽는지 궁금하시다면? AI 크롤러 자바스크립트 못 읽는다: CSR 사이트 GEO 점검 5단계
• 학습용 봇에서 핵심 콘텐츠만 골라 지키는 방법이 궁금하시다면? LLM 클로킹 가이드: AI 크롤러의 콘텐츠 도용을 막는 GEO 방어 전략

출처

• Cloudflare 블로그 - Your site, your rules
• Cloudflare 보도자료 2026-07-01
• OpenAI 크롤러 문서
• 바이라인네트워크
• 지디넷코리아