2026. 11. 18. · 최수아 (매니저)
AI 크롤러 로그 분석은 서버·CDN 접근 로그에서 AI 봇 요청을 골라 어떤 페이지가 AI 답변 재료로 읽히는지 확인하는 작업입니다. GEO(생성형 AI 검색 최적화)가 AI 답변에 브랜드를 넣는 일이라면 로그는 그 답변이 만들어지기 직전의 흔적인데요. 주요 AI 크롤러는 JavaScript를 실행하지 않아서 GA4에는 거의 잡히지 않습니다.

AI 크롤러 로그 분석이 세는 것은 유입이 아니라 AI 봇이 페이지를 읽어 간 횟수입니다. AI 답변은 클릭을 거의 만들지 않아서 유입만 보면 노출이 크게 과소평가됩니다.
Vercel 분석에 따르면 OpenAI·Anthropic·Meta·ByteDance·Perplexity의 주요 AI 크롤러는 JavaScript를 실행하지 않고 예외는 Google Gemini와 AppleBot 정도입니다. 그래서 AI 봇 요청 대부분은 서버나 CDN 로그에만 남습니다. Clickport가 2026년 6월 23일부터 7월 6일까지 두 사이트의 로그를 본 결과 IP로 검증된 사용자 요청 수집은 8,280회, AI 검색 유입은 83회였습니다.
| AI 엔진 | 사용자 요청 수집 | AI 검색 유입 | 수집 대비 유입 |
|---|---|---|---|
| ChatGPT | 7,825회 | 23회 | 340:1 |
| Perplexity | 403회 | 29회 | 14:1 |
| Claude | 289회 | 18회 | 16:1 |
비율은 주마다 움직였습니다. 다음 주에는 수집 2,609회에 유입 17회로 약 150:1이었고 업종별로는 소비자 정보 사이트 49:1, B2B 사이트 약 1,100:1이었습니다. 유입이 거의 없는 B2B일수록 로그가 AI 노출의 주요 근거가 됩니다. AI 검색 세션 전환율은 20.3%(79세션 중 16건)로 나머지 채널 5.9%의 약 3.4배였습니다.
로그의 AI 봇은 학습, 검색 색인, 사용자 요청 세 계층으로 나누고 진위는 User-Agent가 아닌 공식 IP 대역으로 가립니다. 지금 사람들이 AI에게 묻는 페이지를 가장 직접 보여 주는 쪽은 URL을 하나씩 가져가는 사용자 요청 봇입니다.
| 봇 | 계층 | robots.txt | 공식 IP 목록 |
|---|---|---|---|
| GPTBot | 학습 | 적용 | gptbot.json |
| OAI-SearchBot | 검색 색인 | 적용 | searchbot.json |
| ChatGPT-User | 사용자 요청 | 적용되지 않을 수 있음 | chatgpt-user.json |
| ClaudeBot | 학습 | 적용 | bots.json |
| Claude-SearchBot | 검색 색인 | 적용 | bots.json |
| Claude-User | 사용자 요청 | 적용 | bots.json |
OpenAI 크롤러 개요는 ChatGPT-User를 사용자가 시작한 작업으로 분류합니다. 광고 페이지를 검사하는 OAI-AdsBot도 따로 운영하며 IP 목록은 adsbot.json으로 공개합니다. Anthropic은 claude.com/crawling/bots.json 하나에 크롤러 IP를 모아 두고 고객센터 안내에서 세 봇 모두 robots.txt 금지 지시와 Crawl-delay를 따른다고 밝힙니다. Claude-User를 막으면 사용자가 시작한 검색에서 노출이 줄어든다는 설명도 함께 있습니다.
Clickport 연구에서 ChatGPT-User라고 적힌 요청 중 OpenAI 공식 IP 대역에서 온 것은 95.2%였습니다. 나머지 394건은 User-Agent를 위조해 인증 정보 파일을 찾던 취약점 스캐너였는데요. 같은 연구에서 Claude 수집 289회 중 IP로 검증된 것은 52회였으니 집계표에는 봇별 검증 비율도 함께 적어 둡니다.
AI 크롤러 로그 분석의 6단계는 로그 범위를 정하는 데서 시작해 사용자 질문을 거꾸로 추정하는 데서 끝납니다. 틀을 한 번 만들어 두면 월간 점검은 같은 명령을 다시 돌리는 일이 됩니다.
awk '{print $9}'로 상태 코드를 세어 많이 읽히는 URL과 실패하는 URL을 나눕니다.# 사용자 요청 봇이 많이 가져간 URL 상위 20개 (Nginx 기본 형식)
grep -iE 'ChatGPT-User|Perplexity-User|Claude-User' access.log | awk '{print $7}' | sort | uniq -c | sort -rn | head -20
질문 추정이 필요한 까닭은 ChatGPT가 사용자 질문을 그대로 검색하지 않는다는 데 있습니다. arXiv 2610.15382에서 원 질문과 같은 검색어는 chatgpt-5.2-instant 실행의 5.5%에서만 나왔고 5.3·5.5-instant에서는 한 번도 나오지 않았습니다. 검색 색인 봇은 오는데 사용자 요청 봇이 오지 않는 페이지는 '색인은 됐지만 답변 재료로 선택되지 못한' 후보로 분류합니다.
패션 커머스 B사는 AI 크롤러 로그 분석으로 빠진 페이지를 찾아 고친 뒤 4개월 만에 핵심 질문 38개의 AI 가시성을 9%에서 64%로 올렸습니다. GA4에서 하루 20건 남짓이던 AI 유입 뒤에는 하루 평균 3,900회 남짓의 봇 요청이 있었습니다.
상품 페이지 약 3,000개를 운영하는 B사는 AI 채널을 마케팅 우선순위에서 빼 두고 있었습니다. 지오랭크가 원본 서버와 CDN 엣지 로그 90일치를 분석해 보니 ChatGPT-User 요청의 36%가 시즌이 끝나 URL이 바뀐 상품 페이지에서 404로 끝났습니다. Claude-User는 WAF 챌린지에 막혀 403을 받았고 신상품 페이지의 14%는 검색 색인 봇이 한 번도 가져가지 않았습니다. 사이즈·소재·관리법은 JavaScript 탭 안에만 있었습니다. 핵심 질문 38개를 ChatGPT·Gemini·Claude·Perplexity에 하루 5회씩 새 세션으로 물었을 때 B사가 답변 상위 5위 안에 든 비율은 9%였습니다.
첫 2주는 위조 요청을 걸러 내고 3계층별 URL·상태 코드 표를 만드는 데 썼습니다. 사용자 요청 봇이 자주 가져간 URL 옆에 AI 답변 인용 여부를 붙이자 많이 읽히는데 인용되지 않는 상품·기획전 페이지 140여 개가 드러났습니다. 3주차부터 주제가 같은 단종 상품 URL만 후속 상품으로 301 연결했고 WAF 규칙을 조정해 Claude 봇이 페이지를 읽게 했습니다. 캐시 정책을 손봐 AI 봇 응답 시간 중앙값을 3.8초에서 1초 안쪽으로 줄였습니다. 이어서 사이즈·소재·관리법을 서버 렌더링 HTML 본문으로 꺼내고 FAQ 블록과 Product·FAQPage 스키마를 붙였습니다. 체형·상황별 질문에는 비교·코디 가이드를 발행해 상품 페이지와 내부 링크로 묶었습니다.
접근 오류를 정리하고 6주가 지나자 Perplexity와 Claude 답변에서 B사 상품 페이지가 출처로 잡히기 시작했고 ChatGPT-User의 404 비율은 4%로 내려갔습니다. 4개월 차에는 4개 AI 모두 B사 상품 페이지를 인용 출처로 썼습니다. 같은 기간 AI 경유 세션은 2.2배로 늘었고 AI 유입의 구매 전환율은 일반 검색의 2.1배였습니다. B사 이커머스 팀장은 “로그로 빠진 페이지를 찾아 채우고 나니 ChatGPT 답변에 우리 코트가 추천 상품으로 나오기 시작했다”고 말했습니다.
AI 봇이 찾아와도 정상 응답을 받지 못하면 그 방문은 답변 재료가 되지 못합니다. 고치는 순서는 접근 오류(403·5xx·타임아웃), 429와 응답 속도, 콘텐츠 구조 순입니다.
AI 크롤러는 없는 페이지를 유난히 자주 요청합니다. Vercel 네트워크의 한 달 데이터(2024년 12월 발표)에서 404 비율은 ChatGPT 34.82%, Claude 34.16%로 Googlebot 8.22%의 4배를 넘었습니다. 리다이렉트를 따라간 요청 비율도 ChatGPT 14.36%로 Googlebot 1.49%보다 훨씬 높았습니다.
200·304는 정상 응답입니다. 403은 봇 관리나 방화벽 규칙 때문에 생기고 429는 요청 수 제한에서 나옵니다. 5xx가 반복되면 원본 서버 용량을 점검합니다. Anthropic은 크롤링 중 CAPTCHA를 우회하지 않는다고 밝혔으므로 WAF가 챌린지를 띄우면 Claude 봇은 그 페이지를 읽지 못합니다. 404는 기존 페이지와 주제가 같은 URL만 301로 연결합니다. 존재한 적 없는 추측 URL까지 리다이렉트하면 리다이렉트 비율만 늘어나기 때문입니다.
ChatGPT 인용을 가르는 가장 뚜렷한 신호는 검색 후보 순위이고 사이트가 직접 손볼 수 있는 곳은 답과 수치가 HTML 본문에 드러나 있는지입니다. 지오랭크는 로그의 '읽힘'과 질문 테스트의 '인용'을 같은 URL로 맞춰 네 유형으로 나누고 읽혔지만 인용되지 않은 페이지부터 고칩니다.
arXiv 2610.15382에서 검색 후보 순위의 실행 내 AUC는 5.3-instant 0.561, 5.5-instant 0.623이었습니다. 15위 밖 후보도 각각 24.0%, 19.0%가 인용됐으니 순위가 낮은 페이지에도 기회는 열려 있습니다. 검색 스니펫이 길수록 약하지만 일관되게 인용에 유리했습니다.
읽혔지만 인용되지 않은 페이지는 렌더링부터 봅니다. 답이 탭·아코디언·클라이언트 렌더링 영역 안에만 있으면 읽혀도 재료로 쓰이기 어렵습니다. 핵심 답과 수치는 서버에서 렌더링한 HTML 본문 텍스트로 꺼내 둡니다. 인용 테스트는 실행마다 결과가 달라지므로 질문마다 여러 번 돌려 비율로 기록합니다.
브랜드의 현재 상황과 목표를 알려주시면, 지오랭크가 GEO 전략과 예상 로드맵을 제안해 드립니다. 지금 문의하면 3개월 안에 AI 답변에서의 변화를 함께 확인할 수 있습니다.