AI 크롤러AI Crawler

쉽게 말하면

AI 크롤러는 사람 대신 사이트를 돌아다니며 페이지를 읽어 가는 프로그램이에요. 구글 검색봇이 검색 결과를 만들려고 사이트를 읽듯, AI 크롤러는 AI 서비스가 쓸 내용을 모으려고 사이트를 읽어요. AI 서비스는 크롤러가 모아 온 페이지를 바탕으로 답을 만들기 때문에, 크롤러가 읽지 못한 페이지는 답변의 근거로 쓰일 기회도 줄어요.

어떤 종류가 있나요

같은 회사의 크롤러도 하는 일에 따라 이름이 나뉘어요(2026년 10월 기준).

• 학습 수집: AI 모델을 학습시킬 자료를 모아요. GPTBot(OpenAI), ClaudeBot(Anthropic)
• 검색 색인: AI 검색에서 찾아 쓸 페이지 목록을 만들어요. OAI-SearchBot, Claude-SearchBot, PerplexityBot
• 실시간 방문: 누군가 AI에게 질문했을 때 그 자리에서 페이지를 읽어요. ChatGPT-User, Claude-User, Perplexity-User

실시간 방문 기록이 남았다면, 누군가의 질문에 답하려고 AI가 내 페이지를 읽었다는 뜻이에요. 그래서 내 페이지가 답변 후보로 쓰이고 있는지 짐작하는 단서가 돼요. OpenAI와 Perplexity는 실시간 방문용 크롤러가 robots.txt 규칙을 따르지 않을 수 있다고 밝혔어요. 구글은 Gemini 전용 크롤러를 따로 두지 않고, 구글 검색봇(Googlebot)이 모은 페이지를 써요.

각 회사의 안내: OpenAI · Anthropic · Perplexity

막을까, 열어 둘까?

사이트 운영자는 robots.txt에 크롤러 이름을 적어 그 크롤러가 들어오지 못하게 할 수 있어요. 막힌 크롤러는 내 페이지를 읽지 못하니, 그 회사의 AI 답변에 내 사이트가 인용될 기회도 줄어요.

크롤러마다 하는 일이 다르다는 점을 이용하면 나눠서 정할 수도 있어요. 학습 수집 크롤러가 모은 자료는 AI 모델을 학습시키는 데 쓰이고, 답변에 인용할 페이지를 찾는 일은 검색 색인과 실시간 방문 크롤러가 맡아요. 그래서 내 글이 학습에 쓰이는 것만 원하지 않는다면, 학습 수집 크롤러만 막고 나머지는 열어 두는 방법이 있어요.

큐샵에서는

큐샵의 SEO / GEO 대시보드에서는 검색엔진 봇과 LLM 봇의 방문을 나눠서 볼 수 있어요. 스타터 플랜부터는 사용자가 robots.txt를 직접 고칠 수 있고, 특정 페이지를 AI가 수집하지 못하게 막는 설정도 페이지마다 할 수 있어요. AI 크롤러는 로그인을 할 수 없어서, 회원만 볼 수 있는 페이지의 내용은 읽지 못해요. AI 답변에 쓰이길 바라는 내용은 로그인 없이 볼 수 있는 페이지에 두세요.