robots.txt로봇 배제 표준

업데이트 2026.10.31 · Qshop Growth Lab

한 줄 정의

robots.txt는 사이트 맨 위 주소(/robots.txt)에 두고, 검색엔진이나 AI 서비스의 크롤러(사이트를 자동으로 돌아다니며 읽는 프로그램)에게 들어와도 되는 곳과 안 되는 곳을 알리는 규칙 파일이에요.

쉽게 말하면

robots.txt는 사이트 입구에 붙여 두는 출입 안내문이에요. 사이트 운영자는 이 파일에 크롤러 이름(User-agent)을 적고, 그 크롤러가 들어가도 되는 주소(Allow)와 들어가면 안 되는 주소(Disallow)를 줄마다 적어요. 크롤러는 사이트를 읽기 전에 이 파일을 먼저 확인해요. 그래서 파일은 사이트 맨 위 주소에 robots.txt라는 소문자 이름으로 있어야 해요.

어디서 나온 말인가요

robots.txt 규칙은 1994년 마르테인 코스터(Martijn Koster)가 처음 정의한 '로봇 배제 표준'에서 시작했어요. 2022년 9월에는 이 방식을 다듬고 넓힌 인터넷 표준 문서 RFC 9309가 나왔고, 코스터와 구글 소속 엔지니어들이 함께 썼어요.

무엇을 막지 못하나요

RFC 9309는 robots.txt 규칙이 접근 권한을 막는 장치가 아니라고 밝혀요. 규칙을 지키는 크롤러는 막힌 주소에 들어가지 않지만, 규칙을 무시하는 프로그램까지 막지는 못해요. 또 robots.txt는 누구나 열어 볼 수 있어서, 숨기고 싶은 주소를 적으면 오히려 그 주소가 드러나요.

구글은 robots.txt가 페이지를 구글 검색에서 빼는 방법이 아니라고 설명해요. 다른 사이트가 막힌 페이지로 링크를 걸어 두면, 구글이 그 주소를 찾아 검색 결과에 올릴 수 있기 때문이에요. 페이지를 검색에서 빼려면 noindex 태그(검색 결과에 넣지 말라는 표시)를 넣거나 비밀번호로 잠그라고 권해요(구글 검색 센터).

큐샵에서는

큐샵 관리자 화면의 공통코드관리에서는 스타터 플랜부터 robots.txt를 직접 고칠 수 있어요. 파일을 직접 고치지 않아도, 페이지별 SEO / GEO 설정에서 특정 페이지를 검색엔진이나 AI가 수집하지 못하게 제한할 수 있어요.

헷갈리는 말

헷갈리는 말	뜻	robots.txt와 다른 점
llms.txt	AI에게 사이트의 핵심 페이지를 요약해 알려 주는 안내 파일	robots.txt는 출입을 정하고, llms.txt는 사이트를 소개해요
사이트맵	검색엔진에게 페이지 주소 목록을 알려 주는 파일	robots.txt는 들어가면 안 되는 곳을 알리고, 사이트맵은 둘러볼 페이지를 알려요