robots.txt 테스터

이 도구는 무엇을 확인하나요?

robots.txt 는 한 줄만 잘못 써도 사이트 전체가 검색에서 사라질 수 있는 파일입니다. 그런데 눈으로 읽어서는 어느 봇에 어느 규칙이 적용되는지 알기 어렵습니다. 규칙 그룹이 여러 개일 때 특히 그렇습니다. 이 도구는 실제 판정 로직을 그대로 돌려 봇마다 결론과 근거를 함께 보여 줍니다.

가장 자주 발견되는 문제는 의도하지 않은 전면 차단입니다. 개발 중에 넣어 둔 Disallow: / 가 그대로 남아 있거나, 특정 봇 전용 그룹을 만들면서 공통 그룹의 예외 규칙이 함께 적용될 거라고 착각한 경우입니다. 두 경우 모두 이 표에서 바로 드러납니다.

판정 규칙과 그 경계

이 도구가 적용하는 규칙은 다음과 같습니다. 여러 크롤러가 공통으로 따르는 부분만 구현했고, 지원하지 않는 범위도 함께 밝힙니다.

범위를 이렇게 좁혀 둔 이유는 확실하게 말할 수 있는 것만 말하기 위해서입니다. 비-Google 크롤러가 내부적으로 robots.txt 를 어떻게 해석하는지는 공개돼 있지 않은 부분이 있어, 공통 부분집합을 넘어서면 추측이 됩니다.

차단으로 나왔다면 무엇을 해야 하나요?

1. 의도한 차단인지 확인유료 콘텐츠나 관리자 페이지라면 차단이 정상입니다. 결론이 의도와 같은지부터 봅니다.
2. 적용된 그룹 확인결과표의 "적용된 그룹" 열을 보고 어느 그룹이 원인인지 찾습니다. 봇 이름이 적혀 있으면 그 봇 전용 그룹을 고쳐야 합니다.
3. 생성기로 다시 만들기robots.txt 생성기에서 목적별로 다시 구성하면 그룹 병합 함정을 자동으로 피할 수 있습니다.
4. 올린 뒤 다시 판정서버에 올리고 실제 주소에서 파일을 열어 복사한 다음, 이 도구에 다시 넣어 확인합니다.
5. 전체 진단으로 마무리robots.txt 외에 meta robots·X-Robots-Tag 도 색인을 막을 수 있습니다. 검사기로 함께 확인하세요.

자주 묻는 질문

검사기 결과와 이 도구의 결과가 같나요?

같습니다. 이 페이지는 검사기 본체가 쓰는 판정 함수(Checker::parseRobots, Checker::robotsVerdict)를 그대로 호출합니다. 별도 구현을 두면 같은 robots.txt 에 서로 다른 답이 나올 수 있어 일부러 엔진을 공유합니다. 다만 검사기는 실제 사이트에서 robots.txt 를 직접 내려받는 반면, 이 도구는 붙여넣은 내용만 봅니다.

왜 봇마다 결과가 다르게 나오나요?

robots.txt 는 크롤러 이름별로 그룹을 만들고, 크롤러는 자기 이름과 정확히 일치하는 그룹이 있으면 그 그룹만 읽습니다. 일치하는 그룹이 없을 때만 "*" 그룹을 적용합니다. 그래서 같은 파일이라도 Googlebot 은 자기 전용 그룹을, GPTBot 은 "*" 그룹을 따르는 상황이 흔합니다. 결과표의 "적용된 그룹" 열이 각 봇이 어느 그룹을 읽었는지 보여 줍니다.

판정에 어떤 규칙을 쓰나요?

robots.txt 의 공통 규칙만 씁니다. 봇 이름 정확 일치 후 "*" 폴백, Allow·Disallow 의 접두사 매칭과 "*" 와일드카드·끝 "$" 앵커, 그리고 가장 구체적인(가장 긴) 규칙 우선과 동점일 때 Allow 우선입니다. 퍼센트 인코딩 정규화나 벤더별 비표준 해석은 다루지 않습니다. 이 경계는 프로젝트의 회귀 테스트로 고정돼 있습니다.

경로에 전체 주소를 넣어도 되나요?

됩니다. https://example.com/blog/post?id=1 처럼 넣으면 경로와 쿼리 부분(/blog/post?id=1)만 잘라 판정합니다. robots.txt 규칙은 도메인이 아니라 경로에 대해 적용되기 때문입니다.

입력한 robots.txt 가 저장되나요?

저장하지 않습니다. 요청을 받아 판정 결과를 만든 뒤 그대로 버립니다. 파일이나 데이터베이스에 기록하지 않으며 IP 도 남기지 않습니다.