분류: 개발 도구
Robots.txt 테스터
robots.txt 파일이 특정 user-agent에 대해 경로를 허용하는지 차단하는지 확인
robots.txt 내용, user-agent, 경로를 입력하면 크롤링이 허용되는지 여부와 일치한 규칙 및 그룹을 보여줍니다. 모든 처리가 브라우저에서 이루어집니다.
이 페이지의 모든 처리는 브라우저에서 이루어집니다. 업로드는 없습니다.
이 도구로 할 수 있는 일
robots.txt 파일은 여러 user-agent 그룹과 겹치는 Allow, Disallow 규칙을 가질 수 있어, 특정 경로가 실제로 차단되었는지 잘못 판단하기 쉽습니다. 이 도구는 붙여넣은 robots.txt 텍스트를 분석해 가장 구체적으로 일치하는 user-agent 그룹을 선택하고, Google 크롤러가 사용하는 최우선 규칙, 즉 일치하는 규칙 중 경로가 가장 긴 규칙이 우선하며 동일하게 구체적인 경우 Allow가 Disallow보다 우선한다는 원칙을 적용합니다.
사용 방법
- robots.txt 내용을 입력창에 붙여넣습니다.
- 테스트할 user-agent를 입력합니다. 예: * 또는 Googlebot.
- 테스트할 경로를 입력하고 허용 여부와 일치한 그룹 및 규칙을 확인합니다.
개인정보
이 도구는 전부 브라우저 안에서 동작합니다. 입력한 내용은 업로드되거나 저장되거나 공유되지 않으며, 탭을 닫으면 사라집니다.
자주 묻는 질문
- 제 robots.txt가 어딘가로 전송되나요?
- 아니요. 분석과 매칭은 모두 브라우저 탭 안의 JavaScript로 실행됩니다.
- 경로에 일치하는 규칙이 없으면 어떻게 되나요?
- 경로는 기본적으로 허용됩니다. 이는 실제 크롤러가 robots.txt를 다루는 방식과 같으며, 명시적인 Disallow 규칙만 접근을 제한합니다.
- 어떤 우선순위 규칙을 사용하나요?
- 최우선 규칙 방식입니다. 경로에 일치하는 규칙 중 경로 문자열이 가장 긴 규칙이 적용됩니다. 길이가 같은 두 규칙이 서로 다르게 판단하면, 이 도구는 Google이 문서화한 동작에 따라 제한이 덜한 Allow 규칙을 우선합니다.