분류: 개발 도구

robots.txt 테스터

자체 기획 도구찾는 도구가 없나요?

robots.txt가 경로를 허용하거나 차단하는지 확인

robots.txt를 붙여넣고 user-agent와 경로를 입력하면, 일치한 그룹과 규칙을 기준으로 크롤링 허용 여부를 확인할 수 있습니다. 브라우저에서 로컬로 실행되며 데이터를 LocalTools에 업로드하지 않습니다.

결과허용됨일치한 그룹*일치한 규칙Allow: /admin/public/

이 페이지의 모든 처리는 브라우저에서 이루어집니다. 업로드는 없습니다.

이 도구로 할 수 있는 일

robots.txt를 붙여넣고 user-agent와 경로를 입력하면, 일치한 그룹과 규칙을 기준으로 크롤링 허용 여부를 확인할 수 있습니다. 브라우저에서 로컬로 실행되며 데이터를 LocalTools에 업로드하지 않습니다. robots.txt 파일에는 여러 user-agent 그룹과 겹치는 Allow 및 Disallow 규칙이 들어갈 수 있어, 특정 경로가 실제로 차단되는지 잘못 판단하기 쉽습니다. 이 도구는 붙여넣은 robots.txt 텍스트를 분석하고 가장 구체적으로 일치하는 user-agent 그룹을 선택한 뒤, Google 크롤러가 사용하는 가장 구체적인 규칙 우선 원칙을 적용합니다. 일치하는 규칙 중 경로가 가장 긴 규칙이 이기며, 구체성이 같으면 Allow가 Disallow보다 우선합니다. 브라우저에서 로컬로 실행되며 데이터를 LocalTools에 업로드하지 않습니다.

사용 방법

  1. 입력 내용을 붙여넣습니다.
  2. 결과와 필요한 경고를 확인합니다.
  3. 결과를 복사합니다.

개인정보

이 도구는 전부 브라우저 안에서 동작합니다. 입력한 내용은 업로드되거나 저장되거나 공유되지 않으며, 탭을 닫으면 사라집니다.

자주 묻는 질문

robots.txt가 경로를 차단하는지 어떻게 테스트하나요?
robots.txt를 붙여넣고 user-agent와 경로를 입력하면, 일치한 그룹과 규칙을 기준으로 크롤링 허용 여부를 확인할 수 있습니다. 브라우저에서 로컬로 실행되며 데이터를 LocalTools에 업로드하지 않습니다.
Allow와 Disallow가 모두 일치하면 어떤 규칙이 우선하나요?
robots.txt를 붙여넣고 user-agent와 경로를 입력하면, 일치한 그룹과 규칙을 기준으로 크롤링 허용 여부를 확인할 수 있습니다.
결과에 사용된 내용을 확인할 수 있나요?
예. 페이지에는 결과와 함께 해당 도구와 관련된 일치 항목이나 경고가 표시됩니다.
입력 내용이 업로드되나요?
아니요. 입력 내용, 설정, 결과는 브라우저에서 로컬로 처리됩니다.
이 도구가 지원하지 않는 것은 무엇인가요?
온라인 robots.txt 파일을 가져오거나, 사이트를 크롤링하거나, 서버 파일을 변경하거나, robots meta 태그를 생성하거나, 크롤러별 구현을 모두 재현하지 않습니다. 붙여넣은 규칙을 하나의 user-agent와 경로에 대해 테스트할 뿐입니다.