분류: 개발 도구
Robots.txt 생성기
허용, 차단, 사이트맵 규칙이 담긴 robots.txt 파일 생성
User-agent, 허용 및 차단 경로, 선택적인 crawl-delay, 사이트맵 URL을 설정하면 바로 사용할 수 있는 robots.txt 파일을 생성합니다. 모든 처리가 브라우저에서 이루어집니다.
robots.txt
robots.txt
User-agent: * Allow: / Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
이 페이지의 모든 처리는 브라우저에서 이루어집니다. 업로드는 없습니다.
이 도구로 할 수 있는 일
robots.txt 파일은 검색엔진 크롤러에게 사이트의 어느 부분을 요청해도 되고 어느 부분은 안 되는지 알려주며, 사이트맵 위치도 안내할 수 있습니다. 이 생성기는 User-agent, 허용 경로 목록, 차단 경로 목록, 선택적인 crawl-delay, 사이트맵 URL로부터 표준 형식의 파일을 만듭니다.
사용 방법
- User-agent를 설정하거나, 모든 크롤러에 적용하려면 *로 둡니다.
- 허용 및 차단 경로를 한 줄에 하나씩 나열하고 사이트맵 URL을 추가합니다.
- 생성된 robots.txt를 사이트 루트에 복사해 넣습니다.
개인정보
이 도구는 전부 브라우저 안에서 동작합니다. 입력한 내용은 업로드되거나 저장되거나 공유되지 않으며, 탭을 닫으면 사라집니다.
자주 묻는 질문
- 제 사이트 정보가 어딘가로 전송되나요?
- 아니요. 파일은 페이지 안에서 실행되는 자바스크립트가 입력값으로부터 조합하므로 아무것도 업로드되지 않습니다.
- robots.txt는 어디에 두어야 하나요?
- 크롤러가 다른 페이지를 요청하기 전에 찾을 수 있도록 https://example.com/robots.txt처럼 도메인 루트에 두어야 합니다.
- 모든 크롤러가 crawl-delay를 지키나요?
- 아니요. crawl-delay는 널리 쓰이는 관례일 뿐 공식 표준이 아니므로 일부 크롤러는 이를 완전히 무시합니다.