분류: 개발 도구
robots.txt 생성기
공유 규칙 및 크롤러 사전 설정을 사용하여 robots.txt 파일을 만듭니다.
사용자 에이전트, 허용, 허용 안 함, 크롤링 지연, 하나의 사이트맵 및 검색, 소셜, AI 및 SEO 크롤러용 사전 설정을 사용하여 로컬에서 robots.txt를 생성합니다.
기본 그룹과 아래에서 허용 또는 차단으로 설정한 모든 크롤러에 적용됩니다. Google은 Crawl-delay를 무시하지만, Bing과 Yandex를 비롯한 대부분의 크롤러는 이를 따릅니다.
제한 디렉터리는 접근 권한이 허용으로 설정된 곳이라면 어디든 차단됩니다. 완전히 차단한 크롤러는 이미 차단되어 있으므로 여기서는 추가 효과가 없습니다.
"기본값과 동일"으로 설정하면 해당 크롤러가 위의 기본 그룹을 따릅니다. "허용" 또는 "차단"으로 설정하면 위에서 지정한 경로와 Crawl-delay를 사용하는 전용 User-agent 블록이 생성됩니다.
검색 엔진
소셜 링크 미리보기
AI 크롤러
SEO 크롤러
User-agent: * Disallow: /admin/ Disallow: /private/ Sitemap: https://example.com/sitemap.xml
이 페이지의 모든 처리는 브라우저에서 이루어집니다. 업로드는 없습니다.
이 도구로 할 수 있는 일
이 robots.txt 생성기는 브라우저에 파일 본문을 작성합니다. 사용자 에이전트 구성: * 그룹, 기본 허용 또는 차단 동작, 허용 안 함 경로, 허용 경로, 선택적 크롤링 지연, 사이트맵 URL 1개, 사용자 정의 사용자 에이전트 1개 및 고정 크롤러 사전 설정 14개. 사전 설정에는 Googlebot, Bingbot, GPTBot, Google-Extended, CCBot 및 AhrefsBot과 같은 검색, 소셜, AI 및 SEO 크롤러가 포함됩니다. 기본값으로 설정된 크롤러는 생략되고 와일드카드 그룹에 속합니다. 생성된 모든 그룹에서 동일한 허용 및 허용 안 함 경로가 반복되므로 도구는 하나의 경로 규칙 범위를 하나의 크롤러로만 지정할 수 없습니다. 출력을 복사하거나 Blob 개체 URL에서 robots.txt를 다운로드할 수 있습니다. 이 도구는 테스트, 검증, 일치 시뮬레이션, 기존 robots.txt 가져오기, 사이트에 게시, 웹마스터 도구에 제출, 경로 검증, 여러 사이트맵 행 추가 또는 로봇 메타 태그, X-Robots-Tag, Noindex, Host 또는 Clean-param 지시어 출력을 수행하지 않습니다. 크롤링 지연은 입력한 대로 정확하게 작성되며 Googlebot에서는 무시됩니다. 설정은 브라우저에 그대로 유지됩니다.
사용 방법
- 기본 액세스 모드를 선택하고 공유 허용 또는 허용 안 함 경로를 입력합니다.
- 필요한 경우 크롤링 지연, 하나의 Sitemap URL, 맞춤 사용자 에이전트 또는 크롤러 사전 설정 재정의를 추가하세요.
- 생성된 robots.txt를 검토한 후 복사하거나 사이트 루트용 파일을 다운로드하세요.
개인정보
이 도구는 전부 브라우저 안에서 동작합니다. 입력한 내용은 업로드되거나 저장되거나 공유되지 않으며, 탭을 닫으면 사라집니다.
자주 묻는 질문
- User-agent를 어떻게 정의하나요?
- 와일드카드 User-agent: * 그룹은 항상 생성됩니다. 하나의 사용자 정의 사용자 에이전트를 추가하고 고정 크롤러 사전 설정에 대해 허용, 차단 또는 기본값을 선택할 수 있습니다.
- Disallow 지시문을 어떻게 사용해야 합니까?
- 한 줄에 하나의 경로를 입력하세요. LocalTools는 빈 줄을 자르고 각 경로에 대해 하나의 Disallow 줄을 작성하지만 경로의 유효성을 검사하거나 일치를 시뮬레이션하지 않습니다.
- 내 Sitemap을 robots.txt에 추가할 수 있나요?
- 예, 끝에 하나의 Sitemap 행을 추가할 수 있습니다. 이 도구는 사이트맵 URL의 유효성을 검사하지 않으며 여러 사이트맵 행을 지원하지 않습니다.
- 생성된 robots.txt 파일을 내 웹사이트에 어떻게 추가하나요?
- 파일을 복사하거나 다운로드하여 자신의 사이트 루트에 배치하세요. LocalTools는 귀하를 위해 이를 업로드, 게시 또는 제출하지 않습니다.
- 하나의 크롤러에만 다른 허용 안함을 설정할 수 있습니까?
- 아니요. 크롤러 사전 설정은 허용, 차단 또는 생략될 수 있지만 동일한 허용 및 허용 안 함 경로 목록이 생성된 각 그룹에서 반복됩니다.