Robots.txt 유효성 검사기

ETTVI의 Robots.txt 유효성 검사기를 사용하는 방법은 무엇입니까?

ETTVI의 고급 도구를 사용하여 웹사이트의 robots.txt 파일을 테스트하려면 다음의 간단한 단계를 따르세요.

1단계 - URL 입력

웹사이트의 URL을 다음과 같이 작성하세요.

참고: 슬래시 뒤에 "robots.txt"를 추가하는 것을 잊지 마십시오.

2단계 - 사용자 에이전트 선택

robots.txt 파일을 검사하려는 크롤러를 지정하세요.

다음 사용자 에이전트 중 하나를 선택할 수 있습니다.

• 구글봇
• Google 봇 뉴스
• 애드센스
• AdsBot
• 빙봇
• MSNBot-미디어
• 야후!
• 오리오리고
• 바이두
• 얀덱스
• 페이스북
• 트위터봇
• 보티파이

3단계 - Robots.txt 파일 유효성 검사

"확인"을 클릭하면 ETTVI의 무료 Robots.txt 유효성 검사기가 실행되어 해당 웹 사이트의 로봇 메타 지시어를 식별하고 검사합니다. 선택한 봇이 크롤링할 수 있거나 크롤링할 수 없는 URL이 강조 표시됩니다.

"확인"을 클릭하면 ETTVI의 무료 Robots.txt 유효성 검사기가 실행되어 해당 웹 사이트의 로봇 메타 지시어를 식별하고 검사합니다. 선택한 봇이 크롤링할 수 있거나 크롤링할 수 없는 URL이 강조 표시됩니다.

User-agent: *는 모든 검색 엔진 크롤러가 웹사이트를 크롤링하는 것이 허용/거부됨을 나타냅니다.

허용: 해당 검색 엔진 크롤러가 URL을 크롤링할 수 있음을 나타냅니다.

Disallow: indicatDisallow: 해당 검색 엔진 크롤러가 URL을 크롤링할 수 없음을 나타냅니다.

Robots.txt 파일이란 무엇입니까?

Robots.txt 파일은 크롤러가 웹 페이지에 액세스하고 크롤링하는 것을 허용하거나 허용하지 않습니다. Robots.txt 파일을 검색 엔진 크롤러에 대한 지침 매뉴얼로 생각하십시오. 이는 웹 사이트의 어느 부분에 액세스할 수 있고 어느 부분에 액세스할 수 없는지를 지정하는 일련의 지침을 제공합니다.

더 명확하게 말하자면, robots.txt 파일을 통해 웹마스터는 크롤러(액세스 대상 및 방법)를 제어할 수 있습니다. 크롤러는 사이트 구조에 직접 접속하지 않고 해당 웹사이트의 robots.txt 파일에 액세스하여 크롤링이 허용되는 URL과 허용되지 않는 URL을 파악한다는 점을 알아야 합니다.

Robots.txt 파일의 사용

ㅏRobots.txt 파일웹마스터가 웹 페이지, 미디어 파일 및 리소스 파일을 모든 검색 엔진 크롤러의 손이 닿지 않는 곳에 보관하는 데 도움이 됩니다. 간단히 말해서 URL이나 이미지, 비디오, 오디오, 스크립트 및 스타일 파일을 SERP에서 분리하는 데 사용됩니다.

대부분의 SEO는 검색 엔진 결과에 웹 페이지가 표시되지 않도록 차단하는 수단으로 Robots.txt 파일을 활용하는 경향이 있습니다. 그러나 메타 로봇 ​​지시문 적용 및 비밀번호 암호화와 같은 다른 방법이 있으므로 이 목적으로 사용해서는 안됩니다.

Robots.txt 파일은 크롤러가 크롤링 요청으로 인해 웹사이트를 오버로드하는 것을 방지하는 목적으로만 사용해야 합니다. 또한 필요한 경우 Robots.txt 파일을 사용하여 중요하지 않거나 개발이 덜 된 웹 페이지를 차단함으로써 크롤링 예산을 절약할 수 있습니다.

Robots.txt 파일 사용의 이점

Robots.txt 파일은 웹 사이트 SEO에 있어 에이스가 될 수도 있고 위험할 수도 있습니다. 의도치 않게 검색 엔진 봇이 전체 웹 사이트를 크롤링하는 것을 허용하지 않는 위험한 가능성을 제외하고 Robots.txt 파일은 항상 유용합니다.

웹마스터는 Robots.txt 파일을 사용하여 다음을 수행할 수 있습니다.

• 사이트맵 위치 지정
• 중복 콘텐츠 크롤링 금지
• 특정 URL 및 파일이 SERP에 표시되지 않도록 방지
• 크롤링 지연 설정
• 크롤링 예산을 절약하세요

이러한 모든 방법은 웹사이트 SEO에 가장 적합한 것으로 간주되며 오직 Robots.txt만 적용하는 데 도움이 될 수 있습니다.

Robots.txt 파일 사용에 대한 제한 사항

모든 웹마스터는 경우에 따라 로봇 제외 표준이 웹페이지 크롤링을 방지하지 못할 수도 있다는 사실을 알아야 합니다. Robots.txt 파일 사용에는 다음과 같은 특정 제한 사항이 있습니다.

• 모든 검색 엔진 크롤러가 robots.txt 지시문을 따르는 것은 아닙니다.
• 각 크롤러에는 robots.txt 구문을 이해하는 고유한 방법이 있습니다.
• Googlebot이 허용되지 않은 URL을 크롤링할 가능성이 있습니다.

차단된 URL이 모든 검색 엔진 크롤러로부터 숨겨진 상태로 유지되도록 하기 위해 특정 SEO 방법을 수행할 수 있습니다.

Robots.txt 파일 생성

Robots.txt 파일을 만들고 수정하는 방법을 알아보려면 다음 샘플 형식을 살펴보세요.

User-agent: * Disallow: /는 모든 검색 엔진 크롤러가 모든 웹페이지를 크롤링하는 것이 금지됨을 나타냅니다.

User-agent: * Disallow: 모든 검색 엔진 크롤러가 전체 웹사이트를 크롤링할 수 있음을 나타냅니다.

User-agent: Googlebot Disallow: /는 Google 크롤러만 웹사이트의 모든 페이지를 크롤링하는 것이 허용되지 않음을 나타냅니다.

User-agent: * Disallow: /subfolder/는 검색 엔진 크롤러가 이 특정 하위 폴더 또는 카테고리의 웹 페이지에 액세스할 수 없음을 나타냅니다.

동일한 방법으로 Robots.txt 파일을 만들고 수정할 수 있습니다. 구문에 주의하고 규정된 규칙에 따라 Robots.txt의 형식을 지정하세요.

Robots.txt 구문

Robots.txt 구문은 robots.txt 파일의 형식을 지정하고 구조화하는 데 사용하는 언어를 나타냅니다. Robots.txt 구문을 구성하는 기본 용어에 대한 정보를 제공하겠습니다.

User-agent는 크롤링해야 할 URL과 크롤링하지 말아야 할 URL을 포함하여 크롤링 지침을 제공하는 검색 엔진 크롤러입니다.

Disallow는 사용자 에이전트에게 해당 URL을 크롤링하지 않도록 지시하는 로봇 메타 지시어입니다.

허용은 Googlebot에만 적용할 수 있는 로봇 메타 지시어입니다. 이는 Google 크롤러에게 웹페이지나 하위 폴더에 액세스하고 크롤링한 다음 색인을 생성할 수 있음을 지시합니다.

크롤링 지연은 크롤러가 웹 콘텐츠를 크롤링하기 전에 기다려야 하는 시간(초)을 결정합니다. 참고로 Google 크롤러는 이 명령을 따르지 않습니다. 어쨌든 필요한 경우 Google Search Console을 통해 크롤링 속도를 설정할 수 있습니다.

사이트맵은 해당 웹사이트의 XML 사이트맵 위치를 지정합니다. Google, Ask, Bing 및 Yahoo만이 이 명령을 인정합니다.

* , / 및 $ 를 포함한 특수 문자를 사용하면 크롤러가 지시문을 더 쉽게 이해할 수 있습니다. 이름에서 알 수 있듯이 각 문자에는 특별한 의미가 있습니다.

*는 모든 크롤러가 해당 웹사이트를 크롤링하는 것이 허용되거나 허용되지 않음을 의미합니다. /는 허용/비허용 지시어가 모든 웹페이지에 적용된다는 의미입니다.

Robots.txt 요약 정보

• ➔ 하위 도메인의 Robots.txt 파일이 별도로 생성됩니다.
• ➔ Robots.txt 파일 이름은 대소문자를 구분하므로 소문자로 " robots.txt "로 저장해야 합니다.
• ➔ Robots.txt 파일은 웹사이트의 최상위 디렉터리에 있어야 합니다.
• ➔ 모든 크롤러(user-agent)가 robots.txt 파일을 지원하는 것은 아닙니다.
• ➔ Google 크롤러는 링크된 웹사이트에서 차단된 URL을 찾을 수 있습니다.
• ➔ 모든 웹사이트의 Robots.txt 파일은 공개적으로 접근 가능합니다. 즉, 누구나 접근할 수 있습니다.

프로 팁:꼭 필요한 경우에는 robots.txt 파일 대신 비밀번호 암호화, 로봇 메타태그 등 다른 URL 차단 방법을 사용하여 특정 웹페이지의 크롤링을 방지하세요.