robots.txt, 파일을 검색 엔진 로봇 접근 허용으로 설정하는 방법

워드프레스 웹사이트에서  중요한 역할을 하는 robots.txt 파일! 이 파일을 어떻게 설정하느냐에 따라 검색 엔진 로봇의 접근을 효율적으로 관리하고, 웹사이트의 크롤링과 인덱싱을 최적화할 수 있습니다. 

오늘은 검색 엔진 로봇에게 최대한의 접근 권한을 부여하는 “허용” 중심의 robots.txt 코드와 설정 방법을 자세히 알아보겠습니다.

왜 “허용” 중심의 robots.txt 설정이 중요할까요?

기본적으로 검색 엔진 로봇은 웹사이트의 모든 페이지를 크롤링하고 인덱싱하는 것을 선호합니다. 특히 워드프레스는 다양한 콘텐츠와 구조를 가지고 있기 때문에, 특별히 차단해야 할 이유가 없다면 대부분의 영역을 허용하는 것이 일반적이며 SEO에 유리합니다. 불필요한 차단은 오히려 중요한 콘텐츠가 검색 결과에 노출되지 않는 결과를 초래할 수 있습니다.

워드프레스 기본 robots.txt 구조 이해하기

워드프레스 설치 시 자동으로 생성되는 기본적인 robots.txt 파일은 다음과 같은 형태를 가질 수 있습니다.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

• User-agent: *: 모든 검색 엔진 로봇에게 적용되는 규칙을 명시합니다. 특정 로봇에게만 적용하고 싶다면 * 대신 해당 로봇의 이름을 사용할 수 있습니다.
• Disallow: /wp-admin/: 워드프레스 관리자 페이지 폴더(/wp-admin/)에 대한 접근을 차단합니다. 이는 보안상의 이유로 매우 중요한 설정입니다.
• Allow: /wp-admin/admin-ajax.php: /wp-admin/ 폴더는 차단하되, admin-ajax.php 파일은 허용합니다. 이 파일은 워드프레스의 AJAX 기능을 위해 필요합니다.

검색 엔진 최적화를 위한 “허용” 중심 robots.txt 코드

대부분의 워드프레스 웹사이트에서는 위 기본 설정에 더하여 명시적으로 허용하는 규칙을 추가할 필요가 거의 없습니다. 오히려 불필요한 Disallow 규칙을 추가하여 검색 엔진의 크롤링을 방해하는 경우가 많습니다.

따라서, 최대한 허용하는 관점에서 권장하는 robots.txt 코드는 다음과 같습니다.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

이 코드는 모든 검색 엔진 로봇에게 웹사이트의 모든 콘텐츠 접근을 기본적으로 허용하며, 관리자 페이지 폴더만 차단하는 가장 일반적이고 안전한 설정입니다.

추가적인 robots.txt 설정 (필요에 따라)

위의 기본 설정으로 충분하지만, 특정 상황에서는 추가적인 설정을 고려해볼 수 있습니다. 하지만 신중하게 판단하고, 정말 필요한 경우에만 추가하는 것이 중요합니다.

• 특정 플러그인 폴더 차단 (매우 신중해야 함): 특정 플러그인이 생성하는 불필요한 페이지나 중복 콘텐츠가 발생한다면 해당 폴더를 차단할 수 있습니다. 하지만 이는 웹사이트 기능에 영향을 줄 수 있으므로 주의해야 합니다.
  User-agent: *
  Disallow: /wp-admin/
  Allow: /wp-admin/admin-ajax.php
  Disallow: /plugins/your-plugin-folder/
  
• 테마 관련 특정 폴더 차단 (신중해야 함): 테마의 특정 폴더에 불필요한 콘텐츠가 있다면 차단할 수 있습니다. 이 역시 웹사이트 디자인이나 기능에 영향을 줄 수 있으므로 주의해야 합니다.
  User-agent: *
  Disallow: /wp-admin/
  Allow: /wp-admin/admin-ajax.php
  Disallow: /themes/your-theme/unnecessary-folder/
  
• 크롤링 속도 제한 (고급 설정): 웹사이트 트래픽에 부담을 주는 과도한 크롤링을 방지하기 위해 크롤링 속도를 제한할 수 있습니다. 하지만 일반적으로 서버 환경이 충분하다면 설정할 필요가 없습니다.
  User-agent: *
  Disallow: /wp-admin/
  Allow: /wp-admin/admin-ajax.php
  Crawl-delay: 10
  
• 사이트맵 등록: robots.txt 파일에 사이트맵 주소를 명시하여 검색 엔진이 웹사이트의 구조를 더 쉽게 파악하도록 도울 수 있습니다.
  User-agent: *
  Disallow: /wp-admin/
  Allow: /wp-admin/admin-ajax.php
  Sitemap: https://yourdomain.com/sitemap.xml
  

주의: 위 추가 설정은 일반적인 경우가 아니며, 웹사이트 구조와 콘텐츠를 정확히 이해하고 신중하게 적용해야 합니다. 잘못된 설정은 검색 엔진 노출에 부정적인 영향을 미칠 수 있습니다.

워드프레스에서 robots.txt 파일 설정 및 확인 방법

1. FTP 또는 파일 관리자 접속: 웹호스팅 계정에 접속하여 FTP 클라이언트 또는 파일 관리자를 통해 웹사이트의 루트 디렉토리로 이동합니다.
2. robots.txt 파일 확인: 루트 디렉토리에 이미 robots.txt 파일이 있는지 확인합니다. 없다면 텍스트 편집기를 사용하여 파일을 생성합니다.
3. robots.txt 코드 편집: 위에 제시된 코드를 텍스트 편집기에 입력하거나 기존 파일을 수정합니다.
4. 파일 저장 및 업로드: 수정한 robots.txt 파일을 저장하고 웹사이트 루트 디렉토리에 업로드합니다.
5. robots.txt 파일 확인: 브라우저 주소창에 https://yourdomain.com/robots.txt 를 입력하여 파일 내용을 확인합니다. 설정한 내용이 올바르게 표시되는지 확인합니다.
6. Google Search Console robots.txt 테스터 활용: Google Search Console에 웹사이트를 등록했다면, robots.txt 테스터 도구를 이용하여 설정이 올바른지, 특정 URL이 차단 또는 허용되는지 등을 확인할 수 있습니다.

핵심 요약

• 대부분의 워드프레스 웹사이트에서는 **기본적인 robots.txt 설정 (관리자 페이지 차단, admin-ajax.php 허용)**으로 충분합니다.
• 불필요한 Disallow 규칙 추가는 SEO에 부정적인 영향을 줄 수 있으므로 신중해야 합니다.
• 추가적인 설정은 웹사이트의 특정 상황에 따라 신중하게 판단하고 적용해야 합니다.
• 설정 후에는 반드시 파일 내용을 확인하고 Google Search Console의 테스터 도구를 활용하여 오류를 점검하는 것이 중요합니다.

이 가이드라인을 통해 여러분의 워드프레스 웹사이트가 검색 엔진에 더욱 잘 노출되고, 효율적인 SEO 성과를 거두시기를 바랍니다!