워드프레스 블로그에 robots.txt 파일을 적용 하는 방법

robots.txt의 역할 및 중요성

robots.txt는 웹사이트 루트에 위치한 텍스트 파일로, 검색 엔진 크롤러에게 크롤링 및 색인 지침을 제공한다.
주요 목적은 크롤러의 자원을 최적화하여 중요 페이지에 집중하도록 하고, 원치 않는 페이지에 대한 서버 리소스 낭비를 방지하는 것이다.
크롤링 명령은 Disallow, Allow, Crawl-delay, Sitemap 네 가지로 구성되며, 각 지시어는 크롤러 동작을 세밀하게 제어한다.

WordPress에서 robots.txt 기본 동작

가상 robots.txt 파일 이해하기

WordPress는 robots.txt 파일이 없을 경우 메모리 상에 가상 파일을 생성하여 응답한다.

기본 디렉티브 확인하기

기본 생성되는 디렉티브는 다음과 같다:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

이는 모든 크롤러에 대해 관리자 페이지 접근을 제한하면서 Ajax 파일은 허용하는 설정이다.

robots.txt 파일 생성 및 적용 방법

1. 플러그인 사용

Yoast SEO를 통한 편집

1. 워드프레스 대시보드에서 Yoast SEO > 도구 > 파일 편집기(File Editor) 로 이동한다.
2. “robots.txt 파일 생성(Create robots.txt file)” 버튼을 클릭하여 물리 파일을 만든 뒤, 내용을 편집한다.

All in One SEO(AIOSEO)를 통한 편집

1. All in One SEO > 도구(Tools) 메뉴를 연다.
2. ‘Enable Custom Robots.txt’ 토글을 활성화한 후, 에디터에서 직접 지시어를 입력 및 수정한다.
3. 변경 사항을 저장하면 도메인 루트의 robots.txt가 업데이트된다.

2. 수동 생성 및 업로드

1. 텍스트 에디터(메모장 등)로 robots.txt 파일을 생성한다. 파일명은 소문자, 확장자는 .txt로 설정해야 한다.
2. FTP/SFTP 또는 호스팅 제공업체의 파일 매니저를 통해 사이트 루트 디렉터리에 업로드한다.

robots.txt 최적화 및 권장 디렉티브

필수 지시어

• User-agent: * : 모든 크롤러에 적용
• Allow/Disallow : 크롤러가 접근 가능한 경로와 차단할 경로 지정
• Sitemap : XML 사이트맵 위치를 명시하여 크롤러가 빠르게 사이트맵을 찾도록 지원
• Crawl-delay : 크롤링 간격을 설정해 서버 부담 완화 (필요 시)

예시 파일

User-agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/

Sitemap: https://example.com/sitemap_index.xml

이 구성은 업로드 폴더는 크롤링하면서 플러그인, 관리자 페이지는 차단하고, 사이트맵 경로를 제공한다.

robots.txt 테스트 및 검증

Google Search Console Robots.txt 테스트

1. Google Search Console에 사이트를 등록 및 소유권을 확인한다.
2. 검사 > Robots.txt 테스터 도구를 사용해 문법 오류 및 지시어 적용 상태를 확인한다.

기타 검사 도구

외부 서비스(예: Kinsta의 robots.txt 테스트 도구)를 활용해 다각도로 검증할 수 있다.

주의사항 및 베스트 프랙티스

흔히 하는 실수 14가지

• 잘못된 주석 사용, 공백 위치 오류, 대소문자 구분 미숙지 등은 의도치 않게 크롤러를 차단할 수 있다.
• 플러그인과 수동 파일이 충돌하지 않도록 관리할 것

AI 크롤러 블로킹 사례

일부 사이트는 AI 학습용 크롤러(GPTBot, Claude-Web 등)를 차단하기 위해 User-agent에 해당 봇을 추가하기도 한다.

결론

WordPress의 robots.txt는 기본적으로 안전하지만, 사이트 규모가 커질수록 커스터마이징이 필요하다. 플러그인을 이용한 간편 편집 또는 FTP를 통한 수동 업로드로 물리 파일을 생성하고, Allow/Disallow, Sitemap 등 핵심 지시어를 적절히 활용해 검색 엔진 최적화를 극대화하자. 마지막으로 Google Search Console 등으로 꼼꼼히 테스트해 제대로 반영되었는지 확인하는 것이 중요하다.