robots.txt는 검색 엔진 크롤러를 위한 지침 파일로, 크롤링 최적화와 서버 리소스 관리를 돕는다. WordPress는 기본 설정으로 가상 파일을 생성하며, Yoast SEO나 All in One SEO를 통해 사용자 지정이 가능하다. 지시어 활용과 Google Search Console로 테스트해 최적화를 확인하는 것이 중요하다.