robots.txt 에 의해 차단됨 이란 문구 보신적 있으신가요?
이번 포스팅에선 해결방법 및 그 외 워프 노하우 등
함께 살펴보도록 하겠습니다.
(유료 광고,홍보,협찬 X)
robots.txt 에 의해 차단됨
robots.txt 파일은 구글과 같은 검색 엔진에게 웹사이트에서
크롤링할 수 있는 페이지와 차단해야 할 페이지를 안내하는 중요한 역할을 합니다.
사용자가 의도적이든 실수로든 구글이 크롤링하기를 원하는
페이지를 차단하게 되면 이와 같은 오류가 발생할 수 있습니다.
예를 들어, 워드프레스 블로그의 관리자 페이지 주소를 robots.txt 파일에서
차단하면 구글은 해당 페이지를 크롤링할 수 없으며,
이로 인해 서치 콘솔에서 해당 주소가 차단된 목록으로 표시됩니다.
이러한 오류를 해결하기 위해서는 robots.txt 파일을 편집하는 방법과
구글 서치 콘솔의 테스터 도구를 활용하는 것이 효과적입니다.
먼저, robots.txt 파일을 확인하여 구글이 인덱싱하길 원하는
페이지에 대한 접근을 허용하도록 수정할 수 있습니다.
관리자 모드에서 'Rank Math 검색엔진 최적화 > 일반 설정 > Robots.txt 편집' 메뉴로 이동한 후,
노란색으로 표시된 'Disallow' 항목을 삭제하면 됩니다.
또한, 구글 서치 콘솔의 robots.txt 테스터 도구를 사용하여 robots.txt 파일을 검증할 수 있습니다.
이를 통해 차단된 페이지를 다시 크롤링하도록 요청할 수 있습니다.
구글 서치 콘솔에서 'robots.txt 테스트'를 검색한 후,
해당 페이지에 URL을 입력하여 테스트를 진행하고, URL 검사를 통해 다시 색인 요청을 하시면 됩니다.
이러한 과정을 통해 robots.txt에 의해 차단된 페이지 문제를 효과적으로 해결할 수 있습니다.
워드프레스 robots.txt 설정과 Rank Math 문제
워드프레스에서 robots.txt를 올바르게 설정하면
검색 엔진이 쓸데없는 폴더를 크롤링할 필요가 없어져 크롤링 속도가 향상됩니다.
대부분의 경우, robots.txt 파일은 사이트의 루트 폴더에
생성되거나 플러그인을 통해 관리됩니다.
때때로 검색해보면 실제로 해당 폴더에 파일이 없는 경우도 있습니다.
Rank Math와 같은 SEO 플러그인을 이용해 robots.txt를 생성하는 경우,
루트 폴더에 해당 파일이 보이지 않지만 Rank Math에서 가상의 robots.txt를 만들어 관리합니다.
이때 수정하려고 할 때 'robots.txt file is not writable'라는 메시지가 나타나는 경우가 있습니다.
Rank Math는 Yoast SEO나 All in One SEO Pack과 같은 SEO 플러그인으로,
사용하기 편리한 기능을 제공합니다.
이전에는 직접 robots.txt 파일을 만들어 루트 폴더에 넣었지만,
현재는 Rank Math로 이를 관리하고 있습니다. Rank Math에서 robots.txt 파일을
편집하려면 워드프레스 관리자 페이지의
왼쪽 메뉴에서 'Rank Math' > 'General Settings' > 'Edit robots.txt'를 선택하면 됩니다.
robots.txt는 검색 엔진의 접근을 허용하거나 차단하는 기본적인 기능을 가지고 있습니다.
네이버 웹마스터 도구에서도
이 파일을 설정하는 방법을 잘 안내하고 있으니 참고하시면 좋습니다.
기본적으로 robots.txt 파일에는 검색 엔진이 접근하도록 허용하거나 금지하는 명령어를 넣어주면 됩니다.
예를 들어, 다음과 같은 내용을 기본적으로 사용합니다.
```
User-agent: *
Disallow: /wp-admin/
```
여기서 'Disallow'는 해당 폴더에 대한 접근을 허용하지 않는다는 뜻이며,
'/wp-admin/' 폴더는 검색 엔진이 크롤링하지 않도록 설정된 것입니다.
'User-agent: *'는 모든 검색 엔진이 접근할 수 있도록 허용하는 것을 의미합니다.
만약 모든 폴더에 대한 접근을 허용하고 싶다면 'Disallow' 대신 'Allow: /'를 사용하면 됩니다.
특정 폴더에 대한 허용/금지를 설정하면 검색 엔진이 불필요한
폴더에 접근하는 것을 막아 검색이 더 원활해지는 효과를 볼 수 있습니다.
Rank Math에서 robots.txt 파일을 수정하려고 할 때
'robots.txt file is not writable'라는 오류 메시지가 나타날 수 있습니다.
이는 Rank Math에서 파일을 임의로 수정할 수 없도록 보안 설정이 되어 있기 때문입니다.
이를 해결하기 위해서는 몇 가지 단계를 거쳐야 합니다.
먼저 FTP를 통해 wp-config.php 파일을 다운로드한 후,
메모장이나 편집기로 열어 'DISALLOW_FILE_EDIT'을 찾아야 합니다.
보통 다음과 같이 설정되어 있습니다.
```
define('DISALLOW_FILE_EDIT', true);
```
이 부분을 `false`로 변경한 후 wp-config.php 파일을
다시 서버에 업로드하면 Rank Math에서 robots.txt 파일을 편집할 수 있게 됩니다.
주의할 점은 wp-config.php 파일은 매우 중요한 파일이므로,
수정 후에는 다시 'DISALLOW_FILE_EDIT'을 'true'로 변경하여 보안을 유지하는 것이 좋습니다.
이렇게 Rank Math로 만든 robots.txt 파일이
편집 불가능할 때 문제를 해결하는 방법과 robots.txt 파일의 기본적인 기능을 간단히 살펴보았습니다.
더 자세한 내용은 아래 링크에서 추가로 확인하실 수 있습니다.
https://m.site.naver.com/1uDRe
워드프레스 robots.txt에 의해 차단됨 해결방법 및 기타 노하우
jbnm.shop