
[SEO] robots.txt 파일 알아보기

·
🎨 프론트엔드 공부/프론트엔드
📍목표- robots.txt 파일에 대해 알아보기 📍왜 페이지 색인이 생성되지 않나요?서브 블로그를 새로 만들고 구글 서치콘솔에 등록한 다음날, 페이지 색인이 만들어지지 않는다는 메일을 받았다 구글 서치콘솔에서 자세한 내용을 살펴보니, robots.txt에 의해 차단되었다는 메시지가 있었다 (나는 robots.txt를 만든 적이 없는데!!) 차단된 URL은 아래와 같음 살펴보니 /manage 는 관리자 페이지이고, /guestbook은 방명록 페이지이다. 그렇다면 구글 봇을 차단하는게 이해가 된다. 그런데 별도로 robots.txt를 만들지 않았는데? 찾아보니, 기본 적용되고 있는 robots.txt 파일은 다음과 같았다. 아마 티스토리에서 내부적으로 robots.txt 파일을 만들어 놓은 것 같다...