robots.txt 파일을 제대로 설정했는데도 구글이 차단된 페이지를 자꾸 크롤링한다거나, 검색 결과에 떠야 할 페이지가 안 나타나는 경험을 해본 적 있을까. 대부분의 웹 개발자들은 robots.txt를 단순한 텍스트 파일 정도로 생각해서 규칙을 써놓고 끝낸다. 다만 검색 엔진이 실제로 그 지시를 따르지 않는 경우가 상당히 많다는 걸 모르는 경우가 많다. ···
내 웹사이트가 구글에 제대로 색인되고 있는지 확인하려면 어떻게 해야 할까. 많은 개발자들이 Search Console 대시보드의 수치만 바라보다가, 정작 특정 URL이 왜 색인되지 않는지는 알 수 없는 상황을 경험한다. Google Search Console의 URL 검사 도구는 개별 페이지의 색인 상태를 상세히 진단하고, 즉시 크롤링을 요청할 수 있는 강···
구글 Search Console을 점검하다가 색인 생성 보류 목록에서 '발견됨 - 현재 색인 생성되지 않음' 문구를 보고 당황한 적이 있을 것이다. 사이트맵을 정상 등록했고 URL도 올바르게 생성되었는데 구글이 페이지를 가져가지도 않는 상황이다.다만 대부분의 개발자나 웹마스터는 이 에러 메시지가 의미하는 정확한 원인과 크롤링 작동 원리를 모른 채 무작정 색···