robots.txt 파일을 제대로 설정했는데도 구글이 차단된 페이지를 자꾸 크롤링한다거나, 검색 결과에 떠야 할 페이지가 안 나타나는 경험을 해본 적 있을까. 대부분의 웹 개발자들은 robots.txt를 단순한 텍스트 파일 정도로 생각해서 규칙을 써놓고 끝낸다. 다만 검색 엔진이 실제로 그 지시를 따르지 않는 경우가 상당히 많다는 걸 모르는 경우가 많다. ···
검색엔진에 당신의 사이트 구조를 제대로 알려주지 못해 페이지가 색인되지 않는 경험을 했을까? 많은 개발자들이 콘텐츠만 잘 만들면 자동으로 검색 결과에 나타날 거라고 생각한다. 하지만 구글이나 네이버는 당신의 사이트 지도를 받아야 모든 페이지를 효율적으로 크롤링할 수 있다. XML 사이트맵은 검색엔진에게 당신의 웹사이트에 어떤 페이지들이 있는지, 언제 마지막···
검색 엔진 최적화를 한다면서 robots.txt와 sitemap.xml의 차이를 정확히 모르고 설정하는 개발자들이 많다. 둘 다 SEO와 크롤링 제어에 필수적이지만, 역할이 완전히 다르다는 걸 모르는 경우가 대부분이다. 심하면 한쪽만 설정하거나, 둘의 설정이 충돌해서 중요한 페이지가 검색 결과에서 누락되는 사태까지 벌어진다. 이번에는 robots.txt와 ···