검색 > #robots.txt | REDINFO 블로그

robots.txt vs sitemap.xml - 검색 엔진 최적화 두 축 완벽 비교 및 설정 가이드

검색 엔진 최적화를 한다면서 robots.txt와 sitemap.xml의 차이를 정확히 모르고 설정하는 개발자들이 많다. 둘 다 SEO와 크롤링 제어에 필수적이지만, 역할이 완전히 다르다는 걸 모르는 경우가 대부분이다. 심하면 한쪽만 설정하거나, 둘의 설정이 충돌해서 중요한 페이지가 검색 결과에서 누락되는 사태까지 벌어진다. 이번에는 robots.txt와 ···

2 0

민감 페이지 검색 노출 방지 - noindex 메타태그와 X-Robots-Tag 완벽 활용법

개발 중인 테스트 서버나 어드민 페이지, 결제 완료 페이지 같은 민감한 URL이 구글이나 네이버 검색 결과에 버젓이 노출되어 식은땀을 흘려본 경험이 있을 것이다.다만 많은 개발자들이 robots.txt 파일만 설정해두면 검색엔진에서 완전히 사라지는 것으로 오해하곤 한다.이번 글에서는 검색엔진의 '크롤링'과 '색인(Index)'의 차이를 정확히 이해하고, H···

1 0

검색엔진 크롤링 차단 문제 해결 - robots.txt 작성법과 올바른 설정 완벽 가이드

웹사이트를 오픈하고 검색엔진에 노출되지 않거나, 반대로 관리자 페이지나 비공개 데이터가 구글 검색 결과에 그대로 노출되는 황당한 상황을 경험해봤을까? 다만 대부분의 개발자들은 robots.txt 파일의 작성 규칙과 문법을 정확히 모른 채 인터넷에서 가져온 설정값을 그대로 복사해 서버 루트에 붙여넣곤 한다. 이번에는 robots.txt가 정확히 무엇인지, 왜···

1 0