robots.txt만으로 해결 안 되는 검색 노출 차단 - X-Robots-Tag HTTP 헤더 완벽 가이드
HTML 메타 태그나 robots.txt를 올바르게 수정했음에도 특정 PDF 문서가 구글 검색 결과에 계속 노출되거나, 반대로 API 응답 데이터가 검색엔진에 무단 수집되는 경험을 해봤을 것이다. 다만 대부분의 개발자들은 서버 응답 헤더 수준에서 동작하는 X-Robots-Tag의 존재를 모른 채 HTML meta 태그만 고치다가 시간을 허비한다. 이번에는 ···
1
0