검색엔진 크롤링 차단 문제 해결 - robots.txt 작성법과 올바른 설정 완벽 가이드
웹사이트를 오픈하고 검색엔진에 노출되지 않거나, 반대로 관리자 페이지나 비공개 데이터가 구글 검색 결과에 그대로 노출되는 황당한 상황을 경험해봤을까? 다만 대부분의 개발자들은 robots.txt 파일의 작성 규칙과 문법을 정확히 모른 채 인터넷에서 가져온 설정값을 그대로 복사해 서버 루트에 붙여넣곤 한다. 이번에는 robots.txt가 정확히 무엇인지, 왜···
1
0