웹사이트를 만들고 구글 Search Console에 등록했는데, 자꾸만 '크롤링할 수 없음' 또는 '크롤링 오류'라는 메시지가 뜬다. 이게 뭔지, 왜 생기는지 모르면서 그냥 넘어가는 개발자들이 많다. 하지만 크롤링 불가 상태가 지속되면 검색 결과에 사이트가 절대 노출되지 않는다. 이번엔 구글봇이 내 사이트를 크롤링하지 못하는 정확한 원인 5가지와 각각의 해···
robots.txt 파일을 제대로 설정했는데도 구글이 차단된 페이지를 자꾸 크롤링한다거나, 검색 결과에 떠야 할 페이지가 안 나타나는 경험을 해본 적 있을까. 대부분의 웹 개발자들은 robots.txt를 단순한 텍스트 파일 정도로 생각해서 규칙을 써놓고 끝낸다. 다만 검색 엔진이 실제로 그 지시를 따르지 않는 경우가 상당히 많다는 걸 모르는 경우가 많다. ···
내 웹사이트가 구글에 제대로 색인되고 있는지 확인하려면 어떻게 해야 할까. 많은 개발자들이 Search Console 대시보드의 수치만 바라보다가, 정작 특정 URL이 왜 색인되지 않는지는 알 수 없는 상황을 경험한다. Google Search Console의 URL 검사 도구는 개별 페이지의 색인 상태를 상세히 진단하고, 즉시 크롤링을 요청할 수 있는 강···
구글 Search Console을 점검하다가 색인 생성 보류 목록에서 '발견됨 - 현재 색인 생성되지 않음' 문구를 보고 당황한 적이 있을 것이다. 사이트맵을 정상 등록했고 URL도 올바르게 생성되었는데 구글이 페이지를 가져가지도 않는 상황이다.다만 대부분의 개발자나 웹마스터는 이 에러 메시지가 의미하는 정확한 원인과 크롤링 작동 원리를 모른 채 무작정 색···
웹사이트를 오픈하고 구글 Search Console에서 색인 생성 여부를 확인하다가 '크롤링됨 - 현재 색인 생성되지 않음' 메세지를 보고 당황한 적이 있을 것이다. 구글봇이 내 사이트에 방문해서 페이지를 분명 읽어갔는데도 정작 구글 검색 결과에는 등록해주지 않는 기이한 상황이다.다만 많은 개발자나 사이트 관리자들은 정확한 원인을 모른 채 무작정 Searc···
웹사이트를 오픈하고 검색엔진에 노출되지 않거나, 반대로 관리자 페이지나 비공개 데이터가 구글 검색 결과에 그대로 노출되는 황당한 상황을 경험해봤을까? 다만 대부분의 개발자들은 robots.txt 파일의 작성 규칙과 문법을 정확히 모른 채 인터넷에서 가져온 설정값을 그대로 복사해 서버 루트에 붙여넣곤 한다. 이번에는 robots.txt가 정확히 무엇인지, 왜···