개발 중인 테스트 서버나 어드민 페이지, 결제 완료 페이지 같은 민감한 URL이 구글이나 네이버 검색 결과에 버젓이 노출되어 식은땀을 흘려본 경험이 있을 것이다.다만 많은 개발자들이 robots.txt 파일만 설정해두면 검색엔진에서 완전히 사라지는 것으로 오해하곤 한다.이번 글에서는 검색엔진의 '크롤링'과 '색인(Index)'의 차이를 정확히 이해하고, H···
웹사이트를 오픈하고 검색엔진에 노출되지 않거나, 반대로 관리자 페이지나 비공개 데이터가 구글 검색 결과에 그대로 노출되는 황당한 상황을 경험해봤을까? 다만 대부분의 개발자들은 robots.txt 파일의 작성 규칙과 문법을 정확히 모른 채 인터넷에서 가져온 설정값을 그대로 복사해 서버 루트에 붙여넣곤 한다. 이번에는 robots.txt가 정확히 무엇인지, 왜···
웹 서비스를 오픈하고 열심히 콘텐츠를 발행해도 검색 결과 페이지(SERP)에서 내 글이 다른 사이트처럼 화려한 썸네일, 평점, FAQ 형태로 눈에 띄게 표시되지 않거나 색인 누락을 경험해봤을 것이다.다만 대부분의 백엔드 및 웹 개발자들은 HTML 태그 구성에만 신경 쓸 뿐, 검색 엔진 수집 로봇이 내 데이터를 정확하게 이해하도록 돕는 '구조화 데이터(Str···
쇼핑몰이나 블로그를 운영하면서 파라미터(?sort=desc, ?page=1)나 www 여부에 따라 동일한 페이지가 서로 다른 URL로 접속되는 현상을 경험해봤을까?다만 대부분의 개발자들은 이러한 중복 URL이 검색엔진 크롤러의 평가를 분산시키고 색인 누락을 일으키는 정확한 원인이나 해결책을 모르는 경우가 많다.이번에는 Canonical 태그(대표 URL)가···
웹사이트를 구글이나 네이버에 등록할 때, "사이트맵(Sitemap)을 제출해야 한다"는 말을 들어본 적 있을까? 다만 사이트맵이 정확히 뭔지, 왜 필요한지, 어떻게 만드는지 설명할 수 있는 개발자는 생각보다 적다. 그냥 "이게 필요하다더라" 정도만 알고 있을 뿐이다. 사이트맵은 검색 엔진이 당신의 웹사이트를 더 빠르고 완벽하게 크롤링하도록 도와주는 일종의 ···