XML 사이트맵을 Google Search Console에 제출했는데 왜 여전히 색인이 안 될까. 많은 개발자들은 사이트맵 파일만 만들고 제출하면 끝이라고 생각하는데, 실제로는 사이트맵이 제대로 작동하지 않는 경우가 대부분이다. 이번 글에서는 사이트맵 제출 후에도 색인이 안 되는 구체적인 원인들을 진단하고, 각 상황별로 해결하는 방법을 단계별로 정리해서 소개하겠다.

 

사이트맵 제출 후 색인 안 되는 주요 원인 5가지

XML 사이트맵이 제출되었다고 해서 모든 페이지가 즉시 색인되는 건 아니다. Google은 사이트맵을 발견했어도 실제로 그 안의 URL을 크롤링할지 여부는 별개의 문제다. 첫 번째로 확인해야 할 것은 Google Search Console에서 사이트맵이 정말 '성공' 상태로 표시되는지다. 만약 경고나 오류 아이콘이 붙어 있다면 사이트맵 형식 자체에 문제가 있다는 뜻이다. 두 번째는 사이트 전체에 robots.txt나 noindex 메타 태그가 붙어 있지는 않은지 확인하는 것이다. 세 번째는 사이트맵의 개별 URL들이 실제로 접근 가능한지 확인해야 한다. 네 번째는 페이지의 콘텐츠 품질이나 중복 콘텐츠 여부를 점검해야 한다. 다섯 번째는 사이트맵에 나열된 URL의 개수가 실제 페이지 수와 맞는지 확인하는 것이다.

 

1단계: Search Console에서 사이트맵 상태 확인

Google Search Console의 색인 메뉴에서 '사이트맵' 섹션을 열어보자. 여기서 제출한 사이트맵이 '성공' 상태로 표시되어 있는지 확인해야 한다. 만약 사이트맵 옆에 경고 삼각형이나 빨간 X 표시가 있다면 형식 오류를 의심해야 한다. 성공 표시가 나와 있더라도 '전송됨'과 '색인됨' 수가 크게 차이 난다면 그만큼의 URL이 색인되지 않았다는 뜻이다. 예를 들어 사이트맵에 1000개 URL이 있는데 색인됨이 300개라면 700개가 거부당했다는 의미다. 이 경우 Search Console의 '검사' 도구를 사용해서 각 URL별 색인 거부 사유를 확인해야 한다.

 

2단계: 사이트맵 XML 형식 검증

✗ 잘못된 형식입니다. 아래 코드는 선언부가 빠져 있고 URL이 정렬되어 있지 않은 사이트맵입니다.

<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/page1</loc>
  </url>
  <url>
    <loc>https://example.com/page2</loc>
    <lastmod>2024-01-15</lastmod>
  </url>
</urlset>

✓ 올바른 형식입니다. XML 선언부가 있고, 모든 필수 요소를 포함하고 있습니다.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/page1</loc>
    <lastmod>2024-01-20T10:30:00+00:00</lastmod>
    <changefreq>weekly</changefreq>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://example.com/page2</loc>
    <lastmod>2024-01-18T15:45:00+00:00</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.7</priority>
  </url>
</urlset>

사이트맵은 반드시 XML 선언부 <?xml version="1.0" encoding="UTF-8"?>로 시작해야 한다. 모든 URL은 <loc> 태그로 감싸져야 하고, 절대 경로(https://로 시작)여야 한다. 상대 경로나 프로토콜이 없는 URL은 Google이 인식하지 못한다. 또한 한국 사이트라면 <lastmod> 태그의 시간 부분에 반드시 타임존을 포함해야 한다(+09:00 또는 +00:00). 이를 무시하면 Google이 사이트맵 파일 자체를 거부할 수 있다.

 

3단계: robots.txt 설정 확인

사이트맵은 존재하지만 색인이 안 될 때 가장 흔한 원인이 robots.txt 파일에 있는 Disallow 규칙이다. 많은 경우 개발 단계에서 Disallow: /로 모든 크롤링을 차단해 두고, 운영 시작할 때 삭제하지 않는 경우가 있다. 아래 코드를 확인해 보자.

User-agent: *
Disallow: /

위 설정은 모든 크롤러에게 사이트 전체 크롤링을 금지한다. 사이트맵이 제출되어 있어도 robots.txt가 이를 차단하면 Google은 URL을 크롤링하지 않는다. 올바른 robots.txt는 아래와 같아야 한다.

User-agent: *
Allow: /
Sitemap: https://example.com/sitemap.xml

특정 디렉토리만 차단하려면 Disallow 경로를 구체적으로 지정해야 한다.

User-agent: *
Allow: /
Disallow: /admin/
Disallow: /private/
Sitemap: https://example.com/sitemap.xml

 

4단계: 개별 URL 접근성 테스트

사이트맵이 정상이고 robots.txt도 허용하는데도 색인이 안 된다면 각 URL이 실제로 접근 가능한지 확인해야 한다. Google Search Console의 'URL 검사' 도구를 사용하자. 사이트맵에 포함된 URL 10개를 무작위로 선택해서 검사해 본다. 만약 404 Not Found나 403 Forbidden 에러가 나온다면 그 URL들은 색인될 수 없다. 또한 HTTP 상태 코드만 아니라 페이지 콘텐츠도 함께 확인해야 한다. Google은 Redirect 체인이 길다면(301이 여러 번 반복) 크롤링을 중단할 수 있다. 한 URL당 최대 5번의 리다이렉트까지만 따라간다고 알려져 있다.

 

5단계: 페이지 콘텐츠 품질 점검

기술적 설정은 모두 맞는데 여전히 색인이 안 될 때는 페이지 콘텐츠 자체에 문제가 있을 수 있다. 그 URL에 robots.txt 파일이 아닌 페이지 수준의 noindex 메타 태그가 붙어 있지는 않은지 확인하자.

<meta name="robots" content="noindex">

위 메타 태그가 있으면 Google은 그 페이지를 색인하지 않는다. 또한 X-Robots-Tag HTTP 헤더로도 색인을 차단할 수 있으니 헤더를 확인해야 한다. 만약 별도의 noindex 태그가 없다면 콘텐츠의 양과 질을 점검한다. Google은 너무 짧은 페이지(100자 미만)나 중복도가 높은 페이지를 색인 우선순위에서 제외할 수 있다. Search Console의 'URL 검사' 도구에서 '마지막 크롤링 결과' 섹션을 보면 Google이 그 페이지에서 감지한 콘텐츠 길이와 품질 평가를 볼 수 있다.

 

6단계: 사이트맵 크기와 URL 한계 확인

사이트맵은 최대 50,000개의 URL과 50MB 용량 제한이 있다. 사이트가 더 크다면 사이트맵 인덱스 파일을 사용해야 한다.

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://example.com/sitemap-1.xml</loc>
    <lastmod>2024-01-20T10:30:00+00:00</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://example.com/sitemap-2.xml</loc>
    <lastmod>2024-01-19T14:15:00+00:00</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://example.com/sitemap-3.xml</loc>
    <lastmod>2024-01-18T09:45:00+00:00</lastmod>
  </sitemap>
</sitemapindex>

위 구조로 여러 사이트맵 파일을 하나의 인덱스로 묶을 수 있다. 각 개별 사이트맵은 최대 50,000개 URL을 담고 있어야 한다. robots.txt에는 메인 사이트맵 인덱스만 등록하면 된다.

 

7단계: 크롤링 통계와 색인 상태 모니터링

Search Console의 '크롤링 통계' 섹션을 보면 Google의 크롤러가 얼마나 자주 사이트에 방문하는지, 그리고 평균 응답 시간이 얼마나 되는지 알 수 있다. 만약 평균 응답 시간이 3초를 넘는다면 Google이 크롤링을 감속할 수 있다. 또한 색인 커버리지 리포트에서 '오류' 탭을 확인하면 Google이 색인하지 못한 URL의 사유를 볼 수 있다. 'Crawled - currently not indexed'는 크롤링은 했지만 색인하지 않기로 판단한 경우인데, 이는 보통 콘텐츠 품질 부족이나 noindex 메타 태그 때문이다.

 

실전 체크리스트
확인 항목 정상 상태 문제 발생 시 행동
Search Console 사이트맵 상태 녹색 체크 표시, '성공' 오류 메시지 클릭해서 형식 오류 확인
전송됨 vs 색인됨 수 차이 최소(90% 이상 색인) URL 검사로 거부 사유 분석
robots.txt Disallow 규칙 Allow: / 또는 특정 디렉토리만 차단 Disallow: / 삭제, 개발 환경 차단 해제
개별 URL 접근 가능성 HTTP 200 OK, 콘텐츠 존재 404/403 URL 사이트맵에서 제거
페이지 noindex 메타 태그 없음 <meta name="robots" content="noindex"> 삭제
콘텐츠 길이 500자 이상, 고유 콘텐츠 중복 콘텐츠 제거, 페이지 충실화
사이트맵 파일 크기 50MB 이하, 50,000 URL 이하 사이트맵 분할, 인덱스 파일 생성
평균 크롤링 응답 시간 1~2초 이내 서버 성능 최적화, 캐싱 설정

 

색인 가속화 팁

사이트맵의 형식과 설정이 모두 맞아도 Google이 색인하는 데는 며칠에서 몇 주 시간이 걸릴 수 있다. 색인 속도를 높이려면 몇 가지 추가 조치를 할 수 있다. 첫째, sitemap.xml을 robots.txt에 명시적으로 등록한다. 둘째, 새 페이지를 Google에 직접 제출한다(Search Console의 '새 URL 검사' 기능). 셋째, 사이트 속도를 개선한다. Google은 로딩 속도가 빠른 사이트를 더 자주 크롤링한다. 넷째, 내부 링크 구조를 개선한다. 중요한 페이지로 가는 링크가 많을수록 크롤링 우선순위가 올라간다. 다섯째, 페이지 콘텐츠의 EAT(Expertise, Authoritativeness, Trustworthiness)를 강화한다.

 

마무리

XML 사이트맵은 색인의 충분조건이 아니라 필요조건일 뿐이다. 사이트맵을 제출했다고 해서 모든 페이지가 자동으로 색인되지는 않는다. 형식이 정확하고, robots.txt가 허용하고, 페이지가 접근 가능하고, 콘텐츠 품질이 충분해야 비로소 색인된다. 위 체크리스트의 각 항목을 차례대로 점검하면, 대부분의 사이트맵 색인 문제는 해결할 수 있을 것이다. 특히 Search Console의 URL 검사 도구와 색인 커버리지 리포트를 자주 모니터링하는 습관이 색인 성공률을 크게 높일 수 있다.