XML 사이트맵을 만들어서 Google Search Console에 제출했는데, 계속 '오류' 상태로 표시되거나 아예 감지되지 않는 경험을 해본 적 있을까. 개발자들은 보통 사이트맵 파일만 만들고 나면 구글이 자동으로 모든 페이지를 크롤링할 거라고 생각한다. 하지만 사이트맵 형식 오류, 접근 권한 문제, robots.txt 설정 미스 등 수십 가지 원인이 제출 실패를 초래한다. 이번에는 XML 사이트맵이 왜 제출 안 되는지 정확한 원인을 진단하고, 각 상황별로 완벽하게 해결하는 방법을 소개하겠다.

 

1단계. XML 사이트맵 형식 검증하기

가장 흔한 실패 원인은 사이트맵 XML 구조 자체의 오류다. 많은 개발자들이 사이트맵 생성 도구를 대충 쓰거나, 수동으로 작성할 때 필수 태그를 빠뜨리고는 제출을 시도한다.

✗ 잘못된 XML 사이트맵 형식

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/page1</loc>
  </url>
  <url>
    <loc>https://example.com/page2</loc>
    <lastmod>2024-01-15 10:30:00</lastmod>  <!-- 잘못된 날짜 형식 -->
  </url>
</urlset>

✓ 올바른 XML 사이트맵 형식

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/page1</loc>
    <lastmod>2024-01-15</lastmod>  <!-- ISO 8601 형식(YYYY-MM-DD만 사용) -->
    <changefreq>weekly</changefreq>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://example.com/page2</loc>
    <lastmod>2024-01-14</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.6</priority>
  </url>
</urlset>

결과

잘못된 형식의 `lastmod` 태그는 W3C XML 검증을 통과하지 못하고, 구글은 사이트맵 파싱을 중단한다. 반드시 ISO 8601 형식(YYYY-MM-DD)만 사용해야 한다. 타임스탬프는 필요 없다.

 

XML 선언과 인코딩 확인

파일 맨 위에 `<?xml version="1.0" encoding="UTF-8"?>`를 명시해야 한다. 인코딩을 선언하지 않으면 구글 크롤러가 파일을 올바르게 읽지 못할 수 있다.

 

2단계. 사이트맵 URL 접근성 테스트

사이트맵 형식이 완벽해도, 구글이 실제로 그 파일에 접근할 수 없으면 아무 소용이 없다.

✗ 잘못된 사이트맵 위치

# 사이트 루트가 아닌 /sitemap 폴더에만 있는 경우
https://example.com/sitemap/sitemap.xml  <!-- 구글이 못 찾을 가능성 높음 -->

# 절대 경로 사용
/home/user/public_html/sitemap.xml  <!-- 절대 경로는 웹 접근 불가 -->

✓ 올바른 사이트맵 위치

# 웹 루트에 배치
https://example.com/sitemap.xml
https://example.com/sitemap_index.xml

# 여러 사이트맵이 있을 때는 색인 사이트맵 사용
https://example.com/sitemap_index.xml

결과

브라우저에서 `https://example.com/sitemap.xml`을 직접 열었을 때 XML 콘텐츠가 보여야 한다. 404 에러나 403 접근 불가 화면이 나타나면 웹 서버 설정을 점검해야 한다.

 

HTTP 헤더 확인

PHP나 서버에서 사이트맵을 동적으로 생성한다면, 올바른 Content-Type 헤더를 설정해야 한다.

<?php
// ✗ 잘못된 설정
header('Content-Type: text/plain; charset=utf-8');
echo '<?xml version="1.0"?>...';  // text/plain으로 설정되어 구글이 무시할 수 있음

// ✓ 올바른 설정
header('Content-Type: application/xml; charset=utf-8');
echo '<?xml version="1.0"?>...';
?>

 

3단계. robots.txt 설정 확인

많은 개발자들이 간과하는 부분이 바로 robots.txt 파일의 설정이다. 사이트맵 파일 자체나 그 안에 포함된 URL들이 Disallow되어 있으면 구글 크롤러가 접근할 수 없다.

✗ 잘못된 robots.txt 설정

User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /sitemap.xml  <!-- 사이트맵 자체를 차단 -->

# 혹은 사이트맵이 포함된 경로 전체 차단
Disallow: /

✓ 올바른 robots.txt 설정

User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /temp/

# 사이트맵은 항상 허용
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap_index.xml

결과

사이트맵 파일과 그 안의 URL들이 모두 Disallow되지 않아야 한다. 만약 `/product/` 디렉토리 전체가 Disallow되어 있다면, 사이트맵에는 `/product/` 페이지를 포함시키지 않는 것이 좋다. 그렇지 않으면 구글이 사이트맵을 받아들여도 실제로는 크롤링할 수 없다.

 

4단계. URL 형식 및 프로토콜 검증

사이트맵에 포함된 각 URL이 절대 경로를 사용하고 있는지, 프로토콜이 일관성 있게 설정되어 있는지 확인해야 한다.

✗ 잘못된 URL 형식

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>/page1</loc>  <!-- 상대 경로 -->
  </url>
  <url>
    <loc>http://example.com/page2</loc>  <!-- 사이트가 HTTPS인데 HTTP 사용 -->
  </url>
  <url>
    <loc>https://example.com/page3?utm_source=google</loc>  <!-- URL 파라미터 포함 -->
  </url>
</urlset>

✓ 올바른 URL 형식

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/page1</loc>  <!-- 절대 경로 -->
  </url>
  <url>
    <loc>https://example.com/page2</loc>  <!-- 사이트 프로토콜과 일치 -->
  </url>
  <url>
    <loc>https://example.com/page3</loc>  <!-- URL 파라미터 제거 -->
  </url>
</urlset>

결과

모든 URL은 절대 경로(http:// 또는 https://로 시작)로 작성되어야 한다. URL 추적 파라미터(utm_source 등)는 사이트맵에 포함하지 않는 것이 좋다. 사이트가 HTTPS라면 모든 URL을 HTTPS로 통일해야 한다.

 

5단계. 사이트맵 크기 및 URL 개수 제한

구글은 사이트맵 파일의 크기와 URL 개수에 제한을 둔다. 이를 초과하면 제출 오류가 발생한다.

제한 사항

항목 제한값 초과 시 조치
파일 크기 50MB (압축 안 했을 때) 파일을 나누어 사이트맵 색인 사용
URL 개수 50,000개 여러 사이트맵 파일로 분할
인코딩 UTF-8 다른 인코딩 사용 시 오류

✗ 초과되는 경우

<?php
// 모든 페이지를 하나의 사이트맵에 담으려고 시도
$pages = getAllPages();  // 500,000개의 페이지
$xml = generateSitemap($pages);  // 50,000개 초과로 제출 실패
?>

✓ 올바른 처리

<?php
header('Content-Type: application/xml; charset=utf-8');
echo '<?xml version="1.0" encoding="UTF-8"?>';
echo '<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';

// 50,000개씩 나누어 여러 사이트맵 생성
for ($i = 1; $i <= 10; $i++) {
    echo '<sitemap>';
    echo '<loc>https://example.com/sitemap' . $i . '.xml</loc>';
    echo '</sitemap>';
}

echo '</sitemapindex>';
?>

결과

페이지가 50,000개를 초과한다면 반드시 사이트맵 색인 파일(sitemap_index.xml)을 만들어서 여러 사이트맵을 참조하도록 한다. Google Search Console에는 색인 파일만 제출하면 된다.

 

6단계. Google Search Console에서 제출 및 진단

사이트맵을 올바르게 만들었다면, Google Search Console에서 최종 제출을 하고 오류를 진단한다.

제출 절차

1. Google Search Console에 로그인하고 대상 사이트 선택
2. 좌측 메뉴에서 '사이트맵' 클릭
3. '새 사이트맵 추가' → `https://example.com/sitemap.xml` 입력
4. 제출 완료 후 상태 모니터링

✓ 성공 상태

'성공' 상태로 표시되면, 가져온 URL 수, 색인된 URL 수, 오류 없음 등의 정보가 표시된다.

✗ 흔한 오류와 해결법

오류 메시지 원인 해결법
'사이트맵을 읽을 수 없습니다' 404 오류 또는 접근 차단 URL 경로 확인, robots.txt Disallow 제거
'XML이 올바르지 않습니다' 형식 오류(태그 누락, 인코딩 오류) XML 검증기 사용해서 형식 수정
'<loc> 태그가 없습니다' 각 URL 항목에 필수 태그 누락 <loc> 태그를 모든 <url>에 추가
'URL이 50,000개를 초과합니다' 파일 크기 또는 URL 개수 제한 초과 사이트맵 색인 사용해서 분할

 

7단계. 주의사항과 흔한 실수

✗ 자동 생성 도구의 함정

온라인 사이트맵 생성 도구를 쓸 때는 반드시 도메인만 넣고 생성해야 한다. 로그인이 필요한 페이지나 동적 콘텐츠는 자동 감지되지 않는다.

✗ robots.txt 제출 혼동

일부 개발자들은 robots.txt 파일을 Google Search Console의 '사이트맵' 섹션에 제출하려고 시도한다. robots.txt는 크롤링 규칙 파일일 뿐, 사이트맵이 아니다.

✗ 색인 생성을 사이트맵이 보장한다고 착각

사이트맵을 제출했다고 해서 모든 URL이 색인될 보장은 없다. 사이트맵은 단지 크롤러에게 페이지 존재를 알릴 뿐, 실제 색인은 페이지 품질과 중복 콘텐츠 여부에 따라 결정된다.

✓ 작은 사이트라도 사이트맵 제출

페이지가 적어도 명시적인 사이트맵은 구글이 사이트 구조를 이해하는 데 도움이 된다. 특히 블로그 아카이브나 대분류 페이지가 많다면 사이트맵의 가치는 더 크다.

 

마무리

XML 사이트맵이 제출되지 않는 문제는 형식, 접근성, robots.txt, URL 구조 등 여러 레이어에서 비롯된다. 이 글의 1단계부터 7단계까지 순서대로 체크리스트를 따라가면, 대부분의 사이트맵 제출 오류는 완벽하게 해결할 수 있을 것이다. 특히 온라인 XML 검증 도구를 사용해서 사이트맵 형식을 한 번 더 확인하고, Google Search Console의 진단 도구로 최종 확인을 하는 습관이 중요하다. 그 작은 디버깅 단계가 모여서 검색 색인 성공률을 크게 높인다는 점을 잊지 말자.