XML 사이트맵을 만들어서 Google Search Console에 제출했는데, 계속 '오류' 상태로 표시되거나 아예 감지되지 않는 경험을 해본 적 있을까. 개발자들은 보통 사이트맵 파일만 만들고 나면 구글이 자동으로 모든 페이지를 크롤링할 거라고 생각한다. 하지만 사이트맵 형식 오류, 접근 권한 문제, robots.txt 설정 미스 등 수십 가지 원인이 제출 실패를 초래한다. 이번에는 XML 사이트맵이 왜 제출 안 되는지 정확한 원인을 진단하고, 각 상황별로 완벽하게 해결하는 방법을 소개하겠다.
가장 흔한 실패 원인은 사이트맵 XML 구조 자체의 오류다. 많은 개발자들이 사이트맵 생성 도구를 대충 쓰거나, 수동으로 작성할 때 필수 태그를 빠뜨리고는 제출을 시도한다.
✗ 잘못된 XML 사이트맵 형식
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/page1</loc>
</url>
<url>
<loc>https://example.com/page2</loc>
<lastmod>2024-01-15 10:30:00</lastmod> <!-- 잘못된 날짜 형식 -->
</url>
</urlset>
✓ 올바른 XML 사이트맵 형식
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/page1</loc>
<lastmod>2024-01-15</lastmod> <!-- ISO 8601 형식(YYYY-MM-DD만 사용) -->
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>https://example.com/page2</loc>
<lastmod>2024-01-14</lastmod>
<changefreq>monthly</changefreq>
<priority>0.6</priority>
</url>
</urlset>
결과
잘못된 형식의 `lastmod` 태그는 W3C XML 검증을 통과하지 못하고, 구글은 사이트맵 파싱을 중단한다. 반드시 ISO 8601 형식(YYYY-MM-DD)만 사용해야 한다. 타임스탬프는 필요 없다.
파일 맨 위에 `<?xml version="1.0" encoding="UTF-8"?>`를 명시해야 한다. 인코딩을 선언하지 않으면 구글 크롤러가 파일을 올바르게 읽지 못할 수 있다.
사이트맵 형식이 완벽해도, 구글이 실제로 그 파일에 접근할 수 없으면 아무 소용이 없다.
✗ 잘못된 사이트맵 위치
# 사이트 루트가 아닌 /sitemap 폴더에만 있는 경우
https://example.com/sitemap/sitemap.xml <!-- 구글이 못 찾을 가능성 높음 -->
# 절대 경로 사용
/home/user/public_html/sitemap.xml <!-- 절대 경로는 웹 접근 불가 -->
✓ 올바른 사이트맵 위치
# 웹 루트에 배치
https://example.com/sitemap.xml
https://example.com/sitemap_index.xml
# 여러 사이트맵이 있을 때는 색인 사이트맵 사용
https://example.com/sitemap_index.xml
결과
브라우저에서 `https://example.com/sitemap.xml`을 직접 열었을 때 XML 콘텐츠가 보여야 한다. 404 에러나 403 접근 불가 화면이 나타나면 웹 서버 설정을 점검해야 한다.
PHP나 서버에서 사이트맵을 동적으로 생성한다면, 올바른 Content-Type 헤더를 설정해야 한다.
<?php
// ✗ 잘못된 설정
header('Content-Type: text/plain; charset=utf-8');
echo '<?xml version="1.0"?>...'; // text/plain으로 설정되어 구글이 무시할 수 있음
// ✓ 올바른 설정
header('Content-Type: application/xml; charset=utf-8');
echo '<?xml version="1.0"?>...';
?>
많은 개발자들이 간과하는 부분이 바로 robots.txt 파일의 설정이다. 사이트맵 파일 자체나 그 안에 포함된 URL들이 Disallow되어 있으면 구글 크롤러가 접근할 수 없다.
✗ 잘못된 robots.txt 설정
User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /sitemap.xml <!-- 사이트맵 자체를 차단 -->
# 혹은 사이트맵이 포함된 경로 전체 차단
Disallow: /
✓ 올바른 robots.txt 설정
User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /temp/
# 사이트맵은 항상 허용
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap_index.xml
결과
사이트맵 파일과 그 안의 URL들이 모두 Disallow되지 않아야 한다. 만약 `/product/` 디렉토리 전체가 Disallow되어 있다면, 사이트맵에는 `/product/` 페이지를 포함시키지 않는 것이 좋다. 그렇지 않으면 구글이 사이트맵을 받아들여도 실제로는 크롤링할 수 없다.
사이트맵에 포함된 각 URL이 절대 경로를 사용하고 있는지, 프로토콜이 일관성 있게 설정되어 있는지 확인해야 한다.
✗ 잘못된 URL 형식
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>/page1</loc> <!-- 상대 경로 -->
</url>
<url>
<loc>http://example.com/page2</loc> <!-- 사이트가 HTTPS인데 HTTP 사용 -->
</url>
<url>
<loc>https://example.com/page3?utm_source=google</loc> <!-- URL 파라미터 포함 -->
</url>
</urlset>
✓ 올바른 URL 형식
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/page1</loc> <!-- 절대 경로 -->
</url>
<url>
<loc>https://example.com/page2</loc> <!-- 사이트 프로토콜과 일치 -->
</url>
<url>
<loc>https://example.com/page3</loc> <!-- URL 파라미터 제거 -->
</url>
</urlset>
결과
모든 URL은 절대 경로(http:// 또는 https://로 시작)로 작성되어야 한다. URL 추적 파라미터(utm_source 등)는 사이트맵에 포함하지 않는 것이 좋다. 사이트가 HTTPS라면 모든 URL을 HTTPS로 통일해야 한다.
구글은 사이트맵 파일의 크기와 URL 개수에 제한을 둔다. 이를 초과하면 제출 오류가 발생한다.
제한 사항
| 항목 | 제한값 | 초과 시 조치 |
|---|---|---|
| 파일 크기 | 50MB (압축 안 했을 때) | 파일을 나누어 사이트맵 색인 사용 |
| URL 개수 | 50,000개 | 여러 사이트맵 파일로 분할 |
| 인코딩 | UTF-8 | 다른 인코딩 사용 시 오류 |
✗ 초과되는 경우
<?php
// 모든 페이지를 하나의 사이트맵에 담으려고 시도
$pages = getAllPages(); // 500,000개의 페이지
$xml = generateSitemap($pages); // 50,000개 초과로 제출 실패
?>
✓ 올바른 처리
<?php
header('Content-Type: application/xml; charset=utf-8');
echo '<?xml version="1.0" encoding="UTF-8"?>';
echo '<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';
// 50,000개씩 나누어 여러 사이트맵 생성
for ($i = 1; $i <= 10; $i++) {
echo '<sitemap>';
echo '<loc>https://example.com/sitemap' . $i . '.xml</loc>';
echo '</sitemap>';
}
echo '</sitemapindex>';
?>
결과
페이지가 50,000개를 초과한다면 반드시 사이트맵 색인 파일(sitemap_index.xml)을 만들어서 여러 사이트맵을 참조하도록 한다. Google Search Console에는 색인 파일만 제출하면 된다.
사이트맵을 올바르게 만들었다면, Google Search Console에서 최종 제출을 하고 오류를 진단한다.
제출 절차
1. Google Search Console에 로그인하고 대상 사이트 선택
2. 좌측 메뉴에서 '사이트맵' 클릭
3. '새 사이트맵 추가' → `https://example.com/sitemap.xml` 입력
4. 제출 완료 후 상태 모니터링
✓ 성공 상태
'성공' 상태로 표시되면, 가져온 URL 수, 색인된 URL 수, 오류 없음 등의 정보가 표시된다.
✗ 흔한 오류와 해결법
| 오류 메시지 | 원인 | 해결법 |
|---|---|---|
| '사이트맵을 읽을 수 없습니다' | 404 오류 또는 접근 차단 | URL 경로 확인, robots.txt Disallow 제거 |
| 'XML이 올바르지 않습니다' | 형식 오류(태그 누락, 인코딩 오류) | XML 검증기 사용해서 형식 수정 |
| '<loc> 태그가 없습니다' | 각 URL 항목에 필수 태그 누락 | <loc> 태그를 모든 <url>에 추가 |
| 'URL이 50,000개를 초과합니다' | 파일 크기 또는 URL 개수 제한 초과 | 사이트맵 색인 사용해서 분할 |
✗ 자동 생성 도구의 함정
온라인 사이트맵 생성 도구를 쓸 때는 반드시 도메인만 넣고 생성해야 한다. 로그인이 필요한 페이지나 동적 콘텐츠는 자동 감지되지 않는다.
✗ robots.txt 제출 혼동
일부 개발자들은 robots.txt 파일을 Google Search Console의 '사이트맵' 섹션에 제출하려고 시도한다. robots.txt는 크롤링 규칙 파일일 뿐, 사이트맵이 아니다.
✗ 색인 생성을 사이트맵이 보장한다고 착각
사이트맵을 제출했다고 해서 모든 URL이 색인될 보장은 없다. 사이트맵은 단지 크롤러에게 페이지 존재를 알릴 뿐, 실제 색인은 페이지 품질과 중복 콘텐츠 여부에 따라 결정된다.
✓ 작은 사이트라도 사이트맵 제출
페이지가 적어도 명시적인 사이트맵은 구글이 사이트 구조를 이해하는 데 도움이 된다. 특히 블로그 아카이브나 대분류 페이지가 많다면 사이트맵의 가치는 더 크다.
XML 사이트맵이 제출되지 않는 문제는 형식, 접근성, robots.txt, URL 구조 등 여러 레이어에서 비롯된다. 이 글의 1단계부터 7단계까지 순서대로 체크리스트를 따라가면, 대부분의 사이트맵 제출 오류는 완벽하게 해결할 수 있을 것이다. 특히 온라인 XML 검증 도구를 사용해서 사이트맵 형식을 한 번 더 확인하고, Google Search Console의 진단 도구로 최종 확인을 하는 습관이 중요하다. 그 작은 디버깅 단계가 모여서 검색 색인 성공률을 크게 높인다는 점을 잊지 말자.