사이트맵을 열심히 만들어서 Google Search Console에 제출했는데 '오류' 상태로 떨어진 경험 있을까. 많은 개발자들은 사이트맵 XML만 생성하고 끝이라고 생각하는데, 구글이 실제로 사이트맵을 인식하고 색인에 반영하려면 형식부터 위치까지 여러 조건을 맞춰야 한다. 이번 글에서는 사이트맵 제출 실패의 정확한 원인 5가지와 각각의 완벽한 해결책을 실무 코드와 함께 정리해서 소개하겠다.
Sitemap XML은 웹사이트 모든 페이지 목록을 구글 크롤러에게 알려주는 파일이다. robots.txt가 크롤링 규칙이라면, sitemap.xml은 '여기 중요한 페이지들 있으니 꼭 색인해줘' 하는 명시적 신청서다. 형식은 W3C 표준을 따르는데, URL과 마지막 수정 시간, 우선순위, 갱신 빈도를 포함한다.
다만 단순히 XML 파일을 만드는 것만으로는 부족하다. 파일 위치, 인코딩, URL 형식, robots.txt 등록, 그리고 구글이 실제로 읽을 수 있는 상태까지 모두 맞춰야 한다. 이 과정에서 대부분의 개발자들은 하나씩 실패하고 나서야 각각의 문제를 깨닫는다.
✗ 잘못된 경우: XML 선언 없이 작성하거나 필수 네임스페이스를 빼먹은 사이트맵
<?xml version="1.0" encoding="UTF-8"?>
<urlset>
<url>
<loc>https://example.com/page1</loc>
</url>
</urlset>
이 코드는 치명적 결함이 있다. urlset 태그에 W3C 사이트맵 네임스페이스가 없어서 구글이 인식을 못 한다.
✓ 올바른 경우: 완벽한 W3C 표준 형식
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/page1</loc>
<lastmod>2024-01-15</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
</urlset>
xmlns 속성이 반드시 포함되어야 하고, 각 URL은 loc 태그를 최소한 가져야 한다. lastmod, changefreq, priority는 선택사항이지만 있으면 구글의 크롤링 우선순위를 조정할 수 있다.
구글 크롤러는 기본적으로 도메인 루트(/sitemap.xml)에서 사이트맵을 찾는다. /admin/sitemap.xml이나 /static/sitemap.xml처럼 하위 디렉토리에 두면 Search Console에서 명시적으로 URL을 입력해도 발견 확률이 낮다.
✓ 올바른 위치
https://example.com/sitemap.xml (루트 위치에 배치)
또는 Search Console에서 명시적으로 사이트맵 URL을 등록하면 된다.
robots.txt는 Disallow 규칙만 있는 게 아니다. Sitemap 지시어로 사이트맵 위치를 명시하면 크롤러가 훨씬 더 빨리 발견한다.
✗ 잘못된 robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/
✓ 올바른 robots.txt
User-agent: *
Disallow: /admin/
Disallow: /private/
Sitemap: https://example.com/sitemap.xml
Sitemap: https://example.com/sitemap-posts.xml
Sitemap: https://example.com/sitemap-pages.xml
Sitemap 지시어는 여러 개 등록할 수 있다. 대규모 사이트라면 URL 타입별로 사이트맵을 나누고 모두 등록하면 구글이 더 효율적으로 크롤링할 수 있다.
✗ 잘못된 URL 형식
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>/page1</loc> <!-- 상대 경로는 안 됨 -->
</url>
<url>
<loc>https://example.com/page?id=1&category=news</loc> <!-- & 미이스케이프 -->
</url>
</urlset>
✓ 올바른 URL 형식
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/page1</loc> <!-- 프로토콜 포함 절대 URL -->
</url>
<url>
<loc>https://example.com/page?id=1&category=news</loc> <!-- & 는 & 로 이스케이프 -->
</url>
</urlset>
XML 기본 규칙에 따라 <, >, &는 반드시 이스케이프해야 한다. 쿼리 문자열이 포함된 URL은 각별히 주의해야 한다.
사이트맵 파일이 404, 403, 500 상태 코드를 반환하면 구글이 읽을 수 없다. 웹 서버 설정에서 .xml 파일에 대해 명시적인 Content-Type을 지정하지 않았거나, 접근 권한이 없을 수도 있다.
✓ Nginx 설정 예제
server {
listen 80;
server_name example.com;
location /sitemap.xml {
types { application/xml xml; }
default_type application/xml;
try_files $uri =404;
}
}
✓ Apache .htaccess 예제
<Files "sitemap.xml">
AddType application/xml .xml
Header set Content-Type "application/xml; charset=UTF-8"
</Files>
또는 PHP에서 동적으로 사이트맵을 생성한다면
<?php
header('Content-Type: application/xml; charset=UTF-8');
header('HTTP/1.1 200 OK');
echo '<?xml version="1.0" encoding="UTF-8"?>';
echo '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';
$urls = [
'https://example.com/page1',
'https://example.com/page2',
'https://example.com/page3',
];
foreach ($urls as $url) {
echo '<url>';
echo '<loc>' . htmlspecialchars($url, ENT_XML1, 'UTF-8') . '</loc>';
echo '<lastmod>' . date('Y-m-d') . '</lastmod>';
echo '</url>';
}
echo '</urlset>';
?>
PHP에서 동적 생성할 때는 반드시 Content-Type 헤더를 application/xml로 명시하고, URL 문자열에 htmlspecialchars()로 XML 이스케이프를 적용해야 한다.
위 5가지 오류를 모두 피한 실무 사이트맵 생성 코드다.
<?php
// sitemap.php
header('Content-Type: application/xml; charset=UTF-8');
header('Cache-Control: public, max-age=86400');
// 데이터베이스에서 URL 목록 조회
$pdo = new PDO('mysql:host=localhost;dbname=myapp', 'root', 'password');
$stmt = $pdo->query('SELECT id, slug, updated_at FROM pages WHERE status = 1 ORDER BY id DESC');
$pages = $stmt->fetchAll(PDO::FETCH_ASSOC);
echo '<?xml version="1.0" encoding="UTF-8"?>' . PHP_EOL;
echo '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"' . PHP_EOL;
echo ' xmlns:mobile="http://www.google.com/schemas/sitemap-mobile/1.0">' . PHP_EOL;
// 홈페이지
echo ' <url>' . PHP_EOL;
echo ' <loc>https://example.com</loc>' . PHP_EOL;
echo ' <lastmod>' . date('Y-m-d') . '</lastmod>' . PHP_EOL;
echo ' <changefreq>daily</changefreq>' . PHP_EOL;
echo ' <priority>1.0</priority>' . PHP_EOL;
echo ' </url>' . PHP_EOL;
// 각 페이지
foreach ($pages as $page) {
$loc = 'https://example.com/' . htmlspecialchars($page['slug'], ENT_XML1, 'UTF-8');
$lastmod = htmlspecialchars($page['updated_at'], ENT_XML1, 'UTF-8');
echo ' <url>' . PHP_EOL;
echo ' <loc>' . $loc . '</loc>' . PHP_EOL;
echo ' <lastmod>' . $lastmod . '</lastmod>' . PHP_EOL;
echo ' <changefreq>weekly</changefreq>' . PHP_EOL;
echo ' <priority>0.7</priority>' . PHP_EOL;
echo ' </url>' . PHP_EOL;
}
echo '</urlset>';
?>
이 스크립트는 다음을 보장한다. 첫째, W3C 표준 XML 헤더와 네임스페이스를 완벽하게 포함한다. 둘째, 모든 URL을 절대 경로로 작성한다. 셋째, htmlspecialchars()로 XML 이스케이프를 적용한다. 넷째, Content-Type 헤더를 명시한다. 다섯째, 데이터베이스에서 실제 페이지 목록을 조회해서 항상 최신 상태를 유지한다.
이제 웹 서버 설정에서 /sitemap.php를 /sitemap.xml로 라우팅하면 된다.
✓ Nginx rewrite 설정
location /sitemap.xml {
rewrite ^/sitemap.xml$ /sitemap.php last;
}
또는 Search Console에서 직접 https://example.com/sitemap.php를 등록하면 된다.
| 항목 | ✗ 잘못된 것 | ✓ 올바른 것 |
|---|---|---|
| 파일 위치 | /admin/sitemap.xml | https://example.com/sitemap.xml |
| 네임스페이스 | <urlset> | <urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"> |
| URL 형식 | 상대 경로(/page1) 또는 &와;가 이스케이프 안 됨 | 절대 URL with http(s), 특수문자 이스케이프됨 |
| Content-Type | text/html 또는 미지정 | application/xml; charset=UTF-8 |
| robots.txt | Sitemap 지시어 없음 | Sitemap: https://example.com/sitemap.xml |
| URL 개수 | 50,000개 초과를 하나 파일에 | 50,000개씩 나눠서 sitemap index로 관리 |
대규모 사이트라면 URL이 50,000개를 초과할 때 사이트맵 인덱스(sitemap index)를 사용해야 한다.
<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<sitemap>
<loc>https://example.com/sitemap-1.xml</loc>
<lastmod>2024-01-15</lastmod>
</sitemap>
<sitemap>
<loc>https://example.com/sitemap-2.xml</loc>
<lastmod>2024-01-15</lastmod>
</sitemap>
</sitemapindex>
이렇게 나눈 뒤 robots.txt에는 인덱스 파일의 위치를 등록한다.
사이트맵은 구글이 당신의 페이지를 반드시 색인하겠다는 보증이 아니다. 다만 크롤러가 당신의 페이지를 더 빨리, 더 자주 발견하도록 도와주는 명시적 신청서일 뿐이다. 페이지 콘텐츠가 형편없거나 중복 콘텐츠가 많으면 사이트맵이 아무리 완벽해도 색인에서 떨어질 수 있다. 반대로 사이트맵 형식을 완벽하게 맞추고 robots.txt에 등록하면 그 과정에서 발생하는 불필요한 에러를 없앨 수 있다. 이 글의 5가지 오류 체크리스트를 참고해 현재 사이트맵을 한 번 점검하고, 발견한 문제를 하나씩 수정해나가면 Google Search Console 오류 상태에서 벗어나 색인 성공률을 크게 올릴 수 있을 것이다.