검색 엔진이 당신의 웹사이트를 제대로 크롤링하려면 사이트 구조를 명확히 알려줘야 한다. 많은 개발자들은 사이트맵이 중요하다는 걸 알지만, 실제로 만들 때는 하드코딩된 XML을 손으로 작성하거나 플러그인에만 의존한다. 더 큰 문제는 콘텐츠가 계속 추가될 때마다 사이트맵을 수동으로 갱신해야 한다는 번거로움이다. 이번에는 PHP에서 데이터베이스 기반으로 동적 사이트맵을 자동 생성하고, Google과 Naver에 제출하는 완벽한 방법을 정리해 소개하겠다.
사이트맵은 보통 XML 형식이며, 각 URL마다 최근 수정 날짜(lastmod), 변경 빈도(changefreq), 중요도(priority) 같은 메타정보를 담을 수 있다. 특히 뉴스, 이미지, 비디오 같은 특화된 사이트맵도 있지만, 일반 웹사이트는 기본 XML 사이트맵만으로도 충분하다.
표준 XML 사이트맵의 구조는 다음과 같다.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://example.com/page1</loc>
<lastmod>2024-01-15</lastmod>
<changefreq>weekly</changefreq>
<priority>0.8</priority>
</url>
<url>
<loc>https://example.com/page2</loc>
<lastmod>2024-01-10</lastmod>
<changefreq>monthly</changefreq>
<priority>0.6</priority>
</url>
</urlset>
각 필드의 의미는 다음과 같다.
- loc: 페이지의 완전한 URL(필수). http/https로 시작해야 함
- lastmod: 마지막 수정 날짜(YYYY-MM-DD 형식). 선택사항이지만 추가하면 크롤링 최적화에 도움됨
- changefreq: 얼마나 자주 변경되는지 힌트. always, hourly, daily, weekly, monthly, yearly, never 중 하나
- priority: 상대적 중요도(0.0~1.0). 기본값은 0.5. 홈페이지는 1.0, 보조 페이지는 0.5~0.7 정도
✓ 올바른 방법: 동적으로 데이터베이스에서 URL을 조회하고 XML로 렌더링
<?php
// config/database.php에서 PDO 연결 불러오기
require_once 'config/database.php';
// 헤더 설정 - XML로 응답하도록
header('Content-Type: application/xml; charset=UTF-8');
header('Cache-Control: public, max-age=86400'); // 24시간 캐시
// XML 헤더 작성
echo '<?xml version="1.0" encoding="UTF-8"?>';
echo PHP_EOL;
echo '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';
echo PHP_EOL;
// 홈페이지 추가
echo '<url>';
echo '<loc>https://example.com</loc>';
echo '<lastmod>' . date('Y-m-d') . '</lastmod>';
echo '<changefreq>daily</changefreq>';
echo '<priority>1.0</priority>';
echo '</url>';
echo PHP_EOL;
// 데이터베이스에서 모든 게시글 조회
try {
$stmt = $pdo->query(
"SELECT id, title, slug, updated_at FROM posts WHERE status = 'published' ORDER BY updated_at DESC"
);
while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
$url = 'https://example.com/blog/' . htmlspecialchars($row['slug'], ENT_XML1, 'UTF-8');
$lastmod = date('Y-m-d', strtotime($row['updated_at']));
echo '<url>';
echo '<loc>' . $url . '</loc>';
echo '<lastmod>' . $lastmod . '</lastmod>';
echo '<changefreq>weekly</changefreq>';
echo '<priority>0.7</priority>';
echo '</url>';
echo PHP_EOL;
}
// 카테고리 페이지도 추가
$stmt = $pdo->query("SELECT id, slug FROM categories WHERE active = 1");
while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
$url = 'https://example.com/category/' . htmlspecialchars($row['slug'], ENT_XML1, 'UTF-8');
echo '<url>';
echo '<loc>' . $url . '</loc>';
echo '<changefreq>daily</changefreq>';
echo '<priority>0.6</priority>';
echo '</url>';
echo PHP_EOL;
}
} catch (PDOException $e) {
// 에러 로그 기록하고 기본 사이트맵만 반환
error_log('Sitemap generation error: ' . $e->getMessage());
}
echo '</urlset>';
echo PHP_EOL;
?>
✗ 잘못된 방법: 하드코딩된 정적 사이트맵
<?php
// 이렇게 하면 콘텐츠가 추가될 때마다 수동으로 편집해야 함
echo '<?xml version="1.0" encoding="UTF-8"?>';
echo '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';
echo '<url><loc>https://example.com</loc></url>';
echo '<url><loc>https://example.com/page1</loc></url>';
echo '<url><loc>https://example.com/page2</loc></url>';
// ... 수백 개 페이지를 하나하나 추가해야 함
echo '</urlset>';
?>
문제점: 페이지가 100개, 1000개로 늘어나면 사이트맵 파일도 함께 비대해지고, 수동 관리는 불가능해진다.
.htaccess(Apache) 또는 Nginx 설정으로 sitemap.xml 요청을 PHP 파일로 라우팅해야 한다.
Apache .htaccess 예시:
RewriteEngine On
RewriteRule ^sitemap\.xml$ sitemap.php [L]
Nginx 설정 예시:
location = /sitemap.xml {
rewrite ^(.*)$ /sitemap.php last;
}
또는 더 간단하게 웹루트 디렉토리에 sitemap.php를 직접 배치하고, 위 PHP 코드를 그 파일에 넣어두면 /sitemap.xml 요청 대신 /sitemap.php로 접근할 수도 있다.
Google의 사이트맵 스펙에 따르면, 하나의 사이트맵 파일은 최대 50,000개 URL과 50MB 용량까지만 포함할 수 있다. 이를 초과하면 사이트맵 인덱스(Sitemap Index) 파일을 사용해 여러 사이트맵을 나누어야 한다.
<?php
// 사이트맵이 너무 크면 사이트맵 인덱스 파일 생성
header('Content-Type: application/xml; charset=UTF-8');
echo '<?xml version="1.0" encoding="UTF-8"?>';
echo PHP_EOL;
echo '<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';
echo PHP_EOL;
// 각 사이트맵 파일을 나열
for ($i = 1; $i <= 10; $i++) {
echo '<sitemap>';
echo '<loc>https://example.com/sitemap-' . $i . '.xml</loc>';
echo '<lastmod>' . date('Y-m-d') . '</lastmod>';
echo '</sitemap>';
echo PHP_EOL;
}
echo '</sitemapindex>';
echo PHP_EOL;
?>
✗ 잘못된 코드: 한글이나 특수문자가 포함된 URL을 그대로 사용
echo '<loc>https://example.com/blog/' . $row['slug'] . '</loc>';
// 출력: <loc>https://example.com/blog/글쓰기-팁</loc>
// 문제: XML 파서가 한글을 제대로 해석하지 못할 수 있음
✓ 올바른 코드: htmlspecialchars()로 XML 엔티티 인코딩
echo '<loc>https://example.com/blog/' . htmlspecialchars($row['slug'], ENT_XML1, 'UTF-8') . '</loc>';
// 출력: <loc>https://example.com/blog/%EA%B8%80%EC%93%B0%EA%B8%B0-%ED%8C%81</loc>
// 올바른: URL이 안전하게 인코딩됨
사이트맵을 매번 데이터베이스 쿼리로 생성하면 큰 사이트에서 성능 저하가 생긴다. 캐싱 헤더를 설정해 검색 엔진 봇의 중복 요청을 줄여야 한다.
// 캐시 제어 헤더
header('Cache-Control: public, max-age=86400'); // 24시간
header('Expires: ' . gmdate('D, d M Y H:i:s', time() + 86400) . ' GMT');
// 또는 Redis를 사용한 고급 캐싱
$redis = new Redis();
$redis->connect('127.0.0.1', 6379);
$cacheKey = 'sitemap:xml';
$cachedSitemap = $redis->get($cacheKey);
if ($cachedSitemap) {
echo $cachedSitemap;
exit;
}
// 사이트맵 생성 로직...
// $sitemap = 생성된 XML 문자열
$redis->setex($cacheKey, 86400, $sitemap); // 24시간 캐시
echo $sitemap;
먼저 Google Search Console(https://search.google.com/search-console)에 접속해 웹사이트를 추가해야 한다. HTML 메타 태그, HTML 파일 업로드, DNS 레코드 등 여러 인증 방법 중 하나를 선택해 소유권을 확인하면 된다.
Search Console의 왼쪽 메뉴에서 "Sitemaps"를 선택한 후, 새 사이트맵 URL을 입력하면 된다. 보통 "https://example.com/sitemap.xml" 또는 "https://example.com/sitemap.php" 형태다. Submit 버튼을 누르면 Google이 사이트맵을 즉시 크롤링한다.
제출 후 몇 시간에서 몇 일 사이에 색인 상태가 "성공" 또는 "경고" 또는 "오류"로 표시될 것이다. 오류가 나면 사이트맵 형식을 다시 확인하거나, 포함된 URL의 robots.txt 차단 여부를 확인해야 한다.
선택사항이지만, robots.txt 파일의 맨 아래에 사이트맵 위치를 선언하면 크롤러가 더 쉽게 발견할 수 있다.
User-agent: *
Disallow: /admin/
Disallow: /private/
Sitemap: https://example.com/sitemap.xml
Naver에서도 웹사이트를 등록하고 사이트맵을 제출할 수 있다. Naver Webmaster Tools(https://webmastertool.naver.com)에 접속해 사이트를 추가한 후, 좌측 메뉴의 "수집" → "사이트맵"에서 사이트맵 URL을 등록하면 된다. Google Search Console과 동일한 프로세스로 진행하면 된다.
Naver의 경우 Google보다 사이트맵 갱신 주기가 느릴 수 있으니, 콘텐츠를 추가한 후 1~2주일 정도 여유를 두고 색인 상태를 확인하자.
사이트맵을 한 번 생성하고 끝이 아니라, 콘텐츠 추가/수정 시 자동으로 Search Console에 갱신 사실을 알려야 한다.
<?php
// 게시글 저장 후 호출
function notifySearchEngines($url) {
// Google Indexing API 호출 (최소 권한 필요)
$googleIndexingUrl = 'https://www.google.com/ping?sitemap=' . urlencode(SITE_URL . '/sitemap.xml');
$ch = curl_init($googleIndexingUrl);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_TIMEOUT, 5);
curl_exec($ch);
curl_close($ch);
// Naver Ping 호출
$naverPingUrl = 'https://webmaster.naver.com/api/ping';
$naverPostData = http_build_query([
'siteUrl' => SITE_URL
]);
$ch = curl_init($naverPingUrl);
curl_setopt($ch, CURLOPT_POST, true);
curl_setopt($ch, CURLOPT_POSTFIELDS, $naverPostData);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_TIMEOUT, 5);
curl_exec($ch);
curl_close($ch);
}
?>
사이트맵 제출 후 색인이 안 될 때 확인해야 할 사항:
| 문제 | 원인 | 해결 방법 |
|---|---|---|
| "Sitemap could not be read" | XML 형식 오류 (태그 미닫음, 인코딩 불일치) | W3C XML 검증기로 확인 또는 PHP의 SimpleXML로 파싱 테스트 |
| 색인 수 0 또는 매우 적음 | 사이트맵의 URL이 robots.txt로 차단됨 | robots.txt 확인하고 불필요한 Disallow 규칙 제거 |
| "Submitted URL seems to be missing" | 사이트맵의 URL이 실제로 반환되지 않거나 404 오류 | 각 URL을 브라우저에서 직접 열어 404 없는지 확인 |
| "Invalid URL format" | URL이 완전한 형태 아님 (http/https 누락, 한글 미인코딩) | 모든 URL이 https://로 시작하고 특수문자가 URL 인코딩되었는지 확인 |
XML 사이트맵은 단순해 보이지만 검색 엔진 최적화의 기초다. 한 번 제대로 만들어 놓으면 콘텐츠가 훨씬 빠르게 색인되고, 검색 결과 노출이 증가한다. 중요한 건 사이트맵을 정적 파일이 아닌 동적 PHP 스크립트로 만들어, 데이터베이스의 변화를 자동으로 반영하는 것이다. 이 글에서 소개한 PHP 코드를 그대로 복사해 적용하면, 콘텐츠 추가/수정 시 사이트맵이 항상 최신 상태로 유지될 것이다. Google Search Console과 Naver Webmaster Tools 모두에 제출해 국내외 검색 노출을 최대한 활용하자.