검색 엔진이 당신의 웹사이트를 제대로 크롤링하려면 사이트 구조를 명확히 알려줘야 한다. 많은 개발자들은 사이트맵이 중요하다는 걸 알지만, 실제로 만들 때는 하드코딩된 XML을 손으로 작성하거나 플러그인에만 의존한다. 더 큰 문제는 콘텐츠가 계속 추가될 때마다 사이트맵을 수동으로 갱신해야 한다는 번거로움이다. 이번에는 PHP에서 데이터베이스 기반으로 동적 사이트맵을 자동 생성하고, Google과 Naver에 제출하는 완벽한 방법을 정리해 소개하겠다.

 

사이트맵이란 무엇인가
XML 사이트맵은 검색 엔진 봇에게 당신의 웹사이트 구조와 페이지 목록을 체계적으로 알려주는 파일이다. robots.txt가 크롤러의 접근 규칙을 정의한다면, 사이트맵은 "이런 페이지들을 크롤링하세요"라는 명시적인 지시다. 사이트맵에 포함된 URL은 검색 엔진이 더 자주, 더 빠르게 발견하고 색인에 포함할 확률이 높아진다.

사이트맵은 보통 XML 형식이며, 각 URL마다 최근 수정 날짜(lastmod), 변경 빈도(changefreq), 중요도(priority) 같은 메타정보를 담을 수 있다. 특히 뉴스, 이미지, 비디오 같은 특화된 사이트맵도 있지만, 일반 웹사이트는 기본 XML 사이트맵만으로도 충분하다.

 

PHP에서 동적 사이트맵 생성하기
1단계: 기본 사이트맵 구조 이해하기

표준 XML 사이트맵의 구조는 다음과 같다.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://example.com/page1</loc>
    <lastmod>2024-01-15</lastmod>
    <changefreq>weekly</changefreq>
    <priority>0.8</priority>
  </url>
  <url>
    <loc>https://example.com/page2</loc>
    <lastmod>2024-01-10</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.6</priority>
  </url>
</urlset>

각 필드의 의미는 다음과 같다.

  • loc: 페이지의 완전한 URL(필수). http/https로 시작해야 함
  • lastmod: 마지막 수정 날짜(YYYY-MM-DD 형식). 선택사항이지만 추가하면 크롤링 최적화에 도움됨
  • changefreq: 얼마나 자주 변경되는지 힌트. always, hourly, daily, weekly, monthly, yearly, never 중 하나
  • priority: 상대적 중요도(0.0~1.0). 기본값은 0.5. 홈페이지는 1.0, 보조 페이지는 0.5~0.7 정도
2단계: PHP에서 데이터베이스 기반 사이트맵 생성

✓ 올바른 방법: 동적으로 데이터베이스에서 URL을 조회하고 XML로 렌더링

<?php
// config/database.php에서 PDO 연결 불러오기
require_once 'config/database.php';

// 헤더 설정 - XML로 응답하도록
header('Content-Type: application/xml; charset=UTF-8');
header('Cache-Control: public, max-age=86400'); // 24시간 캐시

// XML 헤더 작성
echo '<?xml version="1.0" encoding="UTF-8"?>';
echo PHP_EOL;
echo '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';
echo PHP_EOL;

// 홈페이지 추가
echo '<url>';
echo '<loc>https://example.com</loc>';
echo '<lastmod>' . date('Y-m-d') . '</lastmod>';
echo '<changefreq>daily</changefreq>';
echo '<priority>1.0</priority>';
echo '</url>';
echo PHP_EOL;

// 데이터베이스에서 모든 게시글 조회
try {
    $stmt = $pdo->query(
        "SELECT id, title, slug, updated_at FROM posts WHERE status = 'published' ORDER BY updated_at DESC"
    );
    
    while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
        $url = 'https://example.com/blog/' . htmlspecialchars($row['slug'], ENT_XML1, 'UTF-8');
        $lastmod = date('Y-m-d', strtotime($row['updated_at']));
        
        echo '<url>';
        echo '<loc>' . $url . '</loc>';
        echo '<lastmod>' . $lastmod . '</lastmod>';
        echo '<changefreq>weekly</changefreq>';
        echo '<priority>0.7</priority>';
        echo '</url>';
        echo PHP_EOL;
    }
    
    // 카테고리 페이지도 추가
    $stmt = $pdo->query("SELECT id, slug FROM categories WHERE active = 1");
    
    while ($row = $stmt->fetch(PDO::FETCH_ASSOC)) {
        $url = 'https://example.com/category/' . htmlspecialchars($row['slug'], ENT_XML1, 'UTF-8');
        
        echo '<url>';
        echo '<loc>' . $url . '</loc>';
        echo '<changefreq>daily</changefreq>';
        echo '<priority>0.6</priority>';
        echo '</url>';
        echo PHP_EOL;
    }
    
} catch (PDOException $e) {
    // 에러 로그 기록하고 기본 사이트맵만 반환
    error_log('Sitemap generation error: ' . $e->getMessage());
}

echo '</urlset>';
echo PHP_EOL;
?>

✗ 잘못된 방법: 하드코딩된 정적 사이트맵

<?php
// 이렇게 하면 콘텐츠가 추가될 때마다 수동으로 편집해야 함
echo '<?xml version="1.0" encoding="UTF-8"?>';
echo '<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';
echo '<url><loc>https://example.com</loc></url>';
echo '<url><loc>https://example.com/page1</loc></url>';
echo '<url><loc>https://example.com/page2</loc></url>';
// ... 수백 개 페이지를 하나하나 추가해야 함
echo '</urlset>';
?>

문제점: 페이지가 100개, 1000개로 늘어나면 사이트맵 파일도 함께 비대해지고, 수동 관리는 불가능해진다.

3단계: 라우팅 설정 - sitemap.xml 접근

.htaccess(Apache) 또는 Nginx 설정으로 sitemap.xml 요청을 PHP 파일로 라우팅해야 한다.

Apache .htaccess 예시:

RewriteEngine On
RewriteRule ^sitemap\.xml$ sitemap.php [L]

Nginx 설정 예시:

location = /sitemap.xml {
    rewrite ^(.*)$ /sitemap.php last;
}

또는 더 간단하게 웹루트 디렉토리에 sitemap.php를 직접 배치하고, 위 PHP 코드를 그 파일에 넣어두면 /sitemap.xml 요청 대신 /sitemap.php로 접근할 수도 있다.

 

사이트맵 최적화와 주의사항
1. 사이트맵 크기 제한

Google의 사이트맵 스펙에 따르면, 하나의 사이트맵 파일은 최대 50,000개 URL과 50MB 용량까지만 포함할 수 있다. 이를 초과하면 사이트맵 인덱스(Sitemap Index) 파일을 사용해 여러 사이트맵을 나누어야 한다.

<?php
// 사이트맵이 너무 크면 사이트맵 인덱스 파일 생성
header('Content-Type: application/xml; charset=UTF-8');

echo '<?xml version="1.0" encoding="UTF-8"?>';
echo PHP_EOL;
echo '<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">';
echo PHP_EOL;

// 각 사이트맵 파일을 나열
for ($i = 1; $i <= 10; $i++) {
    echo '<sitemap>';
    echo '<loc>https://example.com/sitemap-' . $i . '.xml</loc>';
    echo '<lastmod>' . date('Y-m-d') . '</lastmod>';
    echo '</sitemap>';
    echo PHP_EOL;
}

echo '</sitemapindex>';
echo PHP_EOL;
?>
2. URL 이스케이핑과 인코딩

✗ 잘못된 코드: 한글이나 특수문자가 포함된 URL을 그대로 사용

echo '<loc>https://example.com/blog/' . $row['slug'] . '</loc>';
// 출력: <loc>https://example.com/blog/글쓰기-팁</loc>
// 문제: XML 파서가 한글을 제대로 해석하지 못할 수 있음

✓ 올바른 코드: htmlspecialchars()로 XML 엔티티 인코딩

echo '<loc>https://example.com/blog/' . htmlspecialchars($row['slug'], ENT_XML1, 'UTF-8') . '</loc>';
// 출력: <loc>https://example.com/blog/%EA%B8%80%EC%93%B0%EA%B8%B0-%ED%8C%81</loc>
// 올바른: URL이 안전하게 인코딩됨
3. 캐싱 설정

사이트맵을 매번 데이터베이스 쿼리로 생성하면 큰 사이트에서 성능 저하가 생긴다. 캐싱 헤더를 설정해 검색 엔진 봇의 중복 요청을 줄여야 한다.

// 캐시 제어 헤더
header('Cache-Control: public, max-age=86400'); // 24시간
header('Expires: ' . gmdate('D, d M Y H:i:s', time() + 86400) . ' GMT');

// 또는 Redis를 사용한 고급 캐싱
$redis = new Redis();
$redis->connect('127.0.0.1', 6379);

$cacheKey = 'sitemap:xml';
$cachedSitemap = $redis->get($cacheKey);

if ($cachedSitemap) {
    echo $cachedSitemap;
    exit;
}

// 사이트맵 생성 로직...
// $sitemap = 생성된 XML 문자열

$redis->setex($cacheKey, 86400, $sitemap); // 24시간 캐시
echo $sitemap;

 

Google Search Console에 사이트맵 제출하기
1. 웹사이트 소유권 인증

먼저 Google Search Console(https://search.google.com/search-console)에 접속해 웹사이트를 추가해야 한다. HTML 메타 태그, HTML 파일 업로드, DNS 레코드 등 여러 인증 방법 중 하나를 선택해 소유권을 확인하면 된다.

2. 사이트맵 제출

Search Console의 왼쪽 메뉴에서 "Sitemaps"를 선택한 후, 새 사이트맵 URL을 입력하면 된다. 보통 "https://example.com/sitemap.xml" 또는 "https://example.com/sitemap.php" 형태다. Submit 버튼을 누르면 Google이 사이트맵을 즉시 크롤링한다.

제출 후 몇 시간에서 몇 일 사이에 색인 상태가 "성공" 또는 "경고" 또는 "오류"로 표시될 것이다. 오류가 나면 사이트맵 형식을 다시 확인하거나, 포함된 URL의 robots.txt 차단 여부를 확인해야 한다.

3. robots.txt에서 사이트맵 위치 선언

선택사항이지만, robots.txt 파일의 맨 아래에 사이트맵 위치를 선언하면 크롤러가 더 쉽게 발견할 수 있다.

User-agent: *
Disallow: /admin/
Disallow: /private/

Sitemap: https://example.com/sitemap.xml

 

Naver 검색 콘솔에 사이트맵 등록하기

Naver에서도 웹사이트를 등록하고 사이트맵을 제출할 수 있다. Naver Webmaster Tools(https://webmastertool.naver.com)에 접속해 사이트를 추가한 후, 좌측 메뉴의 "수집" → "사이트맵"에서 사이트맵 URL을 등록하면 된다. Google Search Console과 동일한 프로세스로 진행하면 된다.

Naver의 경우 Google보다 사이트맵 갱신 주기가 느릴 수 있으니, 콘텐츠를 추가한 후 1~2주일 정도 여유를 두고 색인 상태를 확인하자.

 

실무 팁: 자동화된 사이트맵 갱신

사이트맵을 한 번 생성하고 끝이 아니라, 콘텐츠 추가/수정 시 자동으로 Search Console에 갱신 사실을 알려야 한다.

<?php
// 게시글 저장 후 호출
function notifySearchEngines($url) {
    // Google Indexing API 호출 (최소 권한 필요)
    $googleIndexingUrl = 'https://www.google.com/ping?sitemap=' . urlencode(SITE_URL . '/sitemap.xml');
    
    $ch = curl_init($googleIndexingUrl);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_TIMEOUT, 5);
    curl_exec($ch);
    curl_close($ch);
    
    // Naver Ping 호출
    $naverPingUrl = 'https://webmaster.naver.com/api/ping';
    $naverPostData = http_build_query([
        'siteUrl' => SITE_URL
    ]);
    
    $ch = curl_init($naverPingUrl);
    curl_setopt($ch, CURLOPT_POST, true);
    curl_setopt($ch, CURLOPT_POSTFIELDS, $naverPostData);
    curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
    curl_setopt($ch, CURLOPT_TIMEOUT, 5);
    curl_exec($ch);
    curl_close($ch);
}
?>

 

사이트맵 검증: 오류 체크리스트

사이트맵 제출 후 색인이 안 될 때 확인해야 할 사항:

문제 원인 해결 방법
"Sitemap could not be read" XML 형식 오류 (태그 미닫음, 인코딩 불일치) W3C XML 검증기로 확인 또는 PHP의 SimpleXML로 파싱 테스트
색인 수 0 또는 매우 적음 사이트맵의 URL이 robots.txt로 차단됨 robots.txt 확인하고 불필요한 Disallow 규칙 제거
"Submitted URL seems to be missing" 사이트맵의 URL이 실제로 반환되지 않거나 404 오류 각 URL을 브라우저에서 직접 열어 404 없는지 확인
"Invalid URL format" URL이 완전한 형태 아님 (http/https 누락, 한글 미인코딩) 모든 URL이 https://로 시작하고 특수문자가 URL 인코딩되었는지 확인

 

마무리

XML 사이트맵은 단순해 보이지만 검색 엔진 최적화의 기초다. 한 번 제대로 만들어 놓으면 콘텐츠가 훨씬 빠르게 색인되고, 검색 결과 노출이 증가한다. 중요한 건 사이트맵을 정적 파일이 아닌 동적 PHP 스크립트로 만들어, 데이터베이스의 변화를 자동으로 반영하는 것이다. 이 글에서 소개한 PHP 코드를 그대로 복사해 적용하면, 콘텐츠 추가/수정 시 사이트맵이 항상 최신 상태로 유지될 것이다. Google Search Console과 Naver Webmaster Tools 모두에 제출해 국내외 검색 노출을 최대한 활용하자.