구글 Search Console 'Soft 404' 에러 원인 분석과 HTTP 404/410 상태 코드 완벽 해결법

웹사이트의 특정 게시글을 삭제하거나 URL 구조를 개편한 뒤 Google Search Console에서 'Soft 404' 오류 리포트를 받아본 경험이 있을 것이다.
화면상으로는 분명 '페이지를 찾을 수 없습니다'라는 안내 문구를 노출하고 있는데, 구글 크롤러는 왜 이를 정식 404 에러로 인식하지 않고 Soft 404 경고를 남기는지 답답했을 것이다.
이번 글에서는 Soft 404 에러가 발생하는 정확한 원인과 개념, 이를 해결하기 위해 백엔드에서 정확한 HTTP 응답 헤더를 반환하는 방법까지 완벽하게 정리해서 소개하겠다.

Soft 404는 실제 웹 서버가 클라이언트에게 HTTP 200 OK 성공 상태 코드를 반환하면서도, 콘텐츠 내용상으로는 '존재하지 않는 페이지'인 것처럼 보일 때 구글 검색봇(Googlebot)이 자체적으로 판단하여 지정하는 검색 색인 오류 상태다.
다시 말해, 서버 응답 상태 코드와 웹 브라우저에 실제 표시되는 화면 콘텐츠 메시지가 서로 일치하지 않는 모순 때문에 발생한다.

구글 크롤러가 Soft 404를 문제 삼는 이유는 웹 서버가 200 OK를 응답하면 '이 페이지에는 유효한 내용이 존재한다'고 판단하고 크롤링 자원을 소비하기 때문이다. 하지만 막상 응답 본문을 확인해보니 '요청하신 게시물을 찾을 수 없습니다'라는 비어있는 텍스트만 들어있다면, 크롤링 예산(Crawling Budget)이 낭비될 뿐만 아니라 사용자 경험에도 악영향을 준다.

실무 개발 환경에서 Soft 404 에러가 검출되는 상황은 크게 세 가지로 나뉜다.

대부분의 초보 개발자들이 범하는 실수다. 데이터베이스에서 게시글 조회에 실패했을 때, 사용자에게 예쁜 안내 페이지(커스텀 404 페이지)를 렌더링하면서 HTTP 헤더 변경 없이 기본값인 200 OK 코드를 그대로 내보내는 경우다.

존재하지 않는 옛날 링크를 방문했을 때 404 에러를 보여주는 것이 나쁘다고 오해하여, header("Location: /") 처럼 모든 구형 URL을 메인 페이지로 301 리다이렉트하는 사례다. 구글 크롤러는 기존 페이지와 전혀 연관성이 없는 곳으로의 무분별한 리다이렉트를 Soft 404로 간주한다.

내부 검색 기능에서 '검색 결과가 0건입니다'라는 페이지가 검색엔진에 노출되었거나, 유저가 작성한 글이 한두 단어 수준으로 매우 빈약할 때 발생한다. 크롤러 입장에서 유용한 정보가 없다고 판단하면 Soft 404 처리할 수 있다.

Soft 404를 근본적으로 해결하려면 백엔드 컨트롤러 단에서 데이터의 존재 여부를 검증하고, 요청한 리소스가 없을 경우 명시적으로 HTTP Status Code를 404 또는 410으로 지정해 주어야 한다.

✗ 잘못된 코드 (서버 기본 응답 200 OK 유지 상태에서 에러 화면 노출)

<?php
// 데이터베이스에서 게시글 조회
$post = get_post_by_id($_GET['id']);

if (!$post) {
    // ✗ HTTP 상태 코드를 변경하지 않아 기본값인 200 OK로 응답함
    include 'views/error_404.php';
    exit;
}
?>

✓ 올바른 코드 (http_response_code 함수로 404 상태 코드 명시)

<?php
$post = get_post_by_id($_GET['id']);

if (!$post) {
    // ✓ 백엔드 응답 상태 코드를 404 Not Found로 변경
    http_response_code(404);
    
    // 커스텀 404 에러 디자인 페이지 렌더링
    include 'views/error_404.php';
    exit;
}

// 완전히 영구적으로 삭제된 리소스라면 410 Gone 코드 사용
if ($post['is_deleted_permanently']) {
    http_response_code(410);
    include 'views/error_410.php';
    exit;
}
?>

출력 결과 (개발자 도구 Network 탭 확인)

HTTP/1.1 404 Not Found
Date: Mon, 20 Oct 2025 08:30:00 GMT
Content-Type: text/html; charset=UTF-8

<!-- 커스텀 404 HTML 화면 -->

✗ 잘못된 코드

app.get('/posts/:id', async (req, res) => {
  const post = await getPost(req.params.id);
  if (!post) {
    // ✗ status()를 지정하지 않아 default로 200 전달
    return res.render('404_page', { message: '게시글이 없습니다.' });
  }
  res.render('post_detail', { post });
});

✓ 올바른 코드

app.get('/posts/:id', async (req, res) => {
  const post = await getPost(req.params.id);
  if (!post) {
    // ✓ status(404)를 호출하여 HTTP 응답 코드를 404로 고정
    return res.status(404).render('404_page', { message: '게시글이 없습니다.' });
  }
  res.render('post_detail', { post });
});

많은 개발자나 마케터가 404 에러 개수가 늘어나는 것에 불안감을 느끼고 편법을 사용하곤 한다. 그러나 잘못된 대처는 웹사이트 전체의 SEO 평가를 저하시킨다.

✗ 잘못된 접근: 모든 삭제 URL을 메인 페이지로 301 리다이렉트
삭제된 1,000개의 게시글 URL을 모두 홈페이지 주소(/)로 리다이렉트하면, 구글은 해당 리다이렉트를 전부 Soft 404로 간주하고 색인을 강제로 삭제한다. 사용자가 요구한 콘텐츠와 홈페이지 내용이 완전히 다르기 때문이다.

✓ 올바른 접근: 명확한 HTTP 상태 코드 및 410 Gone 활용
단순히 찾을 수 없는 일반 URL은 404 Not Found를 반환하고, 복구할 계획이 전혀 없는 영구 폐기 페이지는 410 Gone 상태 코드를 반환하는 것이 가장 이상적이다. 구글 크롤러는 410 응답을 받으면 404보다 훨씬 빠르게 해당 URL의 색인을 삭제하고 재방문 주기를 줄여 크롤링 예산을 절약한다.

✗ 잘못된 접근: JavaScript로만 404 화면을 띄우는 Single Page Application(SPA)
React, Vue 등 SPA 환경에서 서버는 단순 index.html(200 OK)을 내려주고 클라이언트 사이드 라우팅에서 데이터가 없음을 확인한 뒤 '404 화면' 컴포넌트만 그리는 방식이다. 구글 크롤러는 초기 HTTP 응답 헤더인 200 OK를 먼저 수집하므로 Soft 404가 발생하기 쉽다. SPA 구조라면 SSR(Server-Side Rendering)을 적용하거나 메타 태그 <meta name="robots" content="noindex">를 동적으로 삽입해 주어야 한다.

Soft 404 에러 최적화는 구글 크롤링 예산을 효율적으로 관리하고 검색 엔진 색인 신뢰도를 높이는 핵심 SEO 작업이다. 불필요한 리다이렉트나 200 OK 응답을 방치하지 말고 서버 레벨에서 명확한 상태 코드를 전달하는 작은 습관이 모여서 검색 노출 순위와 사이트 전체의 SEO 품질을 극대화한다는 점을 잊지 말자. 이 글의 백엔드 HTTP 응답 처리 예제를 참고해 삭제된 URL 상태를 즉시 점검하고 올바른 상태 코드를 적용하면, Google Search Console의 Soft 404 오류를 깔끔하게 해결할 수 있을 것이다.