robots.txt 파일을 제대로 설정했는데도 구글이 차단된 페이지를 자꾸 크롤링한다거나, 검색 결과에 떠야 할 페이지가 안 나타나는 경험을 해본 적 있을까. 대부분의 웹 개발자들은 robots.txt를 단순한 텍스트 파일 정도로 생각해서 규칙을 써놓고 끝낸다. 다만 검색 엔진이 실제로 그 지시를 따르지 않는 경우가 상당히 많다는 걸 모르는 경우가 많다. ···
모바일 사용자가 검색 결과에서 당신의 사이트를 클릭했는데, 데스크톱 레이아웃이 그대로 축소되어 표시되거나 아예 페이지를 찾을 수 없다는 오류가 나타나본 적이 있을까? 대부분의 개발자들은 모바일 최적화가 단순히 CSS 미디어 쿼리 몇 줄이면 된다고 생각하지만, 실제로는 HTML 메타 태그 설정부터 검색 엔진이 인식하는 모바일 페이지 구조까지 여러 단계를 거쳐···
검색 결과 페이지를 보면 사이트 제목 아래 회색 텍스트로 2~3줄 정도의 설명이 나타난다. 바로 메타 설명(Meta Description)이다. 이 짧은 텍스트가 사용자의 클릭 여부를 크게 좌우하는데, 많은 개발자들은 이걸 제대로 설정하지 않거나 검색 엔진이 임의로 생성하도록 방치한다. 구글이 자동으로 뽑은 설명은 맥락과 맞지 않아 클릭률을 떨어뜨리는 주요···
검색 결과를 보다 보면 내 사이트 제목이 중간에 끊겨서 '...'으로 표시되는 경우가 있다. 구글은 데스크톱에서 약 60글자, 모바일에서 약 50글자 범위 내에서 제목을 표시하는데, 많은 개발자들이 이 기준을 모르고 80글자 이상의 긴 제목을 작성한다. 문제는 제목이 잘리는 것뿐 아니라, 중요한 키워드가 뒷부분에 숨어버려 검색 트래픽이 줄어든다는 점이다. ···
검색엔진에 제출한 사이트가 한 달이 지났는데도 검색 결과에 나타나지 않는 경험을 해봤을까. 웹사이트를 만들고 구글에 등록했으면 당연히 검색되어야 한다고 생각하지만, 실제로는 크롤링, 색인, 순위결정이라는 여러 단계를 거쳐야 한다. 다만 대부분의 개발자들은 이 과정 중 어느 단계에서 문제가 생겼는지 정확히 파악하지 못한 채 답답해한다. 이번에는 Google ···
검색엔진에 당신의 사이트 구조를 제대로 알려주지 못해 페이지가 색인되지 않는 경험을 했을까? 많은 개발자들이 콘텐츠만 잘 만들면 자동으로 검색 결과에 나타날 거라고 생각한다. 하지만 구글이나 네이버는 당신의 사이트 지도를 받아야 모든 페이지를 효율적으로 크롤링할 수 있다. XML 사이트맵은 검색엔진에게 당신의 웹사이트에 어떤 페이지들이 있는지, 언제 마지막···
구글 Search Console을 점검하다가 색인 생성 보류 목록에서 '발견됨 - 현재 색인 생성되지 않음' 문구를 보고 당황한 적이 있을 것이다. 사이트맵을 정상 등록했고 URL도 올바르게 생성되었는데 구글이 페이지를 가져가지도 않는 상황이다.다만 대부분의 개발자나 웹마스터는 이 에러 메시지가 의미하는 정확한 원인과 크롤링 작동 원리를 모른 채 무작정 색···
웹 서비스를 운영하다 보면 동일한 콘텐츠가 여러 URL 경로로 접속되는 경우를 흔히 경험해봤을 것이다. 도메인 앞의 www 유무, HTTP와 HTTPS의 접속 혼용, 또는 쇼핑몰 상품 리스트의 정렬 파라미터(?sort=price_asc) 때문에 완전히 같은 내용의 페이지인데도 주소가 수십 개로 갈라지곤 한다. 문제는 검색엔진 크롤러가 이 주소들을 각각 서로···
검색 결과 페이지(SERP)에서 경쟁사 웹사이트는 '홈 > 블로그 > 백엔드'처럼 깔끔한 탐색 경로가 표시되는데, 내 사이트는 볼품없는 복잡한 URL 문자열 그대로 노출되어 답답했던 경험이 있을 것이다. 다만 대부분의 개발자들은 이를 검색엔진 알고리즘의 무작위 선택으로 치부하고 넘어가거나, 검색 로봇에게 정확한 카테고리 구조를 전달하는 방법을 모르는 경우가···
구글 Search Console을 설치한 뒤 데이터가 쌓이는 걸 보면서 신기하긴 한데, 정확히 뭘 의미하는지 헷갈리는 개발자가 많다. 특히 '크롤 통계' 탭의 수치들이 실제 검색 성과와 어떤 관계가 있는지, 그리고 그 수치들을 어떻게 해석해야 하는지를 제대로 아는 사람은 드물다. 이번에는 Search Console의 핵심 지표들을 정확히 뭔지, 왜 중요한지···
Google과 Bing에 사이트를 등록하는 건 많이 다루지만, 중국 시장을 노리는 개발자들이 놓치는 게 있다. 바로 Baidu 검색 엔진이다. 중국 내 검색 시장 점유율이 압도적인데도 대부분의 한국 개발자는 Baidu Webmaster Tools 존재 자체를 모르거나, 등록 과정이 복잡할 거라 생각해서 건너뛴다. 실제로 Baidu 검색 노출은 Google ···
React나 Vue 같은 현대적인 프레임워크로 웹 애플리케이션을 구축했지만 구글이나 네이버 검색 엔진에 내 페이지가 전혀 노출되지 않는 문제를 경험해봤을 것이다.다만 클라이언트 사이드 렌더링(CSR) 특성상 검색 엔진 크롤러가 자바스크립트를 실행하기 전 빈 HTML만 수집한다는 정확한 원인이나 해결책을 모르는 경우가 많다.이번에는 CSR 기반 SPA에서 발···
검색 엔진이 사이트맵을 크롤링할 때 페이지의 수정 시간을 잘못 인식하면, 검색 결과에 엉뚱한 날짜가 표시되거나 오래된 콘텐츠로 판단되어 순위가 떨어진다. 대부분의 개발자들은 사이트맵에 lastmod 태그를 넣기만 하면 끝이라고 생각하지만, 실제로는 파일의 물리적 수정 시간, HTTP Last-Modified 헤더, 그리고 데이터베이스의 업데이트 시간까지 모···
검색 엔진에 노출되지 않는 페이지들을 살펴보면 공통점이 있다. 바로 필수 메타 태그가 빠져 있거나 잘못 설정되어 있다는 것이다. 많은 개발자들이 페이지를 만들 때 제목과 설명 태그 정도만 대충 넣고 넘어가는데, 검색 엔진이 제대로 크롤링하고 색인하려면 훨씬 더 많은 메타데이터가 필요하다. 이번에는 검색 노출을 막는 메타 태그 누락 문제를 정확히 진단하고, ···
많은 개발자와 마케터들이 Google Search Console에만 집중하느라 Bing 검색 엔진을 놓친다. 다만 Bing은 전 세계 검색량의 약 3~5%를 차지하고 있고, 특히 기업 사용자와 Windows 통합 검색에서 여전히 중요한 역할을 한다. 게다가 검색 노출 설정 방식이 Google과 다르기 때문에 제대로 알지 못하면 Bing에서는 아예 색인되지 ···
웹사이트에 열심히 고화질 이미지를 배치해 두었지만, 구글이나 네이버 이미지 검색 엔진에 수개월째 단 한 건도 노출되지 않는 문제를 경험해봤을까?다만 대다수의 개발자나 운영자들은 태그의 alt 속성을 빈값으로 내버려두거나 IMG_001.jpg 같은 의미 없는 파일명을 그대로 사용하는 경우가 많다.이번에는 이미지 크롤러가 콘텐츠를 수집하는 정확한 원리부터, ···
어느 날 갑자기 검색 순위가 떨어지는 경험을 해본 적 있을까? 분명 최적화도 했는데 구글 서치 콘솔에서 경고 메시지가 떠있다. 바로 Core Web Vitals 때문일 가능성이 높다. 다만 대부분의 개발자나 마케터들은 LCP, FID, CLS가 정확히 뭔지도 모른 채, 구글에서 제시한 수치만 맞추려고 급급하다. 이번에는 Core Web Vitals가 정확히···
검색 엔진에서 일반 검색 결과 맨 위에 떠있는 회색 박스를 본 적이 있을까? "사과의 원산지는?", "PHP 버전 확인하는 방법은?" 같은 질문에 대해 웹사이트의 일부 내용이 박스에 들어가 있는 걸 말한다. 이게 바로 Featured Snippet(추천 스니펫)인데, 대부분의 개발자와 운영진들은 이게 왜 나타나는지, 어떻게 최적화하는지 모른 채 넘어간다.다···