robots.txt 파일을 제대로 설정했는데도 구글이 차단된 페이지를 자꾸 크롤링한다거나, 검색 결과에 떠야 할 페이지가 안 나타나는 경험을 해본 적 있을까. 대부분의 웹 개발자들은 robots.txt를 단순한 텍스트 파일 정도로 생각해서 규칙을 써놓고 끝낸다. 다만 검색 엔진이 실제로 그 지시를 따르지 않는 경우가 상당히 많다는 걸 모르는 경우가 많다. ···
모바일 사용자가 검색 결과에서 당신의 사이트를 클릭했는데, 데스크톱 레이아웃이 그대로 축소되어 표시되거나 아예 페이지를 찾을 수 없다는 오류가 나타나본 적이 있을까? 대부분의 개발자들은 모바일 최적화가 단순히 CSS 미디어 쿼리 몇 줄이면 된다고 생각하지만, 실제로는 HTML 메타 태그 설정부터 검색 엔진이 인식하는 모바일 페이지 구조까지 여러 단계를 거쳐···
검색 결과 페이지를 보면 사이트 제목 아래 회색 텍스트로 2~3줄 정도의 설명이 나타난다. 바로 메타 설명(Meta Description)이다. 이 짧은 텍스트가 사용자의 클릭 여부를 크게 좌우하는데, 많은 개발자들은 이걸 제대로 설정하지 않거나 검색 엔진이 임의로 생성하도록 방치한다. 구글이 자동으로 뽑은 설명은 맥락과 맞지 않아 클릭률을 떨어뜨리는 주요···
검색 결과를 보다 보면 내 사이트 제목이 중간에 끊겨서 '...'으로 표시되는 경우가 있다. 구글은 데스크톱에서 약 60글자, 모바일에서 약 50글자 범위 내에서 제목을 표시하는데, 많은 개발자들이 이 기준을 모르고 80글자 이상의 긴 제목을 작성한다. 문제는 제목이 잘리는 것뿐 아니라, 중요한 키워드가 뒷부분에 숨어버려 검색 트래픽이 줄어든다는 점이다. ···
내 웹사이트가 구글에 제대로 색인되고 있는지 확인하려면 어떻게 해야 할까. 많은 개발자들이 Search Console 대시보드의 수치만 바라보다가, 정작 특정 URL이 왜 색인되지 않는지는 알 수 없는 상황을 경험한다. Google Search Console의 URL 검사 도구는 개별 페이지의 색인 상태를 상세히 진단하고, 즉시 크롤링을 요청할 수 있는 강···
검색엔진에 제출한 사이트가 한 달이 지났는데도 검색 결과에 나타나지 않는 경험을 해봤을까. 웹사이트를 만들고 구글에 등록했으면 당연히 검색되어야 한다고 생각하지만, 실제로는 크롤링, 색인, 순위결정이라는 여러 단계를 거쳐야 한다. 다만 대부분의 개발자들은 이 과정 중 어느 단계에서 문제가 생겼는지 정확히 파악하지 못한 채 답답해한다. 이번에는 Google ···
검색엔진에 당신의 사이트 구조를 제대로 알려주지 못해 페이지가 색인되지 않는 경험을 했을까? 많은 개발자들이 콘텐츠만 잘 만들면 자동으로 검색 결과에 나타날 거라고 생각한다. 하지만 구글이나 네이버는 당신의 사이트 지도를 받아야 모든 페이지를 효율적으로 크롤링할 수 있다. XML 사이트맵은 검색엔진에게 당신의 웹사이트에 어떤 페이지들이 있는지, 언제 마지막···
검색 결과에서 사이트 순위가 갑자기 떨어지거나, Google Search Console에서 "페이지 경험" 점수가 빨간 경고로 표시되는 경험을 해봤을까. 다만 대부분의 개발자들은 Core Web Vitals가 정확히 뭔지, 어떤 지표를 봐야 하는지, 실제로 코드에서 뭘 고쳐야 하는지 전혀 모른 채 검색 결과에서 가져온 추상적인 최적화 팁만 따라 한다. 이번···
개발자라면 구글 Search Console에서 Core Web Vitals 지표가 '나쁨' 상태로 떨어진 적 있을까. 사용자는 여전히 사이트를 이용하는데 갑자기 검색 순위가 밀려나가고, 모바일 트래픽이 뚝 떨어진다. 다만 대부분의 개발자들은 Core Web Vitals가 정확히 뭔지, 어떤 지표가 얼마나 떨어졌는지, 왜 개선되지 않는지 제대로 모른 채로 우···
검색엔진 최적화를 하면서 가장 답답한 부분은 뭘까. 매일 Google Search Console에 들어가서 수동으로 순위를 확인하는 것이다. 특히 관리하는 키워드가 100개를 넘어가면 손으로 일일이 체크하기는 불가능하다. 다만 대부분의 개발자들은 Search Console이 UI를 제공할 뿐 API를 통한 자동화가 가능하다는 걸 모르거나, 알아도 구글 AP···
구글 Search Console을 점검하다가 색인 생성 보류 목록에서 '발견됨 - 현재 색인 생성되지 않음' 문구를 보고 당황한 적이 있을 것이다. 사이트맵을 정상 등록했고 URL도 올바르게 생성되었는데 구글이 페이지를 가져가지도 않는 상황이다.다만 대부분의 개발자나 웹마스터는 이 에러 메시지가 의미하는 정확한 원인과 크롤링 작동 원리를 모른 채 무작정 색···
웹 서비스를 운영하다 보면 동일한 콘텐츠가 여러 URL 경로로 접속되는 경우를 흔히 경험해봤을 것이다. 도메인 앞의 www 유무, HTTP와 HTTPS의 접속 혼용, 또는 쇼핑몰 상품 리스트의 정렬 파라미터(?sort=price_asc) 때문에 완전히 같은 내용의 페이지인데도 주소가 수십 개로 갈라지곤 한다. 문제는 검색엔진 크롤러가 이 주소들을 각각 서로···
검색 결과 페이지(SERP)에서 경쟁사 웹사이트는 '홈 > 블로그 > 백엔드'처럼 깔끔한 탐색 경로가 표시되는데, 내 사이트는 볼품없는 복잡한 URL 문자열 그대로 노출되어 답답했던 경험이 있을 것이다. 다만 대부분의 개발자들은 이를 검색엔진 알고리즘의 무작위 선택으로 치부하고 넘어가거나, 검색 로봇에게 정확한 카테고리 구조를 전달하는 방법을 모르는 경우가···
구글 Search Console을 설치한 뒤 데이터가 쌓이는 걸 보면서 신기하긴 한데, 정확히 뭘 의미하는지 헷갈리는 개발자가 많다. 특히 '크롤 통계' 탭의 수치들이 실제 검색 성과와 어떤 관계가 있는지, 그리고 그 수치들을 어떻게 해석해야 하는지를 제대로 아는 사람은 드물다. 이번에는 Search Console의 핵심 지표들을 정확히 뭔지, 왜 중요한지···
웹사이트를 오픈하고 구글 Search Console에서 색인 생성 여부를 확인하다가 '크롤링됨 - 현재 색인 생성되지 않음' 메세지를 보고 당황한 적이 있을 것이다. 구글봇이 내 사이트에 방문해서 페이지를 분명 읽어갔는데도 정작 구글 검색 결과에는 등록해주지 않는 기이한 상황이다.다만 많은 개발자나 사이트 관리자들은 정확한 원인을 모른 채 무작정 Searc···
Google과 Bing에 사이트를 등록하는 건 많이 다루지만, 중국 시장을 노리는 개발자들이 놓치는 게 있다. 바로 Baidu 검색 엔진이다. 중국 내 검색 시장 점유율이 압도적인데도 대부분의 한국 개발자는 Baidu Webmaster Tools 존재 자체를 모르거나, 등록 과정이 복잡할 거라 생각해서 건너뛴다. 실제로 Baidu 검색 노출은 Google ···
React나 Vue 같은 현대적인 프레임워크로 웹 애플리케이션을 구축했지만 구글이나 네이버 검색 엔진에 내 페이지가 전혀 노출되지 않는 문제를 경험해봤을 것이다.다만 클라이언트 사이드 렌더링(CSR) 특성상 검색 엔진 크롤러가 자바스크립트를 실행하기 전 빈 HTML만 수집한다는 정확한 원인이나 해결책을 모르는 경우가 많다.이번에는 CSR 기반 SPA에서 발···
검색 엔진이 사이트맵을 크롤링할 때 페이지의 수정 시간을 잘못 인식하면, 검색 결과에 엉뚱한 날짜가 표시되거나 오래된 콘텐츠로 판단되어 순위가 떨어진다. 대부분의 개발자들은 사이트맵에 lastmod 태그를 넣기만 하면 끝이라고 생각하지만, 실제로는 파일의 물리적 수정 시간, HTTP Last-Modified 헤더, 그리고 데이터베이스의 업데이트 시간까지 모···