noindex 태그 실수로 생긴 검색 누락: robots.txt 차단과 구분해 복구하는 순서

검색 누락, 사이트가 아니라 태그 한 줄이 원인일 때

글을 꾸준히 올리는데 구글에서 사이트 이름을 쳐도 안 나오면 답답하죠. 웹 사이트 검색 누락 복구 방법을 찾다 보면 원인이 콘텐츠가 아니라 noindex 태그 실수일 때가 있어요. 테스트 단계에서 넣어 둔 태그 한 줄이 배포 뒤에도 남아 있으면, 구글은 그 페이지를 검색 결과에 넣지 말라는 지시로 읽거든요.

noindex와 robots.txt 차단, 검색 누락에서 어떻게 다른가요

둘은 반대 방향으로 움직여요. robots.txt는 구글이 페이지에 들어오지 못하게 하고, noindex는 구글이 들어와서 읽은 뒤에야 효력이 생기죠. 이 차이를 모르면 고친다고 한 조치가 오히려 복구를 늦춥니다.

noindex 태그 실수 1: 개발용 설정을 남긴 채 배포

가장 자주 보이는 경우는 테스트 서버에서 쓰던 설정이 운영 사이트로 그대로 넘어오는 거예요. 워드프레스라면 설정 > 읽기 메뉴의 검색엔진 노출 옵션이 체크된 채 남아 있을 수 있고, 다른 빌더도 검색엔진 숨김 스위치를 따로 둡니다. 직접 보는 방법은 어렵지 않아요. 브라우저에서 페이지 소스 보기를 열고 robots를 검색해 <meta name='robots' content='noindex'> 같은 줄이 있는지 찾으면 됩니다.

소스에 없는데도 제외된다면 서버가 X-Robots-Tag 헤더로 보내고 있을 수 있어요. 이때는 개발자 도구 네트워크 탭에서 응답 헤더까지 열어 봐야 합니다. noindex 말고 다른 원인까지 넓게 짚고 싶다면 이 주제를 처음부터 정리한 글(우리 블로그의 누락 실수 자가 진단 글)을 함께 보세요.

실수 2: noindex 페이지를 robots.txt로 한 번 더 막기

누락된 페이지를 정리하겠다며 robots.txt에 Disallow 줄을 추가하는 경우가 있어요. 그런데 구글 검색 센터 문서는 noindex가 효과를 내려면 robots.txt가 그 페이지를 막지 않아야 한다고 설명합니다. 막혀 있으면 구글이 페이지를 다시 읽지 못하니, 나중에 noindex를 지워도 그 변화를 알아채지 못하거든요. 결국 두 가지를 모두 걸어 두면 복구도, 숨기기도 제대로 안 되는 상태가 됩니다.

noindex 지운 뒤 서치 콘솔에서 복구 진행 보는 순서

noindex 태그 실수가 다시 생기지 않게 막는 설정

한 번 고쳤어도 테마를 바꾸거나 SEO 플러그인을 업데이트하면 같은 일이 다시 생길 수 있어요. 그래서 배포할 때마다 아래 항목을 짧게 훑는 습관이 복구보다 훨씬 덜 번거롭습니다.

비밀번호 방식을 권하는 이유는 단순해요. 설정 파일이 운영 서버로 복사되더라도 noindex 태그가 따라오지 않으니까요.

오늘 바로 해볼 한 가지

지금 서치 콘솔을 열고 페이지 색인 생성 보고서에서 'noindex' 태그에 의해 제외됨 항목을 눌러 보세요. 목록에 숨기려던 적 없는 글이 있다면, 그중 주소 하나를 골라 위의 세 단계를 그대로 따라가면 됩니다. 반대로 목록이 비어 있다면 원인은 noindex가 아니라는 뜻이죠.

자주 묻는 질문

참고자료

• Google 검색 센터 - noindex로 검색 색인 생성 차단 — noindex 메타 태그와 X-Robots-Tag 헤더 사용법, robots.txt와 함께 쓰면 안 되는 이유를 설명하는 구글 공식 문서
• Google 검색 센터 - robots.txt 소개 — robots.txt가 하는 일과 한계, 차단된 주소가 검색 결과에 남을 수 있는 경우를 다룬 공식 문서
• Search Console 고객센터 - URL 검사 도구 — 실제 URL 테스트와 색인 생성 요청 기능 사용법을 안내하는 공식 도움말