검색엔진 robots.txt 설정 방법 | 구글 네이버 검색 노출 최적화 가이드

블로그나 웹사이트를 운영하다 보면 어떤 페이지는 구글이나 네이버에 잘 나왔으면 좋겠고, 또 어떤 관리자 페이지는 검색 결과에서 숨기고 싶을 때가 있죠? 바로 이때 검색 엔진 로봇에게 '여기까지만 들어와!'라고 길을 안내해 주는 파일이 바로 robots.txt입니다.

처음 설정할 때 실수하면 사이트 전체가 검색 결과에서 사라질 수도 있어서 긴장되시죠? 걱정 마세요. 오늘 저와 함께 하나씩 차근차근 알아보면 전혀 어렵지 않아요. SEO(검색엔진 최적화)의 기초 중의 기초, 지금 바로 시작해 볼까요?

robots.txt 파일을 만들기 위해서는 먼저 검색 로봇과 대화하는 전용 언어를 알아야 해요. 복잡해 보이지만 딱 세 가지만 기억하면 됩니다. 어떤 로봇인지(User-agent), 거부할지(Disallow), 허용할지(Allow)만 정해주면 끝이죠.

여기서 주의할 점은 경로를 설정할 때 상대 경로를 사용한다는 것이에요. 예를 들어 사이트 전체를 허용하고 싶다면 Disallow 뒤에 아무것도 적지 않거나, 특정 관리자 페이지를 막고 싶다면 Disallow: /admin/처럼 입력하면 돼요.

내 사이트에 방문하는 손님(로봇)들의 이름을 정확히 불러줘야 그들이 말을 잘 듣겠죠? 모든 로봇에게 동일한 규칙을 적용할 수도 있고, 구글이나 네이버에만 특별한 규칙을 줄 수도 있어요.

만약 모든 로봇에게 차별 없이 대하고 싶다면 User-agent: 라고 적으면 됩니다. 별표()는 '모든'이라는 뜻을 가진 와일드카드 문자거든요. 참 쉽죠?

자, 이제 이론을 배웠으니 실제로 파일을 만들어볼까요? 특별한 프로그램은 필요 없어요. 윈도우 메모장이나 맥의 텍스트 편집기만 있으면 3분 만에 뚝딱 만들 수 있습니다.

단 한 줄의 코드가 여러분의 블로그를 검색 미아로 만들 수도 있다는 사실, 알고 계셨나요? 초보 운영자들이 가장 많이 하는 실수 중 하나가 바로 모든 접근을 막아버리는 설정이에요.

또한, robots.txt는 보안 도구가 아니라는 점을 명심하세요. 누구나 yourdomain.com/robots.txt를 입력하면 이 파일을 볼 수 있거든요. 정말 중요한 비밀 페이지는 비밀번호를 걸거나 다른 보안 조치를 취해야지, robots.txt로 가린다고 해서 안전해지는 것은 아니랍니다.

모든 설정을 마쳤다면 이제 내 안내서가 잘 작동하는지 확인해 볼 차례입니다. 검색 엔진이 내 의도대로 정보를 가져가는지 테스트하는 도구들이 있거든요.

"구글 서치 콘솔의 'robots.txt 테스터'를 활용하면 오류 여부를 실시간으로 확인할 수 있습니다."

— Google Search Central 가이드

구글 서치 콘솔에 접속해 내 사이트를 등록한 후, '설정' 또는 구형 버전의 '테스터' 메뉴를 이용해 보세요. 작성한 코드를 붙여넣고 특정 URL을 테스트하면 '허용됨' 혹은 '차단됨' 결과가 바로 뜬답니다. 네이버 역시 웹마스터 도구(서치어드바이저)에서 검증 기능을 제공하니 꼭 활용해 보세요!