홈페이지를 새로 열고 며칠이 지났는데 회사 이름으로 검색해도 사이트가 안 나오면, 뭔가 잘못 만든 건 아닌지부터 걱정이 됩니다. 구글은 새 사이트를 찾아오는 데 몇 주가 걸릴 수 있다고 안내하고 있어서 기다리는 게 답일 때가 많아요. 다만 검색 로봇을 막는 설정이 켜져 있으면 몇 달을 기다려도 그대로라서, 기다리기 전에 막힌 곳이 없는지부터 보는 게 순서예요.
지금 상태는 site: 검색으로 확인해요
먼저 정말 안 나오는 건지부터 봐요. 구글 검색창에 `site:우리도메인.com`처럼 site: 뒤에 주소를 붙여 검색하면 구글이 그 사이트에서 검색에 쓰려고 저장해 둔(색인한) 페이지가 나옵니다. 네이버도 웹문서 검색에서 같은 방식의 site: 질의를 안내하고 있어요.
여기서 페이지가 하나라도 나오면 검색엔진이 사이트를 이미 알고 있다는 뜻이에요. 그런데도 회사 이름을 쳤을 때 안 보인다면 같은 이름을 쓰는 다른 회사나 기사가 앞에 있을 수 있어서, 아래 등록 단계를 마치고 몇 주 지켜보면 돼요. site: 검색에 아무것도 안 나온다면 다음 세 군데부터 열어 봐요.
검색 로봇을 막는 설정이 남아 있는지 봐요
만드는 동안에는 덜 된 화면이 검색에 걸리지 않도록 로봇을 막아 두기도 하는데, 이 설정이 오픈 뒤에도 남아 있으면 검색엔진이 사이트를 알아도 결과에서 빼거나 내용을 읽지 못해요. 확인할 곳은 세 군데예요.
- 페이지 안의 noindex 표시 — 사이트 첫 화면에서 마우스 오른쪽 버튼을 눌러 '페이지 소스 보기'를 열고 noindex 라는 글자를 찾아봐요. `<meta name="robots" content="noindex">` 같은 줄이 있으면 구글은 그 페이지를 검색 결과에서 뺍니다. 네이버도 메인 페이지에 noindex 가 있으면 해제하라고 안내하고 있어요.
- robots.txt — 주소창에 `우리도메인.com/robots.txt`를 쳐서 열리는 파일에 `User-agent: *` 바로 아래 `Disallow: /` 가 있다면 모든 로봇에게 사이트 전체에 들어오지 말라는 뜻이에요. `User-agent:` 뒤에 특정 로봇 이름이 적혀 있으면 그 로봇에만 해당하고요. 이건 결과에서 빼라는 noindex 와 달리 로봇이 페이지 내용을 읽으러 들어오는 걸 막는 설정이라, 주소만 결과에 남고 내용은 비어 있는 식으로 제대로 검색되지 않아요. robots.txt는 로봇에게 어디까지 들어와도 되는지 알려 주는 안내문이라, 파일이 없거나 비어 있는 건 문제가 아닙니다.
- 비밀번호나 접속 제한 — 오픈 전 검수용으로 걸어 둔 비밀번호 창이 남아 있으면 로봇도 그 앞에서 멈춰요. 회사 밖 휴대폰 데이터로 사이트를 열어 보면 확인됩니다.
noindex 는 화면 소스에 안 보이는 곳(서버가 페이지와 함께 보내는 머리글)에 들어 있을 수도 있는데, 그건 뒤에 나오는 구글 서치 콘솔의 실제 URL 테스트가 잡아 줘요. 직접 찾기 어렵다면 제작사에 이 정도로 물어봐도 됩니다.
오픈한 뒤로 검색에 사이트가 안 나와서 확인 부탁드립니다. 검색 로봇을 막는 noindex 설정이나 robots.txt, 접속 제한이 남아 있는지 봐 주시고, 구글 서치 콘솔과 네이버 서치어드바이저에 등록할 확인 파일도 올려 주세요.
구글 서치 콘솔에 사이트를 등록하고 사이트맵을 내요
구글은 사이트를 스스로 찾아가기 때문에 등록이 필수는 아니에요. 그래도 구글 서치 콘솔에 사이트를 등록해 두면 구글이 우리 사이트를 어떻게 보고 있는지 직접 확인할 수 있어서, 새 사이트라면 해 두는 편이 낫습니다. 등록은 회사 구글 계정으로 하는 게 좋아요. 나중에 제작사를 바꿔도 기록이 회사에 남거든요. 중간에 사이트 주인임을 확인하는 단계가 있는데, 서치 콘솔이 주는 확인 파일을 제작사가 사이트에 올려 주면 끝나요.
등록이 끝나면 먼저 사이트맵을 내요. 사이트맵은 사이트 안의 페이지 주소를 모아 둔 목록 파일인데, 보통 `우리도메인.com/sitemap.xml` 같은 주소에 있고, 서치 콘솔의 사이트맵 메뉴에 이 주소를 넣으면 됩니다. 그다음에 해 볼 게 URL 검사예요. 첫 화면 주소를 넣으면 'URL이 Google에 등록되어 있음' 또는 '등록되어 있지 않음'이 나오는데, 이건 구글이 마지막으로 다녀갔을 때의 기록이에요. 지금 상태를 보려면 같은 화면의 '실제 URL 테스트'를 눌러야 하고, 여기서 'noindex' 때문에 색인할 수 없다는 문구가 나오면 앞에서 말한 막는 설정이 아직 남아 있다는 뜻이라 그 화면을 제작사에 보내면 돼요. 막힌 게 없으면 '색인 생성 요청' 버튼으로 구글에 알려 둘 수 있습니다.
네이버는 서치어드바이저에 따로 알려요
네이버도 사이트를 스스로 찾아가지만 구글과는 별개라서, 네이버 서치어드바이저에 따로 등록해 두면 사이트맵을 내고 수집 상태를 확인할 수 있어요. 사이트를 추가하고, 첫 화면에 확인용 태그를 넣거나 확인 파일을 올려 소유를 확인하는 흐름은 구글과 비슷합니다. 네이버는 www 가 붙은 주소와 안 붙은 주소를 다른 사이트로 보기 때문에, 실제로 사이트가 열리는 주소 그대로 넣어야 해요.
소유 확인이 끝나면 요청 메뉴에서 사이트맵을 제출하고, 첫 화면이나 서비스 소개처럼 중요한 페이지는 웹페이지 수집 요청을 넣어 둡니다. 네이버 검색 로봇의 이름은 Yeti 인데, robots.txt 나 서버 방화벽이 이 로봇을 막고 있으면 소유 확인부터 실패할 수 있어서 그때는 제작사에 Yeti 접근을 허용해 달라고 하면 돼요.
등록한 뒤에는 며칠에서 몇 주를 기다려요
등록과 요청을 마친 뒤 걸리는 시간은 두 곳이 이렇게 안내해요. 구글은 크롤링에 며칠에서 몇 주까지 걸릴 수 있다고 하고, 네이버는 수집 요청 뒤 짧으면 하루, 길면 몇 주가 걸린다고 안내해요. 네이버는 검색 로봇이 다녀간 뒤 최대 1주일 안에 검색에 반영된다고도 밝히고 있고요.
같은 주소로 요청을 매일 다시 넣을 필요는 없어요. 구글은 같은 주소를 여러 번 요청해도 더 빨리 처리되지 않는다고 하고, 네이버도 같은 주소를 매일 반복해서 낼 필요가 없다고 적어 두었거든요. 그래서 등록하고 한 달쯤 지나도 site: 검색에 아무것도 없을 때 다시 움직이면 되는데, 그때는 서치 콘솔의 실제 URL 테스트 결과를 화면째 캡처해 제작사에 보내면 원인을 찾기가 훨씬 수월해요.
막는 설정이 남아 있는지 직접 보기 어렵다면 저희가 만든 무료 진단 도구 Wavvy Surf에 주소를 넣어 보세요. 검색 로봇을 막는 noindex 설정이 있는지, 사이트맵이 있는지를 다른 검색 기본 항목과 함께 항목별로 보여 줍니다.
