홈페이지 글이 AI 학습에 쓰이는 건 내키지 않는데, 누군가 ChatGPT나 Perplexity에 업종을 물었을 때 우리 회사가 답에서 빠지는 것도 반갑지 않죠. 주요 AI 회사들이 학습용 로봇과 검색용 로봇을 이름을 나눠 보내고 있어서, 사이트의 robots.txt 파일에 로봇 이름별로 규칙을 적으면 둘을 따로 정할 수 있거든요. 파일을 고치는 건 제작사 몫이어도, 어느 쪽을 막을지는 운영하는 쪽이 정할 일이에요. 아래 내용은 OpenAI·Anthropic·Perplexity·구글이 공개한 크롤러 문서를 2026년 9월 26일에 확인한 기준이에요.
AI 회사는 학습용 로봇과 검색용 로봇을 따로 보내요
robots.txt는 사이트 주소 뒤에 /robots.txt를 붙이면 누구나 열어 볼 수 있는 글자 파일이에요. "User-agent" 줄에 로봇 이름을 쓰고 그 아래 "Disallow" 줄에 들어오지 말아야 할 경로를 적는 식인데, "Disallow: /"라고 쓰면 사이트 전체를 막는다는 뜻이에요. 구글 설명대로라면 원래는 로봇이 한꺼번에 몰려 서버가 느려지는 걸 막으려고 쓰던 파일인데, 요즘은 AI 로봇을 어디까지 받을지 정하는 자리로도 쓰이고 있어요.
OpenAI, Anthropic, Perplexity 문서를 보면 세 회사 모두 로봇을 용도별로 나눠 두었어요. 학습용 이름(GPTBot, ClaudeBot)과 검색 답변용 이름(OAI-SearchBot, Claude-SearchBot, PerplexityBot)이 따로 있고, 구글은 제미나이가 학습하거나 답변 근거로 쓸지를 Google-Extended라는 이름 하나로 받습니다. OpenAI는 검색용 로봇을 막은 사이트는 ChatGPT 검색 답변에 나오지 않고(사이트로 가는 링크로는 나올 수 있다고 해요), 학습용 로봇을 막는 건 학습에 쓰지 말라는 뜻으로만 받아들인다고 적어 두었어요. Anthropic은 검색용 로봇을 막으면 Claude 검색 답변에서 노출이 줄어든다고 설명하고요.
원하는 상태 | robots.txt에서 하는 일 |
|---|---|
OpenAI·Anthropic 학습 막기 | GPTBot, ClaudeBot 막고 검색용 이름은 두기 |
구글 제미나이 학습도 막기 | 위에 더해 Google-Extended 막기(제미나이 답변 근거에서도 함께 빠짐, 학습만 따로 막는 방법은 없음) |
ChatGPT·Claude·Perplexity 검색 답변에서도 빼기 | 위에 더해 OAI-SearchBot, Claude-SearchBot, PerplexityBot도 막기(효과 범위는 회사마다 다르고, 구글 AI 개요는 이 방법으로 빠지지 않음) |
전부 받기 | AI 로봇 이름 아래 막는 줄을 두지 않고, "*" 아래에도 전체 차단이 없게 하기 |
제작사에 부탁할 때는 이 표의 왼쪽 칸만 전하면 됩니다. 표에는 이 글에서 다룬 회사만 넣었는데, 다른 AI 회사 로봇도 있으니 막고 싶은 회사가 따로 있으면 그 회사 문서에서 로봇 이름을 확인해야 해요. 규칙은 적힌 이름에만 걸리니까 ClaudeBot을 막았다고 Claude-SearchBot까지 막히지는 않아요. 로봇 이름 자리에 쓰는 "*"는 이름이 따로 적히지 않은 로봇 전부를 뜻해요. 그래서 "*" 아래에서 전체를 막아 두었다면, 이름이 따로 적혀 허용받은 로봇 말고는 검색용 로봇도 같이 막혀 있는 거고요. 고친 뒤 반영까지는 시간이 걸리는데, OpenAI는 검색용 로봇 기준으로 약 24시간이라고 안내하고 있어요.
구글에서는 AI 개요만 따로 뺄 수 없어요
구글은 다른 회사처럼 AI 검색용 로봇을 따로 두지 않았어요. Google-Extended는 구글 설명에 따르면 제미나이 모델 학습과 답변 근거로 쓸지를 정하는 이름표이고, 구글 검색에 나오는지나 순위에는 영향을 주지 않는다고 적혀 있어요. 학습과 답변 근거를 이 이름 하나로 함께 다루기 때문에, Google-Extended를 막으면 제미나이 앱이 답할 때 우리 페이지를 근거로 쓰는 것도 같이 막혀요. 반면 구글 검색 위의 AI 개요에 인용되는 건 그대로인 셈이고요.
AI 개요와 AI 모드는 일반 검색과 같은 설정으로 다룹니다. 검색 결과에 설명 문구를 내보내지 말라는 표시(nosnippet)를 페이지에 달면 AI 개요에 쓰이는 내용이 줄어드는데, 같은 설정이 일반 검색 결과 제목 아래의 설명 문구도 함께 지워요. 특정 문단에만 이 표시를 다는 방법도 원리는 같아서, AI에 안 보이게 한 문단은 검색 결과 미리보기에서도 빠집니다. 구글에서는 "검색에는 잘 나오되 AI 개요에만 안 나오게"를 고를 수 없다는 얘기예요. 설정을 바꾼 뒤 구글이 다시 읽어 가기까지는 며칠에서 몇 달까지 걸릴 수 있다고 구글이 적어 두었습니다.
사람이 물어서 들어오는 로봇은 규칙을 안 볼 수 있어요
누군가 AI에게 "이 주소 내용 요약해 줘"라고 부탁하면 AI가 그 자리에서 페이지를 가져가는데, 이때 오는 로봇은 이름이 또 달라요. OpenAI의 ChatGPT-User는 사람이 시킨 일이라 robots.txt 규칙이 적용되지 않을 수 있다고 적혀 있고, Perplexity-User도 대체로 robots.txt를 따르지 않는다고 밝혔어요. Anthropic의 Claude-User는 robots.txt를 따른다고 해서 회사마다 다르고요.
게다가 robots.txt는 원래 강제력이 없는 파일이에요. 구글도 이 파일로 로봇의 행동을 강제할 수는 없고, 이름 있는 로봇은 따르지만 그렇지 않은 로봇도 있다고 설명하거든요. 거래처에만 보여 줄 가격표나 내부 자료처럼 정말 밖에 나가면 안 되는 페이지라면 robots.txt에 적어 둘 게 아니라 로그인이나 비밀번호로 잠가 두는 편이 맞아요.
적은 적 없는 차단 규칙이 들어가 있을 수도 있어요
robots.txt를 직접 고친 적이 없는데 AI 로봇 차단 규칙이 들어가 있는 경우도 있어요. 사이트 앞에서 접속을 먼저 받아 속도를 높이고 공격을 걸러 주는 서비스(CDN) 가운데는 AI 로봇 차단을 설정 하나로 켜 주는 곳이 있거든요. 예를 들어 이런 서비스로 널리 쓰이는 Cloudflare에서 robots.txt 자동 관리 기능을 켜면 GPTBot, ClaudeBot 같은 이름 아래 차단 줄이 자동으로 붙고, "검색은 허용, AI 학습은 거부"라는 뜻을 담은 줄도 함께 들어가요. 제작사나 서버 관리자가 보안 설정을 정리하면서 켰다면 운영하는 쪽은 모르고 지나가기 쉬워요.
어떤 이름을 막을지는 서비스가 정하고, 그 목록도 바뀔 수 있어요. 우리가 원하는 상태와 맞는지는 실제 파일을 열어 봐야 알 수 있어요. 브라우저 주소창에 우리 도메인 뒤로 /robots.txt를 붙여 열고, 아래 이름들을 찾아보면 됩니다. 로봇 이름 줄부터 다음 로봇 이름 묶음이 시작되기 전까지 사이에 "Disallow: /"가 있으면 그 로봇은 막혀 있다는 뜻이에요. 이름 여러 개가 연달아 적혀 있으면 그 아래 규칙을 함께 쓰고요. 여는 줄(Allow)이 섞여 있는 등 파일이 복잡하면 눈으로 판단하기보다 제작사에 확인을 부탁하는 편이 정확합니다.
OAI-SearchBot, Claude-SearchBot, PerplexityBot이 막혀 있는지 (막혀 있으면 ChatGPT·Claude·Perplexity 검색 답변에서 빠지거나 줄어든 상태)
GPTBot, ClaudeBot, Google-Extended가 막혀 있는지 (OpenAI·Anthropic 학습을 막은 상태, Google-Extended까지 막혔으면 제미나이 학습과 답변 근거에서도 빠진 상태)
"User-agent: *" 묶음에 "Disallow: /"가 있는지 (있으면 이름이 따로 적히지 않은 검색엔진은 모두 막힌 상태)
읽어 봐도 판단이 서지 않으면 이 세 줄을 그대로 제작사에 보내 확인을 부탁해도 충분해요. 맨 아래 항목에 해당하면 AI보다 구글·네이버 검색이 먼저 막혀 있을 수 있어서 확인을 미루지 않는 게 좋고, 첫 항목에 해당한다면 그 차단이 누구의 결정이었는지부터 물어보면 됩니다.
어느 상태로 둘지 정했는데 맡길 제작사가 없다면 웨이비웍스에 문의하실 수 있어요. 지금 파일이 어떤 상태인지 확인하고 원하는 쪽으로 고치는 작업을 맡아 드립니다.
