병원 홈페이지는 진료, 의료진, 오시는 길, 정보성 글 같은 공개 페이지를 Googlebot, 네이버 Yeti, OAI-SearchBot 등 검색용 크롤러에 열어두고, 예약·상담·후기 게시판과 마이페이지는 robots.txt가 아니라 로그인과 서버 권한으로 보호해야 합니다. 학습용 크롤러 차단은 병원이 고를 수 있는 선택이며 검색 노출과는 별도로 설정됩니다.
핵심만 먼저 보기
- robots.txt는 접근 안내 파일이지 환자 개인정보를 지키는 보안 수단이 아닙니다.
- OpenAI는 OAI-SearchBot과 GPTBot 설정이 서로 독립적이라고 밝힙니다. 검색 노출을 유지하면서 학습만 막을 수 있습니다.
- 로그인 뒤에 둔 전후 사진은 크롤러가 읽지 못하므로 AI 답변의 재료가 되지 않습니다.
- 공개 상담 게시판과 해킹으로 삽입된 스팸 페이지가 검색에 노출되지 않았는지 정기적으로 확인합니다.
병원 사이트의 크롤러 설정은 일반 사이트와 무엇이 다른가요?
병원 사이트에는 공개해야 할 정보와 절대 공개되면 안 되는 정보가 한 도메인에 섞여 있다는 점이 다릅니다. 진료 안내는 AI 검색에 읽혀야 하지만, 상담 신청 내용이나 예약 정보에는 환자의 이름, 연락처, 증상이 들어갑니다.
크롤러 종류와 robots.txt 문법 같은 일반론은 공통 GEO 인사이트의 'AI 크롤러 robots.txt 설정 가이드' 글에서 자세히 다룹니다. 이 글은 예약·상담·후기 게시판, 로그인 뒤 전후 사진, 네이버 Yeti처럼 병원에서 자주 생기는 문제에 집중합니다.
병원 사이트에서는 예약 솔루션이 별도 도메인이나 하위 경로로 붙어 있고, 게시판 프로그램이 상담·후기·공지 게시판을 한꺼번에 만드는 구성이 자주 관찰됩니다. 이런 구성에서는 robots.txt 한 줄이 공개 공지까지 막거나, 반대로 비공개여야 할 상담 글이 공개되는 일이 생기므로 경로별로 확인해야 합니다.
어떤 크롤러를 열고 어떤 크롤러를 선택적으로 막나요?
검색 답변에 쓰이는 크롤러는 열고, 모델 학습용 크롤러는 병원 방침에 따라 고르면 됩니다. 각 회사는 검색용과 학습용 크롤러를 따로 운영한다고 공식 문서에서 밝힙니다. 크롤러 이름은 누구나 흉내 낼 수 있으므로, 방화벽에서 특정 봇을 허용할 때는 각 회사가 공개한 확인 방법을 함께 참고합니다.
| 크롤러 | 운영사 | 공식 문서상 용도 | 병원 권장 |
|---|---|---|---|
| Googlebot | Google 검색 색인 | 열어둠 | |
| Yeti | 네이버 | 네이버 검색 수집 | 열어둠. 국내 환자 검색의 기본 경로입니다 |
| OAI-SearchBot | OpenAI | ChatGPT 검색 기능에 웹사이트를 표시 | 열어둠 |
| Claude-SearchBot | Anthropic | 검색 결과 품질 향상을 위한 탐색 | 열어둠 |
| PerplexityBot | Perplexity | Perplexity 검색 결과에 웹사이트를 표시하고 링크 | 열어둠 |
| GPTBot | OpenAI | 생성형 AI 기반 모델 개선 | 선택. 막아도 OAI-SearchBot 설정과는 독립적입니다 |
| ClaudeBot | Anthropic | 학습에 쓰일 수 있는 웹 콘텐츠 수집 | 선택 |
| Google-Extended | Gemini 학습 등 일부 이용 제어 | 선택. Google 검색 포함과 순위에는 영향이 없다고 Google이 밝힙니다 |
병원 페이지 유형별로 공개 범위를 어떻게 나누나요?
페이지를 공개, 검색 제외, 접근 차단 세 가지로 분류한 뒤 설정합니다. 환자 정보가 들어가는 페이지는 robots.txt에 적는 것만으로 보호되지 않으므로 로그인과 권한 설정이 먼저입니다. 또한 robots.txt로 막은 페이지는 크롤러가 열지 못해 noindex 표시도 읽지 못합니다. 이미 검색에 나온 페이지를 빼려면 먼저 noindex를 읽게 한 뒤에 차단 여부를 정합니다.
| 페이지 유형 | 권장 처리 | 이유 |
|---|---|---|
| 홈, 진료 안내, 의료진, 오시는 길, 비급여 안내 | 공개하고 사이트맵에 포함 | AI가 병원을 설명할 때 쓰는 핵심 재료입니다 |
| 정보성 칼럼 | 공개하고 사이트맵에 포함 | 질문형 검색에 인용될 수 있는 페이지입니다 |
| 온라인 예약, 결제, 마이페이지 | 로그인 필수, robots.txt Disallow 병행 | 개인정보가 있고 검색 가치가 없습니다 |
| 상담 신청 폼과 상담 게시판 | 비밀글 기본, 서버 권한으로 보호 | 공개 상담 글은 이름과 증상이 검색에 노출될 수 있습니다 |
| 후기 게시판 | 공개 여부를 먼저 결정 | 공개 후기는 치료경험담 광고로 볼 여지가 있고 개인정보 위험도 있습니다 |
| 내부 검색 결과, 필터 매개변수 주소 | noindex 또는 Disallow | 같은 내용의 중복 주소가 늘어납니다 |
| 관리자 페이지 | 로그인 필수, Disallow 병행 | 외부 노출 대상이 아닙니다 |
로그인 뒤에 둔 전후 사진 페이지는 크롤링되나요?
크롤링되지 않습니다. 검색 크롤러는 회원 로그인을 하지 않으므로 로그인 뒤 갤러리의 사진과 설명은 검색 색인과 AI 답변의 재료가 되지 않습니다.
복지부 의료광고 가이드라인 2판은 치료경험담에 대해 인터넷의 개방된 공간에서 로그인 등 제한 절차 없이 불특정 다수에게 표현되는 광고가 의료법 제56조 제2항 제2호 위반에 해당할 수 있다고 설명합니다. 이는 유권해석이며, 로그인을 걸었다고 해서 모든 게시물이 적법해진다고 단정할 수는 없습니다. 전후 사진은 같은 가이드라인에 별도의 다섯 요건이 있습니다.
GEO 관점에서는 전후 사진에 기대지 말고, 공개 페이지를 진료 대상, 과정, 회복 중 주의사항, 비용 안내 같은 사실 정보로 채우는 편이 AI 인용과 법규 위험 양쪽에서 낫습니다.
병원용 robots.txt는 어떻게 쓰나요?
아래 표는 한 줄씩 위에서 아래로 쓰는 예시입니다. 주소 경로는 병원 사이트 구조에 맞게 바꿉니다. RFC 9309에 따라 크롤러는 자기 이름과 맞는 그룹의 규칙만 따르므로, Yeti나 Googlebot용 그룹을 따로 만들면 공통 그룹의 Disallow 줄을 그 그룹에도 다시 적어야 합니다.
| 순서 | 작성할 줄 | 의미 |
|---|---|---|
| 1 | User-agent: * | 이름을 따로 적지 않은 모든 크롤러에 적용할 그룹을 시작합니다 |
| 2 | Disallow: /admin/ | 관리자 경로 요청을 하지 않도록 안내합니다 |
| 3 | Disallow: /mypage/ | 회원 페이지 요청을 하지 않도록 안내합니다 |
| 4 | Disallow: /reservation/ | 예약 경로 요청을 하지 않도록 안내합니다 |
| 5 | Disallow: /search | 내부 검색 결과 주소를 제외합니다 |
| 6 | User-agent: GPTBot | 선택 사항입니다. 모델 학습용 수집을 막으려는 경우에만 씁니다 |
| 7 | Disallow: / | 바로 위 GPTBot 그룹 전체 차단입니다. OAI-SearchBot에는 영향이 없습니다 |
| 8 | Sitemap: https://병원도메인/sitemap.xml | 사이트맵 위치를 알립니다 |
수정한 robots.txt는 배포 후 어떻게 검증하나요?
- 파일 확인실제 도메인의 /robots.txt를 열어 오타, 대소문자, 경로 끝의 슬래시를 확인합니다. 개발 서버용 전체 차단 줄이 남아 있지 않은지도 봅니다.
- 대표 주소 검사홈, 진료 안내, 의료진 페이지를 Search Console URL 검사로 열어 Google이 가져올 수 있는지 확인합니다.
- 보호 경로 검사로그아웃한 브라우저로 예약, 상담, 마이페이지 주소를 열어 개인정보가 보이지 않는지 확인합니다.
- 서버 로그Googlebot, Yeti, OAI-SearchBot 요청이 200으로 응답받는지 서버나 CDN 로그에서 봅니다.
설정은 맞는데 문제가 생긴다면 무엇을 확인하나요?
robots.txt가 맞아도 다른 곳에서 막히거나, 원하지 않는 페이지가 검색에 나오는 경우가 있습니다. 아래 다섯 가지를 차례로 확인합니다.
이 글은 일반 정보이며, 개별 광고나 페이지 문구의 위법 여부는 의료광고심의위원회나 법률 전문가의 검토를 받아 판단해야 합니다.
- 방화벽과 보안 플러그인제작사가 넣은 봇 차단 규칙이 정상 크롤러까지 403이나 429로 막는지 서버·CDN 로그에서 확인합니다.
- 해킹으로 삽입된 스팸site:병원도메인 검색에 도박, 의약품 판매 같은 낯선 페이지가 보이면 Search Console 보안 문제 보고서를 확인하고 제작사에 점검을 요청합니다.
- 노출된 상담 글환자 이름이나 연락처가 담긴 게시글이 검색되면 먼저 비공개로 바꾸고, 그다음 Search Console에서 삭제를 요청합니다.
- 네이버 수집 상태네이버 서치어드바이저에 사이트를 등록하고 사이트맵을 제출했는지, Yeti가 차단되지 않았는지 확인합니다.
- 사용자 요청 에이전트OpenAI와 Perplexity는 사용자가 요청해 페이지를 여는 에이전트에는 robots.txt가 적용되지 않을 수 있다고 안내합니다. 비공개 정보는 반드시 로그인으로 보호합니다.
자주 묻는 질문
GPTBot을 막으면 ChatGPT 검색에서도 빠지나요?
OpenAI 문서는 GPTBot과 OAI-SearchBot의 설정이 서로 독립적이라고 설명합니다. GPTBot만 막고 OAI-SearchBot을 열어두면 모델 학습용 수집은 거부하면서 ChatGPT 검색 노출 가능성은 유지할 수 있습니다.
네이버 Yeti를 막으면 어떻게 되나요?
네이버 검색이 페이지를 수집하지 못합니다. 네이버 AI 브리핑이 어떤 문서를 쓰는지는 공식 문서로 확인하지 못했지만, 수집되지 않은 페이지가 활용되기는 어렵다고 보는 것이 합리적인 추정입니다. 국내 환자를 대상으로 하는 병원이라면 Yeti는 열어둡니다.
llms.txt 파일도 만들어야 하나요?
Google의 생성형 AI 검색 최적화 가이드는 llms.txt 같은 불필요한 AI용 텍스트 파일 작업은 무시해도 된다고 안내합니다. 병원 사이트에서는 robots.txt, 사이트맵, 공개 페이지의 텍스트 품질을 먼저 정리하는 편이 우선입니다.
후기 게시판을 robots.txt로 막으면 의료법 문제도 해결되나요?
해결되지 않습니다. robots.txt는 검색 크롤러에 대한 안내일 뿐이고, 게시판은 여전히 누구나 열어볼 수 있습니다. 후기를 광고처럼 쓰고 있다면 게시 방식 자체를 검토해야 하며, 개별 판단은 의료광고심의위원회나 법률 전문가의 검토가 필요합니다.
robots.txt를 고치면 언제 반영되나요?
크롤러가 robots.txt를 다시 읽고 페이지를 재수집해야 반영됩니다. 시점은 서비스마다 다르므로 변경 직후 결과를 단정하지 말고, 서버 로그에서 크롤러 요청이 성공하는지 먼저 확인한 뒤 몇 주에 걸쳐 같은 질문으로 다시 측정합니다.
참고한 공식 자료
서비스의 검색·게시자 안내는 바뀔 수 있으므로 최신 원문도 함께 확인하세요.
- OpenAI: Overview of OpenAI Crawlers
- Anthropic: Does Anthropic crawl data from the web, and how can site owners block the crawler?
- Perplexity: Perplexity Crawlers
- Google Search Central: Google 일반 크롤러 목록
- IETF: RFC 9309 Robots Exclusion Protocol
- 보건복지부: 건강한 의료광고, 우리가 함께 만들어요(2판) 유형별 의료광고 사례 및 체크리스트
- 네이버 서치어드바이저
이 글은 병원 웹사이트와 공개 정보의 검색 노출을 설명하는 일반 자료입니다. 의료적 판단이나 특정 병원의 진료 결과를 보장하지 않습니다.