ChatGPT가 우리 사이트를 인용해줄지, Claude가 우리 브랜드를 알고 있을지. 2026년 콘텐츠를 만드는 사람이라면 누구나 한 번쯤 떠올렸을 질문이다. 그리고 그 답을 좌우하는 두 개의 작은 텍스트 파일이 있다. robots.txt와 llms.txt다.
이 둘은 이름이 비슷해서 자주 혼동된다. 하지만 역할은 정반대다. 하나는 “들어오지 마”라고 말하는 문지기이고, 다른 하나는 “이쪽으로 와”라고 말하는 안내자다.
llms.txt가 무엇인가
llms.txt는 사이트 루트에 올려두는 마크다운 파일이다. 안에는 우리 사이트의 핵심 페이지 목록과 한 줄 설명이 들어간다. ChatGPT, Claude, Gemini 같은 대규모 언어 모델(LLM)이 사이트를 방문했을 때 “어디서부터 봐야 할지” 알려주는 지도 같은 역할이다.
이 파일을 처음 제안한 사람은 Answer.AI의 제레미 하워드다. 2024년 9월의 일이다. 검색엔진에게는 robots.txt와 sitemap.xml로 길을 안내해주는데, AI에게는 왜 그런 파일이 없을까. 그의 문제 의식이었다.
robots.txt와 llms.txt의 차이
| 구분 | robots.txt | llms.txt |
|---|---|---|
| 핵심 역할 | 크롤러 차단·허용 | AI에게 우선순위 안내 |
| 형식 | 평문 텍스트 | 마크다운 |
| 2026년 도입률 | 사실상 100% | 약 10.13% |
| AI 기업 준수율 | 80% 이상 | 0% (공식 채택사 없음) |
| 실제 효과 | 검증됨 | 미검증 (옵션 가치) |
robots.txt는 “통제”의 언어다. 30년 넘게 웹의 기본 규칙으로 작동해왔다. llms.txt는 “초대”의 언어다. 새로 생겼고, 아직 검증 중이다.
2026년 누가 우리 사이트에 들어오는가
전략을 짜기 전에 현재 누가 우리 사이트를 방문하는지부터 알아야 한다.
| 크롤러 | 운영사 | 점유율 | 용도 |
|---|---|---|---|
| Googlebot / Google-Extended | 31.6% | 검색 + Gemini 학습 | |
| Meta-ExternalAgent | Meta | 16.7% | Llama 학습 |
| GPTBot / OAI-SearchBot | OpenAI | 14.0% | ChatGPT 학습·실시간 검색 |
| ClaudeBot | Anthropic | 800% 폭증 | Claude 학습·검색 |
| Bingbot | Microsoft | 중간 | Bing + Copilot |
2026년 가장 큰 변화는 ClaudeBot이다. Anthropic이 웹 검색 API를 확장하면서 활동량이 800% 폭증했다. 한국 사이트의 서버 로그에서도 GPTBot보다 자주 등장한다.
OpenAI는 봇을 두 종류로 나눠 운영한다. GPTBot은 학습용, OAI-SearchBot은 실시간 검색용이다. 이 둘을 분리해서 다룰 수 있다는 점이 2026년 AI 크롤러 통제의 핵심이다.
llms.txt는 정말 효과가 있을까
데이터는 냉정하다. OtterlyAI가 2026년 초 90일간 진행한 실험에서, AI 봇 트래픽 62,100건 중 llms.txt를 요청한 경우는 단 84건이었다. 0.1%다. ALLMO.ai 분석에서는 AI 답변 11,867개에서 추출한 인용 URL 94,614개 중 llms.txt 형식은 단 1건이었다.
2026년 5월 현재 OpenAI, Google, Anthropic, Meta 어느 곳도 자사 시스템에서 llms.txt를 사용한다고 공식 발표한 적이 없다.
그렇다면 llms.txt는 무의미한가. 그렇지 않다.
그럼에도 만들어야 하는 이유
Anthropic, Stripe, Cloudflare, Vercel, Cursor 같은 글로벌 테크 기업들은 모두 llms.txt를 운영한다. 이유는 개발자 도구 생태계에 있다. Cursor, Claude Code, GitHub Copilot 같은 AI 코딩 도구들은 이미 llms.txt를 활용해 정확한 문서를 가져온다.
여기서 핵심을 잡아야 한다. 우리 사이트의 독자가 AI 코딩 도구를 쓰지 않는다면 즉각 효과는 거의 없다. 그러나 구축 비용이 30분이고, 향후 주요 AI 기업이 표준을 채택할 경우의 옵션 가치는 크다. 1시간 미만의 투자로 미래의 가능성을 사두는 셈이다.
robots.txt — 진짜 작동하는 통제 수단
AI 크롤러 통제의 90%는 robots.txt가 결정한다. 운영 전략은 세 가지다.
첫째, 보수적 전략. 모든 AI 학습을 차단하고 검색엔진만 허용한다. 미디어와 프리미엄 콘텐츠 사이트에 적합하다.
둘째, 균형 전략. 학습은 차단하되 인용은 허용한다. 2026년 가장 권장되는 방식이다. GPTBot과 Google-Extended는 막고, OAI-SearchBot, PerplexityBot, ClaudeBot은 열어둔다. AI 학습 데이터로 빨려 들어가지는 않지만, ChatGPT나 Perplexity가 답변할 때는 출처로 인용된다.
셋째, 전면 개방. AEO와 GEO를 통한 브랜드 확산을 최우선으로 한다.
대부분의 블로그와 기업 사이트는 두 번째가 정답이다.
llms.txt 작성 4원칙
llms.txt를 만들 때 지켜야 할 원칙은 명확하다. 순수 마크다운만 사용한다. 모든 링크에 한 줄 설명을 붙인다. robots.txt로 막아둔 페이지나 noindex 페이지는 절대 넣지 않는다. UTF-8 인코딩을 사용한다.
이 네 가지가 깨지면 AI는 사이트 전체의 신호를 신뢰하지 않는다. 단순해 보이지만, 실제로는 사이트 구조 전체와 정합성을 맞춰야 하기에 직접 작성하기 까다로운 부분이다.
워드프레스에서 30분 만에 구축하기
가장 쉬운 길은 플러그인이다. 2025년 말부터 Rank Math와 Yoast SEO 모두 원클릭 llms.txt 자동 생성 기능을 지원한다. 한국어 사이트에서는 Rank Math의 호환성이 조금 더 좋다.
수동으로 만든다면 텍스트 에디터로 작성한 뒤 사이트 루트에 업로드한다. robots.txt 역시 Rank Math나 Yoast의 설정에서 직접 편집할 수 있다.
다만 자동 생성 결과를 그대로 두면 안 된다. 어떤 페이지를 우선순위로 노출할지, 어떤 페이지는 빼야 할지, 한 줄 설명을 어떻게 다듬을지는 결국 사람의 판단이 필요하다. AEO 관점에서 정교하게 큐레이션된 llms.txt는 자동 생성본과 인용 빈도에서 큰 차이를 만든다.
진짜 레버리지는 어디에 있는가
여기까지 읽었다면 한 가지가 분명해졌을 것이다. llms.txt는 만들면 좋지만, AI 답변에서 우리 사이트가 인용되느냐를 결정짓는 진짜 요인은 아니다.
진짜는 세 가지다. 첫째, JSON-LD 스키마 적용이다. FAQPage 스키마는 AI 인용률을 28% 높이고, AEO 최적화 전반은 37%까지 끌어올린다. 둘째, E-E-A-T 신호다. 경험·전문성·권위·신뢰가 잘 갖춰진 콘텐츠는 그렇지 않은 콘텐츠 대비 AI 인용률이 340% 높다. 셋째, 콘텐츠 구조다. 두괄식, 질문-답변 형식, 표와 리스트가 AI 인용의 핵심이다.
robots.txt와 llms.txt는 인프라일 뿐이다. 본질은 콘텐츠다.
결론
robots.txt는 필수다. 균형 전략(인용 허용, 학습 차단)을 적용하자. llms.txt는 옵션이지만 30분 투자로 미래 표준화에 대비할 가치가 있다. 그러나 이 두 파일이 AEO와 GEO의 전부가 아니다. JSON-LD 스키마, E-E-A-T, 콘텐츠 구조까지 통합적으로 설계해야 ChatGPT, Claude, Perplexity가 우리 사이트를 인용하기 시작한다.
직접 모든 것을 다루기에 시간이 부족하거나, 기술적 부분에서 막힌다면 전문가의 손을 빌리는 것도 합리적이다. AEO와 GEO는 한번 잘 세팅해두면 향후 3년 이상 자산으로 작동하는 영역이기 때문이다.
자주 묻는 질문
Q. llms.txt는 SEO에 도움이 되나요?
즉각적인 SEO 효과는 없다. 2026년 5월 기준 주요 AI 기업 중 llms.txt를 공식 사용한다고 발표한 곳은 없다. 그러나 AI 코딩 도구 생태계에서는 이미 활용되고 있어 옵션 가치가 있다.
Q. robots.txt와 llms.txt 중 무엇이 먼저인가요?
robots.txt가 먼저다. robots.txt는 실제 작동하는 크롤러 통제 수단이고, llms.txt는 보조 안내 도구다.
Q. AI 크롤러를 차단하면 ChatGPT 답변에서 사라지나요?
부분적으로 그렇다. GPTBot 차단은 학습 데이터에서 제외시키지만, OAI-SearchBot은 실시간 검색용이다. AEO를 노린다면 OAI-SearchBot, ClaudeBot, PerplexityBot은 허용해야 한다.
Q. 워드프레스에서 llms.txt를 만드는 가장 쉬운 방법은?
Rank Math 또는 Yoast SEO 플러그인의 자동 생성 기능을 사용한다. 다만 자동 생성본은 큐레이션이 부족해, AEO 효과를 극대화하려면 사람의 손길이 필요하다.
Q. ClaudeBot이 2026년 800% 증가한 이유는?
Anthropic이 웹 검색 API를 대규모 확장하면서 ClaudeBot의 크롤링 활동이 폭증했다. 한국 사이트에서도 GPTBot보다 ClaudeBot의 방문 빈도가 높은 경우가 많다.