llms-txt

llms-txt - LLM友好内容开放标准，网站文档索引、Markdown格式与上下文发现工具

llms-txt 简介

llms-txt 是一项面向大语言模型（LLM）的开放内容发现标准，由 FastHTML/Answer.AI 团队发起，旨在解决 LLM 上下文窗口有限与复杂 HTML 页面难以精确解析的问题。标准建议在网站根目录放置 `/llms.txt` 文件，以 Markdown 格式提供项目简介、关键信息摘要及指向详细文档的链接列表。同时建议网站为每个页面提供同 URL 的 `.md` 版本（如 `index.html.md`），使 LLM 能够直接获取干净、结构化的内容。llms-txt 与 robots.txt、sitemap.xml 等现有标准共存，但专注于为 LLM 推理场景（如编程助手查询文档）提供精选概览，而非训练或搜索索引。

llms-txt 核心功能/服务

标准化文档索引格式：定义 `/llms.txt` 文件规范，包含 H1 项目名称、blockquote 项目摘要、可选详细说明段落，以及按 H2 分组的文件链接列表（如 Docs、Examples、Optional）。Optional 部分标记可跳过的次要信息，帮助 LLM 根据上下文长度灵活取舍。
LLM 友好内容输出：推动网站为每个 HTML 页面提供同 URL 的 `.md` 版本，消除导航、广告、JavaScript 等干扰，使 LLM 直接获取专家级、结构化的纯文本内容，提升文档理解与代码生成准确性。
生态工具与集成：提供 llms_txt2ctx CLI 工具将 llms.txt 解析为 LLM 上下文文件，以及 VitePress、Docusaurus、Drupal、VS Code PagePilot 等插件与扩展，降低标准采纳门槛。

llms-txt 适合谁

• 开源项目维护者：希望让 Claude、Cursor 等 AI 编程助手更准确地理解项目文档与 API，通过 llms.txt 提供精选的文档入口与结构化 Markdown 版本，提升 AI 辅助开发的体验与代码生成质量。
• 技术文档团队：维护大型文档网站，需要为 AI 时代优化内容发现机制，利用 llms.txt 标准将核心文档、教程与示例组织为 LLM 可高效消费的格式，减少上下文浪费。
• AI 工具开发者：构建需要读取外部文档的 AI 应用（如代码助手、知识库问答），通过 llms.txt 快速定位目标网站的 LLM 友好内容，替代复杂且不可靠的 HTML 解析方案。

为什么选择llms-txt

llms-txt 区别于简单 robots.txt 或 sitemap.xml 的核心在于"精选+LLM 优化"：sitemap 列出所有可索引页面但总量过大不适合上下文窗口，robots.txt 仅控制爬虫访问权限；llms.txt 提供人工 curated 的精简概览，标注关键文档与可选补充材料，使 LLM 在推理时快速获取必要信息。Markdown 格式兼顾人类可读与机器解析，与现有 Web 标准无冲突。已被 FastHTML、fast.ai、nbdev 等项目采纳，社区提供多平台集成工具，适合希望让 AI 更好理解自己内容的网站运营者。访问官网阅读完整规范，查看 FastHTML 示例 llms.txt，或加入 Discord 社区讨论最佳实践。