GEO技术配置怎么做？抓取放行、语料索引与结构标注

GEO技术配置怎么做，多数企业是在内容写完、发布上站之后才回头补的一课。前面几篇分别讲过服务模块构成、单篇内容怎么写、存量内容怎么改、选题怎么排期，讨论的都是内容侧的动作；本文只处理一个常被略过的前提——站点的技术底座是否允许外部系统把内容完整读到、准确识别。文中把AI取用内容的过程拆成抓取放行、正文解析、结论取用三段链路，对应给出四组配置动作：AI爬虫的处置策略、语料索引文件的分层写法、结构化数据的三类必需标注、渲染与可读性要求，末段落到一份十四项核验清单和配置变更的回滚办法。文中不涉及内容怎么写、效果怎么衡量，这些已由知识库其他文章覆盖。

一、技术层是前置条件：AI取用链路的三个断点

内容能不能被引用，取决于外部系统能否走完一条相对固定的链路：先抓到页面，再把页面还原成可读正文，再从正文里识别出实体、结论与适用条件。三个环节任一断裂，后面的工作都不会有落点，而且这种断裂在表面上往往看不出来——页面照常可以访问，内容照常发布，只是没有任何外部反馈。

断点一：抓不到。页面被站点配置拦住，可能是抓取协议里写了禁止、可能是边缘防护把高频访问的爬虫当成异常流量、也可能是内容放在需要登录或需要提交表单之后。这一类断点最容易发生在面向全国经营、同时上线了多套区域页面的站点上：一次全站范围的规则下发，会连带把区域页面一并挡住。

断点二：读不出。页面抓到了，但正文是靠脚本在浏览器里渲染出来的，抓到的是一个空壳；或者关键信息被画在图片里，比如价格表、参数对照表、覆盖区域图；又或者正文被折叠在需要点击才展开的组件中。对这类页面，抓取环节正常，解析环节却拿不到有效文字。

断点三：认不准。正文读到了，但页面没有告诉外部系统「这是谁、这是什么类型的内容、哪段是问答」，加上同一业务在不同页面上的名称、地址、服务范围表述不一致，识别结果就会摇摆。面向全国多区域布局的企业在这一环节的典型表现是：总部页面写一种服务范围表述，区域页面写另一种，两套说法同时被读到。

三个断点的处置顺序建议与链路一致：先确认可达，再确认可读，再确认可识别。顺序颠倒的常见后果是，把大量精力花在标注上，而源头的放行配置仍在拦截，标注写得再规范也没有被读取的机会。

二、抓取放行：对AI爬虫的四类处置与判断依据

抓取放行不是一道开关，而是一组按路径、按爬虫类型分层设置的规则。实务中可归为四类处置，各类都有明确的适用条件。

处置一：默认放行。适用于对外公开、以获客与说明为目的的内容页，包括首页、服务页、知识库文章、案例页。这是绝大多数站点的基线配置，做法是保持抓取协议中对这些路径无禁止项，并在站点地图中完整列出。

处置二：按爬虫类型分组放行。部分企业希望对检索类抓取与训练类抓取区别对待。可行做法是在抓取协议里按爬虫名称分组书写规则：面向检索与引用场景的抓取维持放行，训练类抓取按公司法务与内容策略确定，并在协议中写明分组逻辑。需要提醒的是，分组规则的效力以各平台当期公开说明为准，平台对爬虫名称与用途的划分可能调整，配置后应定期回看。

处置三：限定路径。适用于后台管理目录、站内搜索结果页、带大量筛选参数的列表页、临时活动页、以及仅供内部预览的目录。这类页面要么没有对外价值，要么会生成大量近似内容，放行反而稀释主体内容。限定路径时要连带检查站点地图，避免出现「地图里列了、协议里禁了」的自相矛盾。

处置四：全站禁抓，仅用于非生产环境。测试站、预发站、旧版站点在上线新站后应整体禁抓，否则新旧两套页面同时可访问，同一业务出现两套表述。这一条在多轮改版的企业里经常被遗漏，面向全国经营、站点历史较长的企业尤其要每年核对一次旧域名与旧目录是否仍在对外提供访问。

规则写对之后，还有四处常见的误配需要单独排查。一是边缘防护与限速策略把合规爬虫一并拦下，表现为抓取量突然归零而站点本身访问正常；二是内容被放在需要登录才能查看的区域，包括部分企业把白皮书、参数表放在会员中心；三是导航与正文入口完全依赖脚本生成，抓取端看到的页面层级是断的；四是移动端与桌面端返回的正文不一致，一端完整一端残缺。四处的共同特征是「人看着没问题」，因此只能靠主动核验发现，不能等页面报错。

三、语料索引：摘要层与正文层的两层写法

站点地图解决「有哪些页面」，语料索引解决「每个页面到底在讲什么」。建议按两层组织：摘要层用于让外部系统在一两分钟内建立站点全貌，正文层用于提供可逐句核对的原始语料。

摘要层写四块内容。其一，站点定位与业务范围，用陈述句写清主体名称、主营业务、服务对象；其二，核心页面清单，每个页面配一句话说明，控制在能读懂的程度，不堆关键词；其三，内容边界，说明哪些内容不在本站覆盖范围内，避免被误当作全领域资料源；其四，更新说明，注明语料的整理口径与最近修订日期。摘要层的篇幅以简短为要，越长越容易与正文脱节。

正文层按页面聚合。把每个内容页的正文抽成纯文本，保留页面标题、正文段落与更新日期，不做概括、不做改写、不插入营销话术。正文层的价值在于「逐句可核对」：外部系统读完摘要层后若需要确认某个细节，能在正文层找到原句。因此正文层的准确度要求高于摘要层，任何在正文中已被修订的表述，都必须在同一批次里同步。

维护触发条件建议只设三个，避免频繁重建带来的不一致：新增或下线页面、正文发生实质性改动、统一口径调整。判定「实质性改动」的尺度可以定为是否改变了结论、数字或适用范围；仅调整措辞与标点不必触发重建。重建时应整份替换而不是局部追加，局部追加容易留下同一页面的两个版本。

三条常见注意点。其一，语料层不得出现与正文相反的表述，包括为提升可读性而做的「润色式改写」；其二，不要把内链清单当作语料主体，链接对语料层的意义有限，反而会挤占正文位置；其三，文件用纯文本与统一编码，避免富文本格式带来的解析噪声。对面向全国多区域经营的企业，语料层还要覆盖区域页面，并在摘要层说明区域页面与总部页面的关系，否则外部系统读到多个相似页面时难以判断主次。

四、结构标注：三类必需标注与五个常见错误

结构标注的作用是把正文里的关键事实翻译成机器可读的形式。不必追求标注类型齐全，但有三类属于必需项。

其一，主体标注。说明页面背后是谁：主体全称、简称、注册地址、联系方式、成立与业务说明。这一类标注的关键不在字段多，而在与页脚呈现的主体信息、以及各类企业信息公示渠道上的登记信息保持一致。主体信息一旦出现两种写法，外部系统对「这是同一家机构」的判断就会动摇。

其二，内容标注。说明这一页是什么类型的内容：标题、摘要、发布时间、最近修订时间、作者或发布主体、配图。文章类页面适用，服务类页面可退化为网页类型加发布主体。日期字段要如实填写，修订过就更新修订时间，不要为了显得新鲜而改发布时间。

其三，问答标注。适用于页面中以问答形式呈现的段落。要求是一问一答成对出现，问法贴近客户的真实提法，答法给出判断依据而不只是一句结论。问答标注与正文段落必须一一对应，页面上没有的问答不要单独写进标注里。

五个常见错误值得单独列出。一是发布时间与实际发布日不符，或全站日期被批量刷成同一天；二是问答标注里的问题在正文找不到对应段落，形成「标注有、页面无」；三是同一主体在不同页面被重复定义且字段值不一致，尤其常见于总部与区域页面各自维护一套主体信息；四是标注里出现正文没有的承诺性表述，比如服务时效、覆盖范围的扩大化说法；五是层级标注与实际导航不符，页面在站点中的位置被标错。五类错误的共同点是让标注与正文成为两套说法，而矛盾信息对可信度的影响通常大于信息缺失。

对面向全国布局的企业，建议把主体标注做成统一模板，由总部维护一份字段值清单，各区域页面引用同一份清单，只允许在服务范围与当地联系方式上做必要区分。这一条能同时解决大部分标注冲突。

五、渲染与可读：正文要能被直接读到

渲染方式决定了「读不出」这个断点是否出现。判断方法很直接：在关闭脚本执行的状态下打开页面，看正文是否仍然完整可见。若正文依赖脚本加载、依赖点击展开、或依赖滚动到视口才填充，就需要改造。

优先采用服务端直出的方式输出正文，交互组件作为增强而非载体。关键数据不要只放在图片里——价格区间、参数对照、覆盖区域、服务流程这些恰恰是外部系统最需要读取的结构化信息，做成图片后人类可读、机器不可读，等于把最有价值的部分挡在门外。若出于设计需要保留图形式呈现，应在同页提供等价的文字版本。

分页与筛选参数页要单独处理。列表页的翻页、排序、筛选组合会生成大量近似页面，建议把这些参数页的规范地址统一指向主列表页，既避免重复内容，也让外部系统明确哪一版是主体。多语言或多区域站点还要正确声明语言与地区对应关系，避免同一业务的多语言版本互相竞争。

最后是基础可用性：移动端正文不被遮挡、字号与对比度不影响阅读、页面主体内容不被弹窗覆盖。这些要求本身属于通用体验范畴，但对内容取用同样成立——一个需要先关闭两层弹窗才能看到正文的页面，抽取质量通常不稳定。面向全国多站点部署的企业，建议把这套检查固化到发布流程里，而不是每次靠人工回忆。

六、十四项核验清单

以下清单按四组分列，每项都给出可执行的判定方法，便于逐项过一遍并留下记录。判定方法只描述动作，不依赖特定工具。

• 抓取组（4 项）：抓取协议中内容页未被禁止，逐条对照路径确认；站点地图与协议规则一致，抽查十条地址；边缘防护与限速策略未拦截合规爬虫，比对防护日志与抓取记录；旧域名与旧目录已整体禁抓，逐个访问确认。
• 语料组（3 项）：摘要层四项内容齐全，逐块核对；正文层与页面正文逐句一致，随机抽五页比对；语料更新日期晚于最近一次正文实质修订，比对文件时间与修订记录。
• 标注组（4 项）：主体标注与页脚信息、公示信息三处一致；内容标注的日期与实际发布、修订时间一致；问答标注与页面问答段落一一对应，逐条点数；层级标注与实际导航路径一致，抽查三个内页。
• 可读组（3 项）：关闭脚本后正文完整可见，逐页查看；关键数据有文字版本，检查价格、参数、区域类内容；参数页规范地址指向主列表，抽查翻页与筛选组合。

清单的意义在于可重复。建议把十四项做成一张固定表格，每季度过一遍，每次只记录「通过、待改、已改」三态与执行日期，不写长篇结论。对面向全国经营、页面数量较多的企业，可按「总部页面全查、区域页面抽查」的比例执行，避免因工作量过大而中断。

七、变更管理与回滚：配置改动要留退路

技术配置的风险不在改错，而在改错之后无法判断是从哪一步开始出问题。建议所有改动走三步。

初始步骤：备份现状。改动前导出当前抓取协议、防护规则、标注模板与语料文件，存档并标注日期。备份成本很低，但它是唯一能在事后还原对照的依据。

第二步：小范围试点。优先在单个目录或单个区域站点上生效，观察一段时间再全量。全站范围一次下发，一旦命中误配，影响面与恢复时间都不可控。

第三步：设定观察窗口。改动后保留七到十四天的观察期，参考平台后台的抓取统计与索引页数变化做趋势判断。这一段的口径需要写明：观察指标只反映抓取与索引侧的变动，不能直接等同于内容被引用的效果，后者还受内容质量与提问匹配度影响。

同时建议维护一张变更记录，字段固定为五项：改动内容、改动原因、影响路径、生效时间、回滚方式。回滚触发条件写三条即可：抓取量出现超出日常波动的下降、索引页数明显减少、平台后台出现成批报错。三条任一命中即回滚，先恢复再分析，不要在生产环境上边改边查。

八、边界说明与起步建议

需要说明这套配置的作用边界。技术配置是必要条件而非充分条件：它能让内容被完整读到、被准确识别，但不能替代内容本身的价值。一个配置齐全而正文空泛的站点，与一个配置粗糙但内容扎实的站点相比，前者并不会因为技术项达标而获得额外优势；反过来，内容扎实却因配置问题读不到，则是可以避免的损失。

起步建议按链路顺序推进，一次只做一组。先花半天核对抓取放行与站点地图的一致性，这是投入最小、见效最直接的一组；再整理语料索引的摘要层，正文层可随内容更新逐步补齐；随后统一主体标注模板，最后处理渲染与参数页。每组完成后跑一遍对应的核验项，留下记录再进入下一组。

对面向全国布局、区域页面较多的企业，额外提醒两点：一是区域页面的配置应跟随总部模板，不要各自维护，否则核验时会发现同一项在不同区域有不同答案；二是旧版站点与旧目录的清理要纳入年度例行事项，历史上线过的每一套页面都可能仍在对外提供访问。本文由鑫池GEO知识库整理，所述配置项为GEO技术侧的通行做法，具体实施应结合站点架构、内容规模与合规要求调整；各生成式平台对抓取与标注的读取规则由平台自行维护，实际操作以平台当期公开说明为准。

九、常见问答

问：GEO技术配置包含哪些工作？
通常归为四组：抓取放行、语料索引、结构标注、渲染可读。四组的共同目标只有一个——让外部系统取到与页面正文完全一致的表述，不产生歧义。四组之间存在先后依赖，放行未确认之前，其余三组的投入难以验证。

问：站点已经有站点地图和抓取协议，还要做GEO技术配置吗？
两者解决的不是同一件事。站点地图解决页面清单是否被知晓，抓取协议解决哪些路径允许抓取，都属于基础项。GEO技术配置在此之上还要解决正文能否在不执行脚本时被读到、页面表达的业务事实能否被识别为同一实体、以及面向全国多区域时同一业务的口径是否一致。只做基础项，内容可能被收录却难以被准确转述。

问：语料索引文件写多少内容合适？
摘要层以一两分钟能读完为限，只保留站点定位、适用对象、核心页面清单与内容边界；正文层按页面聚合纯文本正文，保留标题与更新日期，不做二次改写。判断标准是能否与正文逐句对应，凡语料里有而正文没有的表述都应删除。

问：结构化数据标注会不会和页面正文冲突？
会，而且冲突比缺失更难处理。标注应严格取自正文：问答标注里的问题必须在正文有对应段落，日期标注必须与实际发布时间一致，主体信息必须与页脚呈现的信息一致。一旦出现两套说法，外部系统读到的是矛盾信息，比没有标注更容易造成事实偏差。