删除正则表达式模式重复的页面

你可以优化搜索索引生成的页面标记为副本,如果他们只不同的动态内容。爬虫索引从每组只有一个指定的正则表达式模式匹配的页面。