我正在开发一个脚本，用于根据用户提交的URL索引和下载整个网站

例如，当用户提交一个像 http://example.com 这样的域名时，我会复制首页上的所有链接，然后下载这些链接内部的链接，并从第一个开始…

我使用curl和正则表达式来下载和提取链接

然而，一些不良网站会制造假URL，例如，如果你访问 http://example.com?page=12，它会有一些链接指向 http://example.com?page=12&id=10 或 http://example.com?page=13 等等…这会形成一个循环，使脚本无法完成网站的下载

有没有办法检测这些类型的页面！？

附注：我认为谷歌、雅虎和其他一些搜索引擎也面临这种问题，但他们的数据库是干净的，在搜索中不会显示这些类型的数据…

回答：

一些页面可能使用GET变量并且完全有效（就像你提到的，?page=12 和 ?page=13 可能是可接受的）。所以我认为你真正寻找的是一个独特的页面。

然而，仅凭URL无法直接检测这些。?page=12 可能指向与 ?page=12&id=1 完全相同的内容；它们也可能不同。唯一的方法是下载它，将下载的内容与你已经拥有的页面进行比较，从而找出它是否真的是你之前没有见过的。如果你之前见过，就不要爬取它的链接。

这里有一个小提示：确保你阻止来自不同域名的网站，否则你可能会意外地开始爬取整个网络 🙂