我们可以通过编程方式爬取网站内容来确定其组件吗？

我知道这看起来似乎不可能，但我认为在编程中一切皆有可能。我正在尝试基于我已经爬取的所有数据来思考如何确定网站的各个组件的想法！

我对确定组件很感兴趣，例如，在电子商务网站的情况下，我希望确定或识别：1. 登录URL 2. 注册URL 3. 仪表板URL 4. 添加订单URL 5. 购物车URL 6. 登出URL 以及更多

我们可能拥有的信息包括：1. 会话、Cookie、元数据，2. 反向链接（内部和外部），3. 页面中的表单、页面中的字段等

任何想法或建议都将非常有帮助。

回答：

你可以通过爬取域名获取原始HTML结果。关于获取URL的问题：是的，你可以通过一个系统来确定登录、注册等URL，该系统可以根据URL和HTML元素进行设计，并通过一些实验来实现。

我曾尝试从在线商店爬取礼品图片、价格等信息，这是可行的。我们给出了相关性分数；例如，对于价格，如果文本中包含“price”，它会获得2分，如果包含“$”或“€”，它会获得3分等等。我的意思是你需要对数据进行实验。你可以获取表单、JavaScript代码行等，并对这些进行实验。

如果你使用Java，我推荐使用Crawler4j。Apache Nutch也不错，你可以从我的个人资料中的问题中获取关于“使用Nutch保存原始HTML”的信息，但这是一个非常大的项目，我认为对于你的情况来说，不值得处理所有这些东西。