首先,我会说明我在数据挖掘项目中想要达到的目标,然后我会提出问题。
我在考虑使用脸书来查找特定位置和特定社区的特定用户。然后,根据他们每天的墙上帖子以及喜欢和不喜欢的内容,我想要生成一份报告,展示特定社区的用户在做什么或对什么感兴趣。
这样做合法吗,我的意思是,我可以使用我的爬虫来抓取这些用户的公开数据吗?
回答:
阅读脸书的服务条款。
服务条款的作用就是告诉你在他们的网站上可以做什么,不可以做什么。
很可能你是不被允许使用爬虫访问网站的,脸书的API会通过速率控制等限制你的数据收集能力,除非是运行你的应用程序的用户(或者你为数据付费…)