为了防止抓取网站被阻止，拥有一个代理ip池非常重要，还需要轮换代理IP以避免检测。现今最常用的爬虫代理类型是住宅和数据中心代理。这两种类型都允许用户访问不可用或受地理限制的内容，确保匿名并减少IP地址被阻止。最好选择位置广泛、ip资源丰富的代理提供商。
住宅代理和数据中心代理之间的主要区别在于它们的来源。住宅代理是Internet服务提供商支持的IP地址。它们是真正的IP地址。数据中心代理来自数据中心，它们不隶属于ISP。通常，数据中心代理用于基础设施，例如服务器、网络托管等。
若是需要抓取大量的数据则住宅代理性价比更高，需要抓取少量的数据，数据中心代理则也可以用
