如今，爬虫可以在许多行业看到，如爬行目标网站的信息、列表和其他信息，然而，许多网站不愿意让他们的信息白白获得，所以出现了反爬虫措施。

到目前为止，爬虫和反爬虫经常发生精彩的攻击和防御战争，但刚开始的小白经常被一些简单的爬行措施困住，所以在这里，小编告诉小伙伴们一些常见的反爬行解决方案。

1.访问频率限制

方法：使用python的sleep生成随机时间。大概意思其实就是用它。sleep爬虫的每个间隔都是随机的。这种方法可能会增加爬虫的时间，但可以使用多个代理IP或者动态IP来解决。

2.针对UA限制

方法：可设置随机列表，在列表中放入大量列表UA（User-Agent，一般指用户代理)，能有效防止UA被限制，但UA可能要准备更多的数量。

3.动态渲染限制

方法：动态渲染是由JavaScript请求可以在这里尝试使用burpsuite拦截请求，然后分析其规则并封装请求。

4.请求频率限制。其实是基于用户行为的，有的站点有防火墙或者程序有设置，单位时间内请求过多给你禁IP。绕过方式：使用sleep等待随机时间，这招比较狠，你可以在一个时间段内生成个随机时间，然后传递给sleep，但是这种方式会拉长爬虫周期，最好的方法就是从IP入手，多找一些代理IP去访问就可以了。

5.user-agent限制。这个绕过也很简单，设置个user-agent列表，使用随机函数，从列表里随机抽出一个user-agent，封装到http请求里，比如你从网上找30个user-agent，做成一个list列表名字叫user-agents，然后使用user-agents[random.randint(0,30)]就可以从列表随机提取一个user-agent，然后封装到http里

6.针对IP限制

方法：当反爬程序检测到同IP用户访问频率过高时，会直接将其IP锁定并限制。所以只需要准备好大量的替代IP就好了，不过更建议用动态IP，效率也会更好一些。

7.针对cookie限制

方法：使用selenium+webdriver，获取每次访问所需要的cookie，下次访问时便带上，也可以使用urllib2的cookie机制。

8. 事件限制。有些内容需要触发相关事件才能发送请求。这种绕过方法是使用这种绕过方法。selenium+webdriver即添加浏览器内核来模拟事件。

以上绕过反爬虫的方法可以单独使用，也可以综合使用，建议结合使用几种方法。当然，绕过反爬虫可能还有其他方法。

这里只想那么多，每个都是安全的，可以从安全的角度做一些，比如上面的使用，burpsuite抓包的方式可以绕过ajax。

适合爬虫使用的海外HTTP代理如何挑选？

1、确定代理IP类型

代理IP根据不同的特点，可分为数据中心代理、住宅代理、动态代理、静态代理等多种类型，代理IP不同的划分标准自然会有不同的用途，客户首先要根据自己的项目需求来决定自己需要的代理商IP下一步选择类型。

2、检查代理的使用方式

很多代理IP服务提供商提供代理IP使用方式不同，有些客户需要下载独立的客户端，复杂的设置，有些代理服务提供商只需要用户使用网进行IP配置和提取用于选择代理IP这也是一个值得关注的点，对工作效率有很大的影响。

最后haiwaiip是海外HTTP代理服务器提供商，IP可以精准定位城市级，每个月都会更新IP池，一手IP，服务于大数据采集领域帮助企业/个人快速高效获取数据源，真的非常便宜实惠，而已速度快又很稳定。