网络的迅猛发展是很多人都没有意料到的事情，成千上万的的信息被人们上传到了互联网上面，本来互联网上面的信息的数量没有那么多的时候我们还是可以自己看到很多相关的内容了。现在各种各样海量的信息都会出现在互联网上，如果只是靠自己的量在网络上寻找自己想要的信息，可能要耗费很多的而精力。怎样有效的收集到这些信息是一个很重要的事情，网络爬虫就是这样被程序员们给造出来的。
网络爬虫很多人又叫做网页蜘蛛，因为他工作的时候像蜘蛛一样会有很多触角伸向各个网页以此来获取信息，是可以设置一些规则来自动收集网络上的信息的一种脚本代码。通常我们所说的爬虫有三种类型，不论是哪一种爬虫技术都只是用于收集相关信息，不会对别人的网站有恶意的目的。如果再说的通俗一点，平时我们经常看到的百度、谷歌、搜狗等很多搜索引擎其实从某种方面来看也是一种爬虫技术，只不过他们的爬虫范围比较广泛，所获取的内容范围比较广阔。
有的时候我们自己写的一些爬虫脚本也算是一个小型的引擎，而且这个引擎是被我们用很多代码约束着的一个搜索工具。每个人在写这种爬虫软件的时候都会有他们的目的和用途，往往被搜索出的大量的网页内容都是不被需要的，因为虽然是小型的搜索引擎但是因为整个网络的体量实在是太大了。所以不用担心自己的爬虫代码会不会破坏网络的平衡问题，那是不可能的，毕竟我们这小小的搜索引擎和如山高如海深的网络资源比起来，简直是九牛一毛毛尖，不值一提的。时间有限，还有工作要做，下一篇文章在继续接着说吧！
