如何用爬虫爬取航空网站？

一点建议,请参考: 1 网络爬虫属于搜索引擎的技术范畴,属于搜索引擎采集数据的关键手段,是下一步根据采集内容建立摘要和索引的基础,说白点就是模拟浏览器对URL的访问获取网页的基本结构和内容,所以建议楼主先关注下搜索引擎原理中的数据采集部分内容,了解一下其实现的主要框架,网上相关文章还是比较多的。 2 单就你要获取的信息来说,航空公司的网站具体安全级别将直接影响网络爬虫实现的复杂度,因为目前很多网站为防止攻击等安全问题的发生,会对网络爬虫的访问进行屏蔽,在这种情况下要获得需要的信息就必须结合网站的具体情况对你的爬虫进行数据获取的细节进行规划,在规划爬虫实现的细节之前还是建议楼主对普通搜索引擎的数据采集部分的实现原理和方式进行比较细致的了解。