半点优化网 http://www.bdxc.net/
当前位置首页 > 网站技术问题> 正文

想采集网站一类网页的一个DIV 用什么工具。。。URL结尾是一样的。。div名字也是一样的 有没有带蜘蛛的采集

2022-04-30 16:06:23 暂无评论 121 网站技术问题 采集   一样   蜘蛛

我理解就是采集网页中的某部分的数据,通过源码查看,这部分数据应该是用

进行的网页布局控制。css是格式控制,可以暂不理会。
如果是这样,采集并不复杂,给你两个解决方案:
1、自动动手写采集:
主要用到的技术就是http通讯和正则。不过自己写起来需要处理的内容太多,如果只是采集一个网站的话,可以简化一些内容,且采集的数据更加准确或者说更适合自己的应用,因为你可以控制。http通讯用于获取网页源码,使用正则将需要采集的数据匹配出来。
2、使用工具
当前暂未发现带有采集规则配置的蜘蛛软件。一般蜘蛛软件就是检索网页,采集软件就是根据指定的规则采集数据。你应该更适合使用采集软件。
推荐:soukey采摘,开源的采集软件,可以根据自己的需求进行控制修改。付费的有网络矿工,应该是可以满足你的要求。


抢首赞




猜你喜欢