WebSpider蓝蜘蛛网页抓取 v5.1，WebSpider蓝蜘蛛网页抓取工具5.1可以抓取互联网、wap网站上的任何网页，包括需要登录后才能访问的页面。对抓取到页面内容进行解析，得到结构化的信息，比如：新闻标题、作者、来源、正文等。支持列表页的自动翻页抓取，支持正文页多页合并，支持图片、文件的抓取，可以抓取静态网页，也可以抓取带参数的动态网页，功能极其强大。 用户指定要抓取的网站、抓取的网页类型（固定页面、分页显示的页面等等），并配置如何解析数据项（如新闻标题、作者、来源、正文等），系统可以根据配置信息自动实时抓取数据，启动抓取的时间也可以通过配置设定，真正做到“按需抓取，一次配置，永久抓取”。抓来的数据可以保存到数据库中。支持当前主流数据库，包括：Oracle、SQL Server、MySQL等。 本工具完全可以替代传统的编辑手工处理信息的模式，能够实时、准确、一天24*60不间断为企业提供最新资讯和情报，真正能为企业降低成本，提高竞争力。 本工具主要特点如下： *适用范围广，可以抓取任何网页（包括登录后才能访问的网页） *处理速度快，如果网络畅通，1小时可以抓取、解析10000个网页 *采用独特的重复数据过滤技术，支持增量式数据抓取，可以抓取实时数据，如：股票交易信息、天气预报等 *抓取信息的准确性高，系统提供了强大的数据校验功能，保证了数据的正确性 *支持断点续抓，在当机或出现异常情况后可以恢复抓取，继续后续的抓取工作，提高了系统的抓取效率 *对于列表页，支持翻页，可以抓取到所有列表页中的数据。对于正文页，可以对分页显示的内容自动进行合并； *支持页面深度抓取，页面间可以一级一级地抓下去。比如，通过列表页抓取到正文页URL，然后再抓取正文页。各级页面可以分别入库； *WEB操作界面，一处安装，随处使用 *分步解析，分步入库 *一次配置，永久抓取，一劳永逸