单机游戏下载单机游戏下载基地
最新游戏|热门游戏|游戏大全|游戏专题
网页浏览下载工具FTP工具聊天工具网络共享广告拦截即时通讯视频聊天邮件客户端网盘工具
当前位置：首页 → 网络工具 → 网页浏览 → 一米URL外链资源批量抓取工具 v2016.4.8绿色版

一米URL外链资源批量抓取工具 v2016.4.8绿色版

  • 一米URL外链资源批量抓取工具截图0
  • 一米URL外链资源批量抓取工具截图1
  • 一米URL外链资源批量抓取工具截图2
  • 一米URL外链资源批量抓取工具截图3
< >
一米URL外链资源批量抓取工具下载
好玩 好玩 0
坑爹 坑爹 0
  • 应用语言：中文
  • 应用大小：2.2M
  • 更新时间：2016-04-11 11:51
  • 发行时间：
  • 应用类型：普通
  • 应用标签： URL外链
一米URL外链资源批量抓取工具是一款绿色小巧但是功能专业的URL链接抓取工具；软件支持搜索引擎脚本URL抓取、全网蜘蛛抓取、同IP旁站扫描等等功能，适用于baidu.com,google.com,yahoo.com,bing.com,haosou.com等多个搜索引擎，需要的朋友快来下载体验一下吧！软[更多]
大小：2.2M
应用介绍

一米URL外链资源批量抓取工具是一款绿色小巧但是功能专业的URL链接抓取工具；软件支持搜索引擎脚本URL抓取、全网蜘蛛抓取、同IP旁站扫描等等功能，适用于baidu.com,google.com,yahoo.com,bing.com,haosou.com 等多个搜索引擎，需要的朋友快来下载体验一下吧！

软件特点

谷歌百度等绝大多数搜索引擎脚本(footprint)抓取URL； 
支持手工浏览器获取url，自动过滤重复url或域名； 
全网段蜘蛛爬取分析过滤URL，全球海量url资源爬取； 
同IP段网站批量扫描（C段扫描）； 
多种方式外链资源整理(去重/识别/过滤)；

软件功能

开发背景 

很多时候，需要抓取某类外链资源，如wordpress,discuz等，配合某些群发类的软件，因为群发软件本身内置的资源很多人都在用，可能存在被用烂的情况，这时候自己抓取资源就很有必要。但是手工从搜索引擎谷歌，百度等获取的话都有限制，一米URL外链资源批量抓取工具通过3种方式绕过了种种限制，能够让您在短时间获取大量需要的外链资源，全面支持footprint脚本，内置多线程高匿名代理抓取，全网段蜘蛛爬取过滤及同IP段网址扫描等功能，原则上只要是具有某一类特征的cms都可以抓到尽可能多的URL资源。

多搜索引擎抓取支持 
支持国内外多种搜索引擎类型，baidu.com,google.com,yahoo.com,bing.com,haosou.com ,sougou.com等; 
支持多脚本footprint/关键词抓取； 
内置高匿名代理IP及专属代理支持，批量验证可用性，每天更新；

支持手动搜索引擎结果获取 
针对谷歌等可以使用搜索命令的引擎，可以更精准的使用搜索命令如:inurl:/wp-content/等获取资源，关于这类资源最好的获取方式还是直接手动从模拟浏览器中直接提取当前页链接，每页显示100条记录，软件也支持以此方式获取

全网段蜘蛛爬取过滤 
导入初始的网址源数据，蜘蛛会在此基础上不断爬取整个互联网网址 
可根据设置的过滤URL规则过滤出需要的URL网址； 
可验证存在某个特征URL的网站； 
可限制是否只爬取站内网址及爬取数量； 
可设置屏蔽站点，提高效率，防止爬取一些大型的无用站点； 
自动过滤重复及提供识别email邮件提取

C段同IP旁站扫描获取 
一般像国外的服务器某个IP段下可能存在大量同类型cms的网站程序，该功能可实时监测出这些同类型的站点。可调用bing的search api接口，扫描某个IP下的所有站点，实时性精准度是目前最高的方式，单账户每月限制5000次调用，但是软件可以同时多个账户轮换操作。

URL外链资源整理 
可自动截断某个网址规则，比如要从所有url中过虑出“/wp-content/”类型，过滤后可自动截断网址，只保留唯一主域名，或获取主域后加入一段网址等格式 
可识别某个网址是否存在，根据特征网址页面是否存在某字符判断存在比较精准

相关应用
相关攻略
下载地址

一米URL外链资源批量抓取工具 v2016.4.8绿色版

    热门评论

    最新评论

    发表评论 查看所有评论(0)

    昵称:
    表情: 高兴 可 汗 我不要 害羞 好 下下下 送花 屎 亲亲
    (您的评论需要经过审核才能显示)

    配置需求

    推荐专题

    2020支付宝五福图片素材2020支付宝五福图片素材

    本类下载排行

    关于飞翔 | 联系我们 | 大事记 | 下载帮助(？) | 广告联系 | 版权声明 | 网站地图 | 友情链接

    Copyright 2010-2013 单机游戏下载 (R) 版权所有 飞翔下载所有游戏及软件下载资源来源互联网，并由网友上传分享。如有侵权，请来电来函告之。
    飞翔忠告：抵制不良色情、反动、暴力游戏 合理安排游戏时间 享受健康生活【鄂ICP备13011873号-1】