单机游戏下载单机游戏下载基地
最新游戏|热门游戏|游戏大全|游戏专题
压缩解压光盘工具文字输入杀毒软件文件处理转换翻译股票证券办公学习编程软件虚拟光驱
当前位置：首页 → 应用软件 → 编程软件 → python爬虫框架Scrapy 1.4.0免费版

python爬虫框架Scrapy 1.4.0免费版

  • python爬虫框架Scrapy 1.4.0免费版截图0
< >
python爬虫框架Scrapy 1.4.0免费版下载
好玩 好玩 0
坑爹 坑爹 0
  • 应用语言：中文
  • 应用大小：1.3M
  • 更新时间：2017-05-19 14:19
  • 发行时间：
  • 应用类型：普通
  • 应用标签： Scrapy
python爬虫框架Scrapy1.4.0免费版是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。更新内容Scrapy1.4没有带来许多令人惊叹的新功能，但进行[更多]
大小：1.3M
应用介绍

python爬虫框架Scrapy 1.4.0免费版是一套基于基于Twisted的异步处理框架，纯python实现的爬虫框架，用户只需要定制开发几个模块就可以轻松的实现一个爬虫，用来抓取网页内容以及各种图片，非常之方便。

更新内容

Scrapy 1.4 没有带来许多令人惊叹的新功能，但进行了相当多的方便的改进。

Scrapy 现在通过新的 :setting:`FTP_USER` 和 :setting:`FTP_PASSWORD` 设置，支持使用可自定义的用户和密码进行匿名 FTP 会话。

如果使用 Twisted 17.1.0 或更高版本，FTP 现在可以与 Python 3 一起使用。

使用方法

0.准备工作

需要准备的东西： Python、scrapy、一个IDE或者随便什么文本编辑工具。

1.技术部已经研究决定了，你来写爬虫。

随便建一个工作目录，然后用命令行建立一个工程，工程名为miao，可以替换为你喜欢的名字。

scrapy startproject miao

1

scrapy startproject miao

随后你会得到如下的一个由scrapy创建的目录结构

在spiders文件夹中创建一个python文件，比如miao.py，来作为爬虫的脚本。

内容如下：

import scrapy

class NgaSpider(scrapy.Spider):

    name = "NgaSpider"

    host = "http://bbs.ngacn.cc/"

    # start_urls是我们准备爬的初始页

    start_urls = [

        "http://bbs.ngacn.cc/thread.php?fid=406",

    ]

 

    # 这个是解析函数，如果不特别指明的话，scrapy抓回来的页面会由这个函数进行解析。

    # 对页面的处理和分析工作都在此进行，这个示例里我们只是简单地把页面内容打印出来。

    def parse(self, response):

        print response.body

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

import scrapy

class NgaSpider(scrapy.Spider):

    name = "NgaSpider"

    host = "http://bbs.ngacn.cc/"

    # start_urls是我们准备爬的初始页

    start_urls = [

        "http://bbs.ngacn.cc/thread.php?fid=406",

    ]

    # 这个是解析函数，如果不特别指明的话，scrapy抓回来的页面会由这个函数进行解析。

    # 对页面的处理和分析工作都在此进行，这个示例里我们只是简单地把页面内容打印出来。

    def parse(self, response):

        print response.body

2.跑一个试试？

如果用命令行的话就这样：

cd miao

scrapy crawl NgaSpider

1

2

cd miao

scrapy crawl NgaSpider

你可以看到爬虫君已经把你坛星际区第一页打印出来了，当然由于没有任何处理，所以混杂着html标签和js脚本都一并打印出来了。

 

相关应用
相关攻略
下载地址

python爬虫框架Scrapy 1.4.0免费版

    热门评论

    最新评论

    发表评论 查看所有评论(0)

    昵称:
    表情: 高兴 可 汗 我不要 害羞 好 下下下 送花 屎 亲亲
    (您的评论需要经过审核才能显示)

    配置需求

    推荐专题

    up对战平台up对战平台

    本类下载排行

    关于飞翔 | 联系我们 | 大事记 | 下载帮助(？) | 广告联系 | 版权声明 | 网站地图 | 友情链接

    Copyright 2010-2013 单机游戏下载 (R) 版权所有 飞翔下载所有游戏及软件下载资源来源互联网，并由网友上传分享。如有侵权，请来电来函告之。
    飞翔忠告：抵制不良色情、反动、暴力游戏 合理安排游戏时间 享受健康生活 鄂公网安备：42011102003115号 【鄂ICP备13011873号-1】