您好,欢迎来到化拓教育网。
搜索
您的当前位置:首页scrapy笔记

scrapy笔记

来源:化拓教育网

1.return与yield
两个关键字都可以返回scrapy.Request,区别是return返回的是列表,即使是只有一个scrapy.Request,以必须在外面加上[]返回;yield直接返回scrapy.Request
2.cookie的使用
访问一个网站时,若要加上cookie,可以在start_requests函数中加入。
示例:在百度首页加上登录名的cookie

def start_requests(self):
    url = 
    cookie = {
        'BDUSS': '***'
    }
    return [scrapy.Request(url=url, cookies=cookie)]
    # 或者为 yield scrapy.Request(url=url, cookies=cookie)

2.time.time
利用time.time()可实现简单的计算程序耗时功能。

Copyright © 2019- huatuo9.cn 版权所有 赣ICP备2023008801号-1

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务