登入帳戶  | 訂單查詢  | 購物車/收銀台( 0 ) | 在線留言板  | 付款方式  | 聯絡我們  | 運費計算  | 幫助中心 |  加入書簽
會員登入 新註冊 | 新用戶登記
HOME新書上架暢銷書架好書推介特價區會員書架精選月讀2023年度TOP分類閱讀雜誌 香港/國際用戶
最新/最熱/最齊全的簡體書網 品種:超過100萬種書,正品正价,放心網購,悭钱省心 送貨:速遞 / EMS,時效:出貨後2-3日

2024年03月出版新書

2024年02月出版新書

2024年01月出版新書

2023年12月出版新書

2023年11月出版新書

2023年10月出版新書

2023年09月出版新書

2023年08月出版新書

2023年07月出版新書

2023年06月出版新書

2023年05月出版新書

2023年04月出版新書

2023年03月出版新書

2023年02月出版新書

『簡體書』从零开始学Scrapy网络爬虫(视频教学版)

書城自編碼: 3415241
分類: 簡體書→大陸圖書→計算機/網絡程序設計
作 者: 张涛
國際書號(ISBN): 9787111634744
出版社: 机械工业出版社
出版日期: 2019-09-01

頁數/字數: /
書度/開本: 16开 釘裝: 平装

售價:NT$ 624

我要買

share:

** 我創建的書架 **
未登入.



新書推薦:
儿童心理画:孩子的画会说话,孩子的画这样读
《 儿童心理画:孩子的画会说话,孩子的画这样读 》

售價:NT$ 386.0
海外中国研究·古代中华观念的形成
《 海外中国研究·古代中华观念的形成 》

售價:NT$ 437.0
街头官僚:公共服务中的个人困境(公共行政与公共管理经典译丛;“十二五”国家重点图书出版规划项目)
《 街头官僚:公共服务中的个人困境(公共行政与公共管理经典译丛;“十二五”国家重点图书出版规划项目) 》

售價:NT$ 493.0
芯片战争:世界最关键技术的争夺战
《 芯片战争:世界最关键技术的争夺战 》

售價:NT$ 717.0
唐代玄宗肃宗之际的中枢政局
《 唐代玄宗肃宗之际的中枢政局 》

售價:NT$ 420.0
能源与动力工程测试技术(穆林)
《 能源与动力工程测试技术(穆林) 》

售價:NT$ 442.0
大学问·明清江南商业的发展
《 大学问·明清江南商业的发展 》

售價:NT$ 498.0
金庸评传
《 金庸评传 》

售價:NT$ 941.0

編輯推薦:
《从零开始学Scrapy网络爬虫》特色:
科大讯飞人工智能教育培训与研究专家多年实战经验的总结。
科大讯飞人工智能研究院潘青华、CSDN博客专家贾志刚力荐。
赠送超值配书资料:17小时配套教学视频、案例源代码、教学PPT。
手把手带领小白从零开始全面掌握Scrapy网络爬虫的核心技术。
以案例为导向,通过对案例的不断迭代和优化,加深读者对知识的理解。
全面涵盖Python基础、爬虫原理、Scrapy框架、数据库存储、动态页面爬取、模拟登录、反爬虫技术、文件和图片下载、分布式爬虫等内容。
选用多个知名且有代表性的网站作为爬取目标,有很强的实用性和可操作性。
详解14个综合案例,并重点剖析抢票软件项目的实现原理及实现过程,提高读者解决实际问题的能力。
《从零开始学Scrapy网络爬虫》核心内容:
Python基础
网络爬虫基础
Scrapy框架介绍
Scrapy网络爬虫基础
MySQL、MongoDB与Redis数据库存储
JavaScript与AJAX数据爬取
动态渲染页面的爬取
模拟登录
突破反爬虫技术《从零开始学Scrapy网络爬虫》特色:
科大
內容簡介:
本书从零开始,循序渐进地介绍了目前*流行的网络爬虫框架Scrapy。本书共13章。其中第1~4章为基础篇,介绍了Python基础、网络爬虫基础、Scrapy框架及基本的爬虫功能。第5~10章为进阶篇,介绍了如何将爬虫数据存储于MySQL、MongoDB和Redis数据库中;如何实现异步的Ajax数据的爬取;如何使用Selenium和Splash实现动态网站的爬取;如何实现模拟登录功能;如何突破反爬虫技术,以及如何实现文件和图片的下载。第11~13章为高级篇,介绍了使用Scrapy-Redis实现分布式爬虫;使用Scrapyd和Docker部署分布式爬虫;使用Gerapy管理分布式爬虫,并实现了一个抢票软件的综合项目。
本书适合爬虫初学者、爬虫爱好者及高校相关学生,也适合数据爬虫工程师作为参考读物,同时也适合各大院校和培训机构作为教材使用。
關於作者:
张涛 毕业于中国科学技术大学,获硕士学位。目前在科大讯飞从事人工智能教育培训与研究。加入科大讯飞之前,曾经在知名日资企业任职研发经理,负责日本大型证券系统的设计与开发。有7年大学课程改革与教学经验,主要研究方向为Python网络爬虫、数据分析和机器学习。
目錄
前言
第1篇基础篇
第1章Python基础2
1.1Python简介2
1.1.1Python简史2
1.1.2搭建Python环境3
1.1.3安装PyCharm集成开发环境6
1.2Python基本语法7
1.2.1基本数据类型和运算7
1.2.2运算符和表达式8
1.2.3条件判断语句9
1.2.4循环语句10
1.2.5字符串12
1.3Python内置数据结构14
1.3.1列表15
1.3.2字典16
1.3.3元组17
1.3.4遍历对象集合17
1.4Python模块化设计18
1.4.1函数18
1.4.2迭代器(iterator)20
1.4.3生成器(Generator)20
1.4.4类和对象22
1.4.5文件与异常23
1.5本章小结25
第2章网络爬虫基础26
2.1HTTP基本原理26
2.1.1URL介绍27
2.1.2HTTP和HTTPS协议27
2.1.3HTTP请求(Request)27
2.1.4HTTP响应(Response)30
2.2网页基础32
2.2.1HTML文档33
2.2.2网页的结构33
2.2.3节点树及节点之间的关系34
2.3使用XPath提取网页信息36
2.3.1XPath介绍36
2.3.2XPath常用路径表达式36
2.3.3XPath带谓语的路径表达式39
2.4本章小结40
第3章Scrapy框架介绍41
3.1网络爬虫原理41
3.1.1爬虫执行的流程41
3.2Scrapy框架结构及执行流程42
3.2.1Scrapy框架结构42
3.2.2Scrapy执行流程44
3.3Scrapy安装44
3.3.1使用pip安装Scrapy44
3.3.2常见安装错误45
3.3.3验证安装46
3.4第一个网络爬虫46
3.4.1需求分析46
3.4.2创建项目47
3.4.3分析页面48
3.4.4实现Spider爬虫功能49
3.4.5运行爬虫50
3.4.6常见问题51
3.5本章小结52
第4章Scrapy网络爬虫基础53
4.1使用Spider提取数据53
4.1.1Spider组件介绍53
4.1.2重写start_requests方法55
4.1.3Request对象57
4.1.4使用选择器提取数据58
4.1.5Response对象与XPath59
4.1.6Response对象与CSS61
4.1.7进一步了解Response对象62
4.1.8多页数据的爬取63
4.2使用Item封装数据64
4.2.1定义Item和Field65
4.2.2使用ItemLoader填充容器66
4.3使用Pipeline处理数据69
4.3.1Item Pipeline介绍70
4.3.2编写自己的Item Pipeline70
4.3.3启用Item Pipeline71
4.3.4多个Item Pipeline71
4.3.5保存为其他类型文件72
4.4项目案例:爬取链家网二手房信息75
4.4.1项目需求75
4.4.2技术分析76
4.4.3代码实现及解析77
4.5本章小结85
第2篇进阶篇
第5章数据库存储88
5.1MySQL数据库88
5.1.1关系型数据库概述88
5.1.2下载和安装MySQL数据库88
5.1.3数据库管理工具Navicat92
5.1.4Python访问MySQL数据库94
5.1.5项目案例97
5.2MongoDB数据库100
5.2.1NoSQL概述100
5.2.2MongoDB介绍100
5.2.3MongoDB的下载和安装101
5.2.4Python访问MongoDB数据库102
5.2.5项目案例108
5.3Redis数据库111
5.3.1Redis的下载和安装111
5.3.2Python访问Redis113
5.3.3项目案例118
5.4本章小结121
第6章JavaScript与AJAX数据爬取122
6.1JavaScript简介122
6.2项目案例:爬取QQ音乐榜单歌曲122
6.2.1项目需求122
6.2.2技术分析123
6.2.3代码实现及解析126
6.2.4更常见的动态网页128
6.3AJAX简介129
6.4项目案例:爬取豆瓣电影信息130
6.4.1项目需求130
6.4.2技术分析130
6.4.3代码实现及解析133
6.5本章小结135
第7章动态渲染页面的爬取136
7.1Selenium实现动态页面爬取136
7.1.1Selenium安装136
7.1.2Selenium简单实现137
7.1.3Selenium语法138
7.2项目案例:爬取今日头条热点新闻145
7.2.1项目需求145
7.2.2技术分析145
7.2.3代码实现及解析147
7.3Splash实现动态页面爬取151
7.3.1Splash介绍151
7.3.2Splash环境搭建152
7.3.3Splash模块介绍156
7.4项目案例:爬取一号店中的iPhone手机信息162
7.4.1项目需求162
7.4.2技术分析163
7.4.3代码实现及解析165
7.5本章小结168
第8章模拟登录169
8.1模拟登录解析169
8.1.1登录过程解析169
8.1.2模拟登录的实现171
8.2验证码识别174
8.2.1使用OCR识别验证码174
8.2.2处理复杂验证码176
8.2.3五花八门的验证码177
8.3Cookie自动登录177
8.3.1Cookie介绍178
8.3.2获取Cookie的库—browsercookie179
8.4项目案例:爬取起点中文网某用户的书架信息180
8.4.1项目需求180
8.4.2技术分析180
8.4.3代码实现及解析182
8.5本章小结184
第9章突破反爬虫技术185
9.1反爬虫技术及突破措施185
9.2伪装成不同的浏览器187
9.2.1UserAgentMiddleware中间件介绍187
9.2.2实现伪装成随机浏览器188
9.2.3更简单的方法191
9.3使用HTTP代理服务器192
9.3.1HTTP代理服务器192
9.3.2获取免费代理193
9.3.3实现随机代理199
9.4本章小结202
第10章文件和图片下载203
10.1文件下载203
10.1.1FilesPipeline执行流程203
10.2项目案例:爬取seaborn案例源文件204
10.2.1项目需求20
內容試閱
随着人工智能浪潮的到来,笔者身边有越来越多的人投入到人工智能和大数据的学习与研究中。他们来自不同的行业,有高校老师和学生,有AI研究专家,有物理或数学专业人才。他们都迫切希望能够获取大量相关领域的数据,用于学习和研究。而互联网中源源不断的海量数据为他们提供了一个既经济又可靠的来源。如何简单、高效、快捷地获取这些数据呢?笔者试图为他们推荐几本能快速入手的书籍。经过一番了解,发现目前市场上关于网络爬虫的图书主要分为两类:一类是翻译成中文的外版图书,其定位相对高端,且翻译质量参差不齐,阅读难度较大,不易上手,故不适合初学者学习;另一类是国内原创的一些关于网络爬虫的图书,这些书大多要求读者具备一定的Python编程基础,虽然书中对各种网络爬虫框架都有介绍,但是不深入也不成体系,对于零基础或非计算机专业的人员来说,显然也不太适合。
于是,他们就“怂恿”我,希望我能编写一本从零基础开始学起的网络爬虫书籍。虽然我从事网络爬虫教学工作多年,但我深知教学跟写书是两码事。教学注重临场发挥,思维比较发散;而写书要求文笔流畅、逻辑严谨缜密。我实在没有信心接受这个挑战。直到有一天,机械工业出版社的编辑联系到了我,认为我从事教育和研究工作,能讲、会说、有技术,对写书来说正是最大的优势。于是在编辑的鼓励和指导下,我开始构思和梳理文章脉络:首先,本书受众要广,即使是零基础或非计算机专业的“小白”也能上手;其次,本书内容不追求多和杂,只选用最流行、最好用、最强大的网络爬虫框架介绍即可;最后,本书的可操作性和实用性要强,通过迭代案例加深读者对知识的理解与应用,以典型的、知名的网站为爬取目标,提高读者解决实际问题的能力。本书正是遵循这样的思路逐步推进,不断优化,最后顺利地完成了写作。
本书有何特色
1.由浅入深,循序渐进
本书从零开始,先介绍Python语言、网络爬虫基础、Scrapy框架结构等基础内容;再介绍Scrapy的数据库存储、动态页面爬取、突破反爬虫技术等核心技术;接着介绍分布式爬虫的实现、部署和管理等高级技术;最后介绍了一个完整的综合项目的开发过程。
2.视频教学,讲解详尽
为了便于读者高效、直观地学习,书中每一章的重点内容都专门录制了配套教学视频。读者可以将图书内容和教学视频结合起来,深入、系统地学习,相信一定会取得更好的学习效果。
3.注释详细,一目了然
无论是在Python程序设计,还是在Scrapy爬虫实现部分,本书均对代码做了详细的注释,读者理解起来会更加顺畅。另外,对于多步骤的操作过程,本书在图例中使用数字做了标注,便于读者准确操作。
4.案例丰富,实用易学
本书提供了14个实用性很强的项目案例,这些案例爬取的目标均是知名的、具有代表性的、应用价值较高的网站。读者通过实际操练这些项目案例,可以更加透彻地理解Scrapy网络爬虫的相关知识。
5.提供课件,方便教学
笔者专门为本书制作了专业的教学PPT,以方便相关院校或培训机构的教学人员讲课时使用。
本书内容
第1篇基础篇
第1章Python基础
本章介绍了Python环境搭建,并详细介绍了Python基本语法、Python内置数据结构及Python模块化设计,为Scrapy网络爬虫开发打下坚实的编程基础。
第2章网络爬虫基础
本章介绍了与网络爬虫技术相关的HTTP基本原理、网页基础,以及使用XPath提取网页信息的方法,为Scrapy网络爬虫开发打下坚实的理论基础。
第3章Scrapy框架介绍
本章首先介绍了网络爬虫的原理;然后介绍了Scrapy框架的结构及执行流程,并实现了Scrapy的安装;最后结合案例,实现了第一个Scrapy网络爬虫功能。
第4章Scrapy网络爬虫基础
本章深入Scrapy框架内部,介绍了使用Spider提取数据、使用Item封装数据、使用Pipeline处理数据的方法,并通过一个项目案例,演示了一个功能完备的Scrapy项目的实现过程。
第2篇进阶篇
第5章数据库存储
本章介绍了关系型数据库MySQL、非关系型数据库MongoDB和Redis的下载、安装及基本操作,并通过3个项目案例,实现了将爬取来的数据分别存储于这3个数据库中的方法。
第6章JavaScript与AJAX数据爬取
本章通过两个项目案例,介绍了使用Scrapy爬取通过JavaScript或AJAX加载的数据的方法和技巧。
第7章动态渲染页面的爬取
本章介绍了使用Selenium和Splash这两个工具来模拟浏览器进行数据爬取的方法,并通过两个项目案例,进一步巩固使用Selenium和Splash的方法与技巧。
第8章模拟登录
本章介绍了某些需要登录才能访问的页面爬取方法,并介绍了模拟登录、验证码识别和Cookie自动登录等知识,还通过一个项目案例,进一步巩固了实现模拟登录的方法和技巧。
第9章突破反爬虫技术
本章介绍了突破反爬虫的几种技术,主要有降低请求频率、修改请求头、禁用Cookie、伪装成随机浏览器及更换IP地址等,通过这些举措,可以有效避免目标网站的侦测,提高爬虫成功率。
第10章文件和图片下载
本章介绍了使用Scrapy的中间件批量下载文件和图片的方法,并通过两个项目案例,进一步巩固了文件和图片下载的方法与技巧。
第3篇高级篇
第11章Scrapy-Redis实现分布式爬虫
本章介绍了使用Scrapy-Redis实现分布式爬虫的方法。首先介绍了分布式爬虫的原理,然后介绍了实现分布式爬虫的思路和核心代码,最后通过一个图片下载的项目案例,构造了一个分布式爬虫系统。
第12章Scrapyd部署分布式爬虫
本章介绍了分布式系统的部署和管理。首先介绍了使用Scrapyd和Scrapyd-Client部署分布式爬虫,然后介绍了使用Docker批量部署分布式爬虫,最后介绍了如何使用Gerapy管理分布式爬虫。
第13章综合项目:抢票软件的实现
本章通过全面分析12306购票网站的特点,结合Scrapy网络爬虫框架和Selenium浏览器工具,使用Python面向对象的设计模式,完成了一个综合性和实用性都较强的项目:抢票软件。
本书配套资源获取方式
本书涉及以下配套资源:
* 配套教学视频;
* 实例源代码文件;
* 教学PPT。
这些配套资源需要读者自行下载。请登录华章公司网站www.hzbook.com,在该网站上搜索到本书,然后单击“资料下载”按钮,在本书页面上找到下载链接即可下载。
适合阅读本书的读者
* 网络爬虫初学者;
* 网络爬虫爱好者;
* 网络爬虫从业人员;
* 数据工程师;
* 高等院校的老师和学生;
* 相关培训机构的学员。
本书作者
笔者毕业于中国科学技术大学软件工程专业,获硕士学位。现就职于知名的智能语音技术公司,有10余年软件项目管理经验。在高等院校担任网络爬虫及机器学习方面的授课工作。
本书能够顺利出版,首先要感谢本书编辑欧振旭!他花费了大量时间和精力对本书提出了有价值的修改意见和建议;还要感谢其他为本书的出版提供过帮助的编辑和朋友!没有他们的大力支持,本书也很难与读者见面。
由于笔者水平所限,加之成书时间有限,书中可能还存在一些疏漏和不当之处,敬请各位读者斧正。联系邮箱:hzbook2017@163.com。
张涛

 

 

書城介紹  | 合作申請 | 索要書目  | 新手入門 | 聯絡方式  | 幫助中心 | 找書說明  | 送貨方式 | 付款方式 香港用户  | 台灣用户 | 海外用户
megBook.com.tw
Copyright (C) 2013 - 2024 (香港)大書城有限公司 All Rights Reserved.