目 录
项目一 基于requests+xpath 采集网站文本数据 1
任务一 开发环境的准备和搭建 1
职业能力目标 1
任务描述与要求 2
知识储备 2
一、Python和PyCharm程序编辑器 2
二、原生类库requests 10
三、原生类库lxml 12
四、原生类库pymysql 12
任务计划与决策 13
任务实施 13
任务检查与评价 20
任务小结 21
任务拓展 21
任务二 爬虫程序实践 21
职业能力目标 21
任务描述与要求 21
知识储备 21
一、认识HTML 21
二、网页代码结构 23
三、通过浏览器查看网页源代码 23
任务计划与决策 24
任务实施 24
任务检查与评价 32
任务小结 32
任务拓展 33
项目二 使用feapder爬虫框架爬取房屋租售数据 35
任务一 开发环境的准备和搭建 35
职业能力目标 35
任务描述与要求 36
知识储备 36
任务计划与决策 36
任务实施 37
任务检查与评价 42
任务小结 42
任务拓展 43
任务二 爬虫程序实践 43
职业能力目标 43
任务描述与要求 43
知识储备 43
任务计划与决策 46
任务实施 46
任务检查与评价 56
任务小结 57
任务拓展 57
项目三 使用分布式爬虫采集金融数据 59
任务一 开发环境的准备和搭建 59
职业能力目标 59
任务描述与要求 59
知识储备 60
一、redis 60
二、Another Redis Desktop Manager 63
任务计划与决策 66
任务实施 66
任务检查与评价 71
任务小结 72
任务拓展 72
任务二 Spider爬虫程序实践 72
职业能力目标 72
任务描述与要求 72
知识储备 72
一、分布式爬虫Spider 72
二、Spider进阶 74
三、Spider的方法 76
任务计划与决策 78
任务实施 78
任务检查与评价 90
任务小结 91
任务拓展 91
项目四 使用批次分布式爬虫采集天气数据 93
任务一 学习feapder架构设计 93
职业能力目标 93
任务描述与要求 93
知识储备 94
任务计划与决策 95
任务实施 95
任务检查与评价 100
任务小结 101
任务拓展 101
任务二 爬虫程序实践 102
职业能力目标 102
任务描述与要求 102
知识储备 102
任务计划与决策 106
任务实施 106
任务检查与评价 121
任务小结 122
任务拓展 122
项目五 使用Scrapy爬虫爬取电影数据 125
任务一 开发环境的准备和搭建 125
职业能力目标 125
任务描述与要求 126
知识储备 126
一、Scrapy 126
二、JavaScript 128
任务计划与决策 129
任务实施 129
任务检查与评价 132
任务小结 133
任务拓展 133
任务二 爬虫程序实践 133
职业能力目标 133
任务描述与要求 133
知识储备 133
一、JSON简介 133
二、JSON使用场景 134
三、在Python中使用JSON 136
任务计划与决策 137
任务实施 138
任务检查与评价 153
任务小结 154
任务拓展 154
项目六 App爬虫的实践 157
任务一 开发环境的准备和搭建 157
职业能力目标 157
任务描述与要求 157
知识储备 158
一、Charles 158
二、Jadx 159
任务计划与决策 159
任务实施 159
任务检查与评价 164
任务小结 165
任务拓展 165
任务二 爬虫程序实践 166
职业能力目标 166
任务描述与要求 166
知识储备 166
任务计划与决策 166
任务实施 166
任务检查与评价 174
任务小结 175
任务拓展 175
项目七 企业项目部署与应用 179
任务一 开发环境的准备和搭建 179
职业能力目标 179
任务描述与要求 180
知识储备 180
一、Linux系统 180
二、Docker简介 181
三、FEAPLAT简介 182
任务计划与决策 183
任务实施 183
任务检查与评价 187
任务小结 188
任务拓展 188
任务二 爬虫管理和部署 188
职业能力目标 188
任务描述与要求 188
知识储备 189
一、使用说明 189
二、项目运行 189
三、示例演示 189
任务计划与决策 191
任务实施 191
任务检查与评价 196
任务小结 197
任务拓展 197
