《爬虫实战:从数据到产品》从多个数据项目实例出发,介绍爬虫、反爬虫的各种案例,使读者了解到数据抓取和分析的完整过程。书中案例的难度由浅入深,以作者原创的代码为主,不借助现成的框架,强调在数据采集过程中的发散思维,总结攻克反爬虫的思维模式,实现以低成本的方式得到想要的数据的愿望。最后,用一个“爱飞狗”的例子,为读者展示如何从0 到1 地开发一个大数据产品。 第1 章 基础知识 ................................................................................................... 11.1 什么是爬虫 ................................................................................................. 11.2 数据获取渠道 ............................................................................................. 21.3 抓包分析工具 ............................................................................................. 41.4 爬虫和反爬虫的斗争 ................................................................................. 51.5 数据处理、分析和可视化 ....................................................................... 201.6 延深阅读 ................................................................................................... 21第2 章 基于位置信息的爬虫Ⅰ ........................................................................... 232.1 背景及目标 ............................................................................................... 232.2 爬虫原理 ................................................................................................... 242.3 数据来源分析 ........................................................................................... 262.4 简单的矩形区域抓取方式 ....................................................................... 382.5 高级区域抓取方式 ................................................................................... 462.6 坐标转换 ................................................................................................... 492.7 存储数据的方式 ....................................................................................... 492.8 数据导入 ................................................................................................... 512.9 基本数据分析 ........................................................................................... 522.10 地图可视化 ............................................................................................. 562.11 轨迹可视化 ............................................................................................. 582.12 总结 ......................................................................................................... 60第3 章 基于位置信息的爬虫Ⅱ ........................................................................... 623.1 背景及目标 ............................................................................................... 623.2 爬虫原理 ................................................................................................... 623.3 优化方案一 ............................................................................................... 713.4 优化方案二 ............................................................................................... 753.5 优化方案三 ............................................................................................... 823.6 导入数据到数据库 ....
阅读更多