前言

大数据技术作为新一代信息技术的重要组成部分，与其他技术相互融合、相互支撑，共同推动数字经济的高速发展。近年来，随着大数据融合应用能力不断深化，大数据应用在越来越多的行业领域发挥着重要价值，其应用场景也更为复杂。随着新基建、数字强国等战略的实施，大数据技术与应用迎来了新一轮的高速发展，迫切需要培养技术与实践能力较强的综合性人才，满足经济社会发展对大数据人才的需要。在此背景下，建立面向应用实践的大数据技术课程体系，为大数据人才提供学习资料，对于培养高质量的大数据专业人才、推动经济社会发展具有重要意义。

本书围绕大数据综合应用，以实践项目为案例，对大数据环境部署、关键技术和知识、上机实践操作等进行了详细介绍。本书共分为4章，包括大数据技术概述和三个项目案例实践。第1章概要介绍了大数据的技术和综合应用，主要对大数据基本概念、发展历程、技术框架、生态圈及处理工具、技术发展趋势、大数据产业、应用领域、典型应用及特征、应用前景与展望等进行了概述。第2章为基于Python+MySQL+Kettle的点评网数据采集分析及可视化的项目案例，以点评餐厅的数据统计分析为例，对数据采集、存储、查询、清洗和可视化分析等数据全流程处理的技术知识和实践操作进行了详细阐述，有助于读者进一步熟悉网络爬虫、数据清洗、统计分析和可视化。第3章为基于Hive+MySQL+Spark的零售数据分析及可视化的项目案例，对商场零售交易数据进行统计及关联分析，模拟商场、商店、超市等零售商家的大数据存储与分析过程，并可视化展示分析结果，有助于读者理解大数据相关知识及分析方法，并掌握相应的数据挖掘工具软件。第4章为基于Elasticsearch+Logstash+Kibana+Filebeat的日志收集分析及可视化的项目案例，详细介绍了日志采集组件的原理及组件间的关系，对日志数据的收集、传输、过滤、存储、分析及可视化展示等实践操作进行了详细说明，最终实现了网约车平台日志的收集、过滤、分析和可视化整个流程，帮助读者更好地使用ELKF技术栈实现日志的收集和分析。

本书具有以下特点。

(1) 大数据技术及应用实践内容广泛。本书编排内容并不求全，而是针对普通高校大数据课程教学及大数据技术人员的需求，遵循实用、适用和应用原则，基于项目案例对大数据技术综合应用与实践进行深入浅出的讲解。

(2) 每个项目案例均提供了项目简介、环境部署、技术知识、实践操作等详细的内容，并提供了丰富的配套资源和拓展训练内容。

(3) 选取的项目案例贴近实际生活，强调了大数据技术的应用实践，可以有效提高学生的学习兴趣。大数据综合应用实践

前言

本书配套资源丰富，包括教学课件、程序源码、扩展训练答案，还配有微课视频。

本书由齐鲁工业大学(山东省科学院)、山东省计算中心(国家超级计算济南中心)陈静、杨美红、张虎、李娜、郭莹、葛菁、王迪和济南超级计算技术研究院程翠萍、山东正云信息科技有限公司房靖晶共同编写，其中陈静主持编写，杨美红、程翠萍编写第1章，陈静、郭莹编写第2章，李娜、葛菁、王迪编写第3章，张虎、房靖晶编写第4章。齐鲁工业大学孙浩、张传福、李文、袁梦、孙明辉、张淙冕参与了项目实践的验证工作，在此一并表示衷心的感谢！本书获得齐鲁工业大学计算机科学与技术学科经费资助。

由于编者水平有限，书中难免存在疏漏和不足之处，敬请广大读者批评指正。

陈静

2022年6月