作者简介

李石明， 博士，毕业于中国科学技术大学，主要研究方向为大数据、电子政务、企业管理等学科的教学和研究工作；近年来，主持省部级以上课题4项，参与国家级课题2项，出版《绿色未来： ESG视角下的碳信息披露与企业价值重塑》《电子商务专业办学特色的探索与实践》专著2部，《公司战略与风险管理》《Python编程：从入门到实践》等教材4部，公开发表SCI 、CSSCI及北大核心期刊论文12篇。

序言      

在数字化浪潮席卷全球的今天，数据已无可争议地成为推动社会进步、经济繁荣与科技创新的核心要素。从微观的企业运营到宏观的国家治理，从日常生活的便捷化到科学研究的深化，数据的力量无处不在，其价值之巨大，堪比工业时代的原油。然而，正如原油须经提炼方能成为动力之源，数据的价值也需要通过深度挖掘、精准分析与有效转化方能显现。这正是大数据分析技术的魅力所在，也是《大数据分析基础》 一书的初衷与使命。

在大数据时代的背景下，培养具备跨学科视野、扎实技术基础与创新能力的人才何等重要。Python，这门融合了简洁性与强大功能的编程语言，凭借其丰富的开源生态与高效的开发效率，在大数据处理与分析领域大放异彩，已成为连接理论与实践、学术与产业的桥梁。《大数据分析基础》以Python为工具，旨在为读者搭建一个从理论到实践、从基础到进阶的全方位学习平台，助力大家在大数据的海洋中乘风破浪，探索未知。

大数据分析技术的应用，早已超越了单一行业的界限，它正以前所未有的速度渗透到金融、医疗、教育、政务、农业等各个领域，成为推动行业变革与升级的关键力量。然而，面对庞杂的技术栈与多变的应用场景，初学者往往感到无所适从，或是学了一堆技术却不知如何用于解决实际问题。《大数据分析基础》正是为了解决这一痛点而著，它摒弃了传统技术书籍单纯罗列知识点的做法，转而以问题为导向，以实战为脉络，通过一系列精心设计的案例，引导读者从真实场景出发，深入理解大数据分析的精髓。

书中，不仅详细介绍了Python编程的基础知识，包括数据友好型语法、 Pandas库的使用、Matplotlib与Seaborn的可视化技巧等，还深入探讨了机器学习、分布式计算、大模型构建等前沿话题。通过电商数据分析、社交媒体情感分析、财务大数据分析、政务大数据分析等真实案例，展示了如何将理论知识用于解决实际问题，实现从数据到商业价值的转化。这种“从数据到行动”的闭环思维，不仅能够帮助读者建立扎实的理论基础，更能够培养大家的实践能力和创新思维。

作为教育者，我深知一本好书对于学生成长的重要性。《大数据分析基础》不仅是一本技术书籍，更是一本启发思维、激发潜能的宝典。它鼓励读者先跑通代码，再优化细节；善用工具箱思维，掌握核心范式；从“为什么”到“怎么做”，培养批判性思维；加入社区，保持好奇心，持续精进。通过阅读本书，读者不仅能够掌握大数据分析的核心技能，更能够在实践中不断探索、不断创新，成为推动社会进步的重要力量。

最后，我衷心希望《大数据分析基础》能够成为广大读者探索数据世界的得力助手，助力大家在算法的海洋中锚定方向，在信息的洪流中捕捉价值。携手共进，在这场“解码世界”的旅程中，不断探索、不断前行，共同开创一个更加智慧、更加美好的未来。

黄恒学

2025年5月1 日写于北京大学廖凯原楼

前言     

在数据驱动的时代，信息技术的每一次革新都在重塑人们的认知范式。从智能手机的普及到人工智能的突破，从物联网到云计算的泛在化，数据已成为推动社会发展的新“原油”。需要指出的是，数据的价值并非与生俱来—它必须经过挖掘、分析和转化，这正是大数据技术的核心使命。

Python作为一门兼具简洁性与强大功能的编程语言，凭借其丰富的开源生态和高效的开发效率，已成为大数据处理与分析领域的“通用语言”。无论是数据清洗、机器学习建模，还是实时流处理、分布式计算，都可以使用Python完成。《大数据分析基础》旨在帮助读者跨越理论与实践的鸿沟，掌握使用Python解决实际数据问题的能力。

本书特色

大数据技术的应用早已突破科技公司的边界，融入金融、医疗、教育、政务、农业等各个领域。零售企业需要通过用户行为数据分析优化库存，城市需要通过交通流量数据分析缓解拥堵，医院需要通过患者数据分析预测疾病风险……这些场景的共同点在于：数据是起点，决策才是终点。许多初学者往往陷入两种困境：一是被庞杂的技术栈(如Hadoop 、Spark 、Flink等)所困扰；二是学了一堆技术，却不知如何解决实际问题。

《大数据分析基础》的初衷即在于此—以问题为导向，以实战为脉络。本书摒弃了单纯罗列技术的写法，从真实场景出发，通过实操练习，让读者不仅学会“如何写代码”，而且理解“为什么这样设计”。例如，介绍文本分析时，会从社交媒体评论出发，逐步展示如何用Python提取关键词、分析情感倾向、定位问题根源，最终形成可落地的改进方案。这种“从数据到行动”的闭环思维，正是本书区别于其他相关技术书籍的核心特色。

本书的结构与主要内容

全书围绕基础、工具、应用、拓展四层架构展开，共分为三大部分。

(1) 第1部分“筑基篇—Python与数据科学的桥梁”共包含四章内容，帮助读者奠定知识基础。

第1章从信息技术的演进切入，解析大数据的5V(volume 、velocity 、variety 、veracity、value)特征，并探讨数据驱动决策的底层逻辑。

第2章和第3章深入介绍Python编程，但与传统编程语言书籍不同，本书聚焦“数据友好型”语法，如列表推导式处理多维数据、使用Pandas库实现类SQL操作、使用Matplotlib与Seaborn构建可视化叙事。

第4章揭开机器学习的神秘面纱，通过scikit-learn库的实战，阐释如何用Python训练一个预测模型，并重点讨论过拟合陷阱、特征工程等容易被忽视的实战要点。

(2) 第2部分“进阶篇—分布式计算与生态工具”共包含两章内容，引领读者初步认识工业级大数据处理领域。

第5章深入解析Hadoop与Spark架构设计，避免陷入配置参数细节，通过PySpark实例演示如何用Python调用分布式计算能力。例如，用弹性分布式数据集(RDD)处理TB级日志文件，用MLlib库构建分布式推荐系统。

第6章专章剖析国产大模型DeepSeek，包含从预训练数据集的构建到垂直领域的微调策略等大模型构建过程，并通过医疗影像分析、金融风控等案例，展现国产AI框架的独特优势与技术突破。

(3) 第3部分“实战篇—从数据到商业价值”包含一章内容，是全书的提高篇，介绍了六个案例，均源自真实业务场景。

电商数据分析案例：数据科学中的一个重要应用场景，涉及数据清洗、探索性分析、可视化、用户行为分析、销售趋势分析等。

社交媒体情感分析案例：自然语言处理(NLP)中的一个重要应用场景，旨在通过分析社交媒体上的文本数据(如推文、评论等)来判断用户的情感倾向(正面、负面或中性)。

财务大数据分析案例：数据科学在金融领域的重要应用，涉及财务报表分析、趋势预测、风险评估、投资组合优化等任务。

政务大数据分析案例：利用大数据技术对政府相关数据进行分析，以支持政策制定、资源分配、公共服务优化等决策。

自媒体大数据分析案例：利用大数据技术对自媒体平台(如微博、微信公众号、抖音等)的数据进行分析，以支持内容优化、用户行为分析、趋势预测等任务。

生活服务类大数据分析案例：利用大数据技术对生活服务领域(如餐饮、出行、住宿、娱乐等)的数据进行分析，以支持业务优化、用户行为分析、市场趋势预测等任务。

每个案例均提供完整代码、数据集与商业分析报告模板，读者可一键复现并修改，以适配自身需求。

致读者：如何最大化学习效果

(1) 先跑通，再优化：初次接触代码时，不必纠结于每一行代码的语法，先关注整体流程。本书所有案例均提供最小可行代码(MVP版本)，确保读者快速看到结果，建立正向反馈。

(2) 善用工具箱思维：大数据领域的技术迭代极快，本书强调掌握核心范式，而非死记工具。例如，学完Hadoop MapReduce后，读者应能触类旁通地理解Flink的流处理思想。

(3)  从“为什么”到“怎么做”：第1 部分和第2 部分中，每章开篇设“灵魂三问”—这项技术解决了什么问题、不用它会怎样、它的局限性在哪里，培养读者的批判性思维。

(4) 加入社区，保持好奇心：技术问题的答案往往不在教科书中。本书鼓励读者参与GitHub开源项目、关注Kaggle竞赛、订阅权威博客(如Towards Data Science)，在实践中持续精进。

本书免费提供教案、教学大纲、教学课件、习题及解答、源代码，读者可扫右侧二维码下载。                                

写在最后                                          

大数据不是冰冷的数字堆砌，而是人类行为的镜像，是商业创新的火种，是社会进步的刻度。学习Python与大数据技术，本质上是一场“解码世界”的旅程——当你用几行代码从杂乱的数据中提炼出规律，当你建立的模型帮助一家企业节省了百万元成本，当你用可视化图表让复杂问题一目了然，那种创造的喜悦，正是技术赋予我们的别样浪漫。

在此，衷心感谢云南大学胡茂老师为本书的撰写和修改提供了大量的宝贵意见和建议。同时，特别感谢参与本书编写和审阅的清华大学出版社的编辑们，正是由于他们的辛勤工作和宝贵意见，本书才得以完善。

希望本书能成为你探索数据世界的指南针，助你在算法的海洋中锚定方向，在信息的洪流中捕捉价值。星辰大海，代码为舟，让我们共同启航！

李石明

2025年1月