目录
单元1数据仓库基础与Hive入门1
1.1任务: 认识数据仓库1
1.1.1数据仓库简介1
1.1.2数据仓库的意义2
1.1.3数据仓库分层架构4
1.1.4数据仓库的数据模型结构6
1.2任务: 认识Hive8
1.2.1Hive概述8
1.2.2Hive架构8
1.3任务: 认识Hive的数据组织方式10
1.3.1Hive的数据模型10
1.3.2Hive的数据类型12
AI助学15
单元总结16
习题16
单元2Hive部署与应用18
2.1任务: 认识Beeline18
2.2任务: 基于内嵌模式部署Hive21
2.3任务: 基于本地模式部署Hive24
2.4任务: 基于远程模式部署Hive29
2.5任务: 配置Hive On Tez34
2.6任务: 使用DataGrip操作Hive37
AI助学41
单元总结41
习题41
单元3Hive数据定义43
3.1任务: 管理数据库43
3.1.1创建数据库43
3.1.2查询数据库45
3.1.3查看数据库信息46
3.1.4切换数据库47
3.1.5修改数据库47
3.1.6删除数据库49
3.2任务: 管理表50
3.2.1分析CREATE TABLE语句50
3.2.2创建表56
3.2.3查询表58
3.2.4查看表信息59
3.2.5修改表60
3.2.6删除表64
3.2.7清空表65
3.3任务: 管理分区65
3.3.1创建分区表65
3.3.2添加分区66
3.3.3查询分区67
3.3.4重命名分区68
3.3.5移动分区69
3.3.6删除分区71
3.4任务: 创建分桶表72
3.5任务: 创建临时表73
3.6任务: 管理视图73
3.6.1创建视图74
3.6.2查询视图75
3.6.3修改视图76
3.6.4删除视图77
3.7任务: 管理物化视图78
3.7.1创建物化视图78
3.7.2查询物化视图80
3.7.3维护物化视图81
3.7.4删除物化视图83
AI助学84
单元总结84
习题84
单元4Hive数据操作86
4.1任务: 向表加载文件86
4.2任务: 向表插入数据92
4.3任务: 将查询结果写入文件96
4.4任务: 执行Hive事务操作98
4.4.1认识事务98
4.4.2了解Hive中的事务98
4.4.3启用事务支持100
4.4.4更新操作104
4.4.5删除操作105
4.5任务: 导入与导出数据106
AI助学108
单元总结108
习题108
单元5Hive数据查询110
5.1任务: 分析SELECT语句110
5.2任务: 执行条件查询113
5.3任务: 执行公共表表达式查询121
5.4任务: 执行分组查询122
5.5任务: 执行排序查询124
5.6任务: 执行合并查询129
5.7任务: 执行连接查询131
5.8任务: 执行抽样查询139
AI助学145
单元总结145
习题145
单元6Hive函数应用147
6.1任务: 使用常用内置函数147
6.1.1聚合函数147
6.1.2数学函数150
6.1.3集合函数151
6.1.4类型转换函数154
6.1.5日期函数155
6.1.6条件函数158
6.1.7字符串函数160
6.1.8表生成函数164
6.2任务: 使用窗口函数167
6.3任务: 开发自定义函数172
6.3.1准备开发环境172
6.3.2开发UDF175
6.3.3开发UDAF180
6.3.4开发UDTF187
6.3.5注册自定义函数192
AI助学196
单元总结196
习题196
单元7Hive性能优化198
7.1任务: 优化数据存储198
7.2任务: 优化配置参数199
7.3任务: 优化执行语句202
AI助学203
单元总结203
习题203
单元8综合项目——搭建教育大数据分析平台205
8.1任务: 明确项目建设基础205
8.1.1了解项目背景205
8.1.2分析项目需求206
8.1.3认识原始数据结构206
8.1.4认识项目架构208
8.2任务: 部署Spark208
8.3任务: 构建数据仓库212
8.4任务: 采集业务数据215
8.5任务: 预处理业务数据220
8.6任务: 分析业务数据221
8.6.1访问用户量统计221
8.6.2会话页面统计222
8.6.3总访问用户量统计223
8.6.4来源渠道访问用户量统计224
8.6.5咨询率统计225
8.7任务: 实现数据可视化226
8.7.1导出分析结果227
8.7.2配置数据集229
8.7.3实现访问用户量统计可视化234
8.7.4实现会话页面统计可视化242
8.7.5实现来源渠道访问用户量统计可视化246
AI助学251
单元总结251
