新書推薦:

《
知宋·宋代之交通
》
售價:NT$
403.0

《
知宋·宋代之君主
》
售價:NT$
454.0

《
民国时期京剧名伶专集汇编(全4册)
》
售價:NT$
20298.0

《
创建教练文化:十字路口的组织升级
》
售價:NT$
347.0

《
量子力学 恩利克·费米
》
售價:NT$
245.0

《
马长寿内陆欧亚学文存(全三集)
》
售價:NT$
2030.0

《
银行业刑事风险防控与应对
》
售價:NT$
449.0

《
语言、使用与认知
》
售價:NT$
321.0
|
編輯推薦: |
《大数据平台搭建与维护》篇幅适中,层次分明,条理清楚,图文并茂,深入浅出、详略得当、 项目任务,易读易懂。《大数据平台搭建与维护》把完成任务的具体的各个步骤、操作要领、注 意事项、解决方法罗列 出来,最终按照工作手册,完成工作任务,体现了完成每一个任务的完 整操作步骤、要领、技巧。《大数据平台搭建与维护》可作为高等职业学院计算机类大数据技术、大数据工程技术的专业教材,也可供科学研究和工程技术人员以及广大大数据技术爱好者自学或参考。
|
內容簡介: |
《大数据平台搭建与维护》以大数据平台项目场景和工作任务驱动的方式搭建逻辑架构,以大数据平台搭建与维护具体任务活动及工作步骤为核心构建内容体系,全书以工作手册的形式进行编写。《大数据平台搭建与维护》共包括6个项目,介绍了Linux系统的安装与配置、Hadoop HDFS 高可用集群搭建、Hadoop YARN高可用集群搭建与维护、HBase高可用集群搭建与操作、Hive数据仓库工具搭建与操作、某电商推荐系统大数据平台搭建案例等内容。《大数据平台搭建与维护》注重工匠精神的培养及工作任务实施过程中的考核评价,每个项目包含项目工作总结、技能拓展训练、项目综合评价等模块,可以更好地帮助读者按任务活动的工作步骤顺利实施项目,同时能拓展知识面,提高综合能力。
《大数据平台搭建与维护》结构新颖,内容丰富,将新技术、新规范、新标准融入工作手册,是一本全面了解大数据平台搭建与维护,实施工作步骤的工作手册。
《大数据平台搭建与维护》既可作为高等院校电子与信息大类各专业大数据平台搭建与维护技术相关课程的教材,也可作为大数据技术工程领域相关技术人员的参考书。
|
關於作者: |
汪忆,中共党员,重庆城市管理职业学院大数据与软件技术专业群教研室主任,副教授,高级工程师(双高级职称),中青年骨干教师,重庆市双高工业机器人技术专业群带头人。主要研究方向:数据科学与大数据、人工智能技术、装备制造业企业信息化、教育创新与改革;职业(执业)资格: 信息系统项目管理师(高级)、系统集成项目管理工程师(中级)。
成果及奖励:中央企业ERP系统实施科技进步一等奖1项;中央企业开发实施应收票据系统科技进步三等奖1项;指导学生获国家级一等奖2项、市级一等奖1项、二等奖1项,三等奖5项;主持省部级课题4项,主研省部级课题10余项;公开发表论文15余篇,其中SCI论文2篇;注册软件著作权9项;授权实用新型专利5项,申请发明专利3项;主编编著1部、教材2部。
|
目錄:
|
项目1 Linux系统的安装与配置 1
工作任务1.1 Linux安装环境准备 2
任务活动1.1.1 磁盘格式化 3
任务活动1.1.2 检测CPU虚拟化技术 4
任务活动1.1.3 开启CPU虚拟化技术 6
工作任务1.2 VMware的安装与配置 9
任务活动1.2.1 安装VMware Workstation 16 9
任务活动1.2.2 虚拟网络的配置 12
任务活动1.2.3 系统服务及虚拟适配器的启停 14
工作任务1.3 CentOS 7的安装与克隆 17
任务活动1.3.1 CentOS 7的安装 17
任务活动1.3.2 CentOS 7的克隆 29
项目工作总结 34
技能拓展训练 34
项目综合评价 35
项目2 Hadoop HDFS高可用集群搭建 38
工作任务2.1 Linux服务器Hadoop集群基础环境配置 40
任务活动2.1.1 网卡、主机名与IP地址映射配置 41
任务活动2.1.2 Linux常用命令的安装 44
任务活动2.1.3 Linux客户端软件工具的配置 44
任务活动2.1.4 阿里云yum源配置 51
任务活动2.1.5 升级OpenSSL协议 52
任务活动2.1.6 SSH免密码登录配置 56
任务活动2.1.7 集群时间同步配置 57
任务活动2.1.8 JDK的安装与配置 59
工作任务2.2 Hadoop集群NameNode单节点的安装与配置 61
任务活动2.2.1 在主节点上安装与配置Hadoop 67
任务活动2.2.2 在从节点上安装与配置Hadoop 69
任务活动2.2.3 格式化Hadoop的HDFS 69
工作任务2.3 Hadoop集群HDFS HA的安装与配置 75
任务活动2.3.1 ZooKeeper的安装与配置 77
任务活动2.3.2 HDFS HA的安装与配置 79
任务活动2.3.3 NameNode与ZKFC格式化 83
项目工作总结 91
技能拓展训练 92
项目综合评价 92
项目3 Hadoop YARN高可用集群搭建与维护 96
工作任务3.1 Hadoop集群YARN HA的安装与配置 97
任务活动3.1.1 停止Hadoop 集群所有组件服务进程 99
任务活动3.1.2 Hadoop YARN HA的安装与配置 100
工作任务3.2 操作HDFS的常用命令与编程方式 110
任务活动3.2.1 操作HDFS的常用命令 110
任务活动3.2.2 Eclipse集成Maven的开发环境搭建与配置 112
任务活动3.2.3 Java API编程方式实现HDFS文件读取 115
任务活动3.2.4 Java API编程方式实现HDFS文件写入 121
任务活动3.2.5 Java API编写MapReduce大数据计算程序 124
工作任务3.3 Hadoop集群异常处理与维护 133
任务活动3.3.1 Hadoop集群搭建异常处理 133
任务活动3.3.2 Hadoop集群日常维护与管理 135
项目工作总结 138
技能拓展训练 139
项目综合评价 139
项目4 HBase高可用集群搭建与操作 143
工作任务4.1 HBase的HA搭建 144
任务活动4.1.1 HBase基础配置 145
任务活动4.1.2 搭建HBase高可用集群 147
工作任务4.2 HBase的常用操作 152
任务活动 HBase shell操作 153
工作任务4.3 HBase常见异常处理与维护 159
任务活动4.3.1 HBase集群异常处理 159
任务活动4.3.2 HBase集群日常维护 160
项目工作总结 163
技能拓展训练 163
项目综合评价 164
项目5 Hive数据仓库工具搭建与操作 167
工作任务5.1 MySQL数据库安装 168
任务活动 MySQL数据库在线安装 169
工作任务5.2 Hive的安装与配置 174
任务活动5.2.1 Hive配置搭建 174
任务活动5.2.2 客户端beeline配置 176
工作任务5.3 Hive的常用数据操作 181
任务活动5.3.1 Hive基础操作 182
任务活动5.3.2 Hive的数据导入操作 183
任务活动5.3.3 导入HBase数据到Hive 184
工作任务5.4 Hive常见异常处理与维护 187
任务活动5.4.1 Hive搭建异常处理 187
任务活动5.4.2 Hive集群日常维护 188
项目工作总结 190
技能拓展训练 190
项目综合评价 191
项目6 某电商推荐系统大数据平台搭建案例 194
工作任务6.1 Spark的YARN模式集群部署 195
任务活动6.1.1 Spark集群部署安装 196
任务活动6.1.2 Spark的YARN高可用配置 197
工作任务6.2 MongoDB的安装与客户端连接 200
任务活动6.2.1 MongoDB服务端配置 200
任务活动6.2.2 MongoDB客户端配置 202
工作任务6.3 Kafka集群的安装与配置 205
任务活动 Kafka的安装与配置 206
工作任务6.4 Redis的安装与客户端连接 210
任务活动6.4.1 Redis服务端的安装 210
任务活动6.4.2 Redis客户端连接 212
工作任务6.5 Tomcat服务器的安装与配置 214
任务活动 Tomcat的搭建与配置 215
项目工作总结 218
技能拓展训练 218
项目综合评价 219
参考文献 222
|
內容試閱:
|
当今社会,随着信息技术的发展及应用,全球数据呈现出爆发式增长、海量聚集的发展态势。大数据被认为是继信息化和互联网后信息革命的又一次重大飞跃,“跨界、融合、基础、突破”是大数据落地的关键,其在“产业化、行业化、智能化”方面不断赋能实体经济,成为产业关注的重点。“数据驱动”更加深入人心,数据成为新型的生产要素;数据要素市场的培育是重中之重。“数据要素”“数据治理”“数据安全”成为大数据发展的关键词。
大数据产业是以数据采集、交易、存储、加工、分析、服务为主的各类经济活动,包括数据资源建设、大数据软/硬件产品的开发、销售和租赁活动,以及相关信息技术服务。从整体来看,数据资源、基础设施、数据服务、融合应用、安全保障是大数据产业的五大组成部分,形成了完整的大数据产业生态。其中,大数据基础设施建设非常重要,是实施大数据工程项目的根基。本书作者根据20多年的项目开发、实施及高等教育教学经验,以及大数据工程技术项目工作场景、工作任务实施步骤,采用工作手册的形式编写了此书。
本书共分为6个项目,各项目内容如下。
项目1主要介绍了Linux安装环境准备、VMware的安装与配置、CentOS 7的安装与克隆等内容。通过本项目工作任务的实施,读者可以按照任务活动的步骤完成Linux系统的安装与配置。
项目2主要介绍了Linux服务器Hadoop集群基础环境配置、Hadoop集群NameNode单节点的安装与配置、Hadoop集群HDFS HA的安装与配置等内容。通过本项目工作任务的实施,读者可以按照任务活动的步骤及工作任务验证步骤完成Hadoop HDFS高可用集群搭建。
项目3主要介绍了Hadoop集群YARN HA的安装与配置、操作HDFS的常用命令与编程方式、Hadoop集群异常处理与维护等内容。通过本项目工作任务的实施,读者可以按照任务活动的步骤及工作任务验证步骤完成Hadoop YARN高可用集群搭建、集群维护及Java API编程访问Hadoop集群。
项目4主要介绍了HBase的HA搭建、HBase的常用操作、HBase常见异常处理与维护等内容。通过本项目工作任务的实施,读者可以按照任务活动的步骤及工作任务验证步骤完成HBase高可用集群搭建、常用操作及HBase的运行维护。
项目5主要介绍了MySQL数据库安装、Hive的安装与配置、Hive的常用数据操作、Hive常见异常处理与维护等内容。通过本项目工作任务的实施,读者可以按照任务活动的步骤及工作任务验证步骤完成Hive数据仓库工具搭建、操作及常用异常处理与维护。
项目6主要介绍了某电商推荐系统大数据平台Spark的YARN模式集群部署、MongoDB的安装与客户端连接、Kafka集群的安装与配置、Redis的安装与客户端连接、Tomcat服务器的安装与配置等内容。通过本项目工作任务的实施,读者可以按照任务活动的步骤及工作任务验证步骤完成某电商推荐系统大数据平台的搭建。
本书由重庆城市管理职业学院汪忆、王永明、唐倩、陈国丽编著,具体分工为:项目1、项目2、项目3由汪忆编写,项目4、项目5由王永明编写,项目6的工作任务6.1、工作任务6.2、工作任务6.3由唐倩编写,项目6的工作任务6.4、工作任务6.5由陈国丽、胡飞编写,汪忆负责全书的逻辑框架设计与统稿工作,中国电子系统技术有限公司任冬梅、熊小东参与了本书工作任务的制定工作,重庆城市管理职业学院武飞飞、程书红也参与了本书的资料整理工作。同时,本书在编写过程中得到了各位领导及同事的大力支持与帮助,在此表示衷心的感谢!
本书获得教指委全国高等职业院校信息技术课程教学改革研究项目(KT2024233)、重庆市科学技术研究项目(KJZD-K202303302、KJQN202403315)及重庆城市管理职业学院教学创新团队项目资助,是其主要的研究成果。
本书在编写过程中参考了一些文献资料,在此向这些文献的作者表示衷心的感谢!虽然我们在编写过程中进行了精心的设计与组织,但限于经验和水平,书中难免存在疏漏和不足之处,恳请广大读者给予批评和指正。
编 者
|
|