CDH平台快速搭建-准备和简介

说明:该文档主要是帮助大家快速搭建CDH(Cloudera’s Distribution Including Apache Hadoop)大数据分析平台,基于Hadoop的Cloudera发行版本。我们推荐离线安装,那么你就需要准备好离线安装包,关于安装包内的文件,我只是给出了一个大概,其中有些文件需要看你的配置情况。基本上我给出的是需要的。关于这些安装包和依赖包的版本号,请适配你所安装的CDH。

0、离线安装包准备:

这里面各种包的版本号,请自行百度。

0.1、Cloudera Manager

  • cloudera-manager-centos7-cm5.7.6_x86 _64.tar.gz

    0.2、CDH安装包

  • CDH-5.7.x-x.cdhx.x.0.px.x-ex.parcel

  • CDH-5.7.x-x.cdhx.x.0.px.x-ex.parcel.sha1

  • manifest.json

    0.3、mysql数据库包

  • compat-db47-4.7.25-28.el7.x86_64.rpm

  • compat-db-headers-4.7.25-28.el7.noarch.rpm

  • net-tools-2.0-0.24.20131004git.el7.x86_64.rpm

  • cyrus-sasl-lib-2.1.23-15.el6_6.2.x86_64.rpm

  • mysql-community-client-5.7.20-1.el6.x86_64.rpm

  • mysql-community-common-5.7.20-1.el6.x86_64.rpm

  • mysql-community-libs-5.7.20-1.el6.x86_64.rpm

  • mysql-community-server-5.7.20-1.el6.x86_64.rpm

    0.4、jdk安装包

  • jdk-8u144-linux-x64.tar.gz

    0.5、ntp服务所需软件包

  • autogen-libopts-5.18-5.el7.x86_64.rpm

  • ntp-4.2.6p5-28.el7.centos.x86_64.rpm

  • ntpdate-4.2.6p5-28.el7.centos.x86_64.rpm

    0.6、CM安装部署时用的两个依赖包

  • libxslt-1.1.28-5.el7.x86_64.rpm

  • psmisc-22.20-15.el7.x86_64.rpm

    0.7、拷贝到了指定文件夹下

  • parcel.json(json文件)

    拷贝到/opt/cloudera/parcels/CDH-5.7.6-1.cdh5.7.6.p0.6/meta文件夹下,parcel.json是一个重要的描述性文件,这个文件记录了你的服务信息,如版本、所属用户、适用的CDH平台版本等。

  • mysql-connection-java-xxx.bin.jar(jdbc)

    0.8、各种依赖包

  • 在perl文件夹下。

    0.9、便于快速安装的脚本文件

    方便你快速搭建开发环境,强烈建议编写脚本文件。在之后的平台搭建时,具有很高的复制性。

    1、环境准备:

    1.1、云主机准备

    云主机要求:

  • 这里主要使用Zstack进行物理机管理和配置。配置信息,主要看你对于数据平台的要求,使用Zstack的好处,就不言而喻了。

    1.2、快速安装包准备

    在云主机中操作:

    CDH-QuickInstallation.tar压缩文件包是之前准备好的,里面有快速部署CDH的各种安装包和依赖文件,方便离线安装,请在安装之前制作好。关于怎么把安装包文件(CDH-QuickInstallation.tar)快速的导入到云主机中,推荐scp命令或者百度。

    在tmp文件夹下创建cdh文件夹
    $ mkdir /tmp/cdh

    把CDH-5.7.6-QuickInstallation.tar解压到该目录
    $ tar -xvf CDH-QuickInstallation.tar -C /tmp/cdh

    再进入该文件夹
    $ cd /tmp/cdh

2、第一步安装(所有节点):

你可以根据以下内容去写脚本文件。

#卸载自带的openjdk,安装jdk
#配置java的环境变量,将配置信息添加到profile文件中
#让配置信息生效

#修改hosts文件,配置网络,这一步往往很容易出错,网卡信息是关键
#重启云主机网络服务

#主节点的配置信息

#关闭selinux

#关闭防火墙

#配置网络时间同步协议(NTP)服务

#配置好之后,启动下网络服务

#产生SSH密钥,修改文件权限,集群节点之间相互访问

#卸载mariadb,安装mysql并启动
#mysql登录使用交互式设置密码

#CM安装部署
#在所有的节点创建用户
#解压cm安装包到指定的文件夹
#主节点的配置信息修改
#安装相应的依赖
#创建用户cloudera-scm
#配置cm-agent
#

3、第二步安装:

#获取IP,之后通过看有几个节点,配置server-agent的节点信息

#网络服务启动

#从节点的ntp服务的配置和启动

#主节点的cloudera-scm-server服务启动

#主、从节点的cloudera-scm-agent服务启动

4、说明:

  • 由于不是个人劳动成果,所以源码不上传和分享。而且本人处于接触阶段。上述方法只是本人对于快速搭建CDH平台的一些理解。之后,会写出更好的博客,共勉。

没有照片,没有解释,唉,好差劲的博客。可能是云游这么久之后的心理安慰,以后不可有~

  • 版权声明: 本博客所有文章除特别声明外,著作权归作者所有。转载请注明出处!

请我喝杯咖啡吧~

支付宝
微信