1--给裸机装系统centos7
2--配置静态IP: vim /etc/sysconfig/network-scripts/ifcfg-ens33 BOOTPROTO=static ONBOOT=yes GATEWAY=192.168.1.2 IPADDR=192.168.1.101 NETMASK=255.255.255.0 DNS1=119.29.29.29 systemctl restart network.service ifconfig ping www.baidu.com 3--远程连接(CRT或Xshell) 4--修改主机名:(永久修改) hostnamectl set-hostname bigdata001 5--配置IP映射 vim /etc/hosts 192.168.1.101 bigdata001 192.168.1.102 bigdata002 192.168.1.103 bigdata003 6--关闭防火墙和selinux systemctl stop firewalld.service systemctl disable firewalld.service vim /etc/selinux/config 将selinux=enforcing改成selinux=disabled 7--配置网络yum源: mv CentOS-Base.repo CentOS-Base.repo.backup wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo yum clean all yum makecache 8--安装需要的依赖包 所有的依赖包: vim openssh openssh-clients rsync libaio unzip telnet ntp gcc-c++ psmisc libxml2-python autoconf krb5-devel cyrus-sasl-gssapi cyrus-sasl-deve libxml2-devel libxslt-devel mysql mysql-devel openldap-devel python-devel python-simplejson sqlite- 9--修改linux性能(两项): sysctl -w vm.swappiness=10 echo "vm.swappiness=10" >> /etc/sysctl.conf vim /etc/rc.local 在文件尾部追加如下 echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled 10--安装JDK 1、查看本机系统是否安装了JDK并卸载 $ rpm -qa| grep -i java 如果有安装JDK,卸载 $ rpm -e –nodeps 已安装rpm包2、安装jdk
(1)将jdk安装包上传到/opt/software (2)解压到/opt/module $ tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/3、配置jdk环境变量
$ vim /etc/profile ##JAVA_HOME export JAVA_HOME=/opt/module/jdk1.8.0_144 export PATH=$PATH:$JAVA_HOME/bin $ source /etc/profile --让修改后的文件生效 $ java -version --测试安装成功与否11--克隆3台,修改UUID,IP,hoatname
12--3台机器SSH免密登录 ssh-keygen 生成密钥对 ssh-copy-id hadoop102 把公钥拷贝并添加到目标服务器的authorized-keys文件中13--配置时间服务器 1、检查ntp服务是否正确安装 $ rpm -qa | grep ntp 显示如下:(表明正确安装,否则安装一下$ yum -y install ntp) ntp-4.2.6p5-10.el6.centos.x86_64 fontpackages-filesystem-1.41-1.1.el6.noarch ntpdate-4.2.6p5-10.el6.centos.x86_64 2、修改ntp配置文件 $ vi /etc/ntp.conf 修改内容如下 a)修改1 (授权192.168.216.0网段上的所有机器可以从这台机器上查询和同步时间) #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap为 restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap b)修改2 (集群在局域网中,不使用其他的网络时间) server 0.centos.pool.ntp.org iburst server 1.centos.pool.ntp.org iburst server 2.centos.pool.ntp.org iburst server 3.centos.pool.ntp.org iburst为 #server 0.centos.pool.ntp.org iburst #server 1.centos.pool.ntp.org iburst #server 2.centos.pool.ntp.org iburst #server 3.centos.pool.ntp.org iburst c)添加3 (当该节点丢失网络连接,依然可以作为时间服务器为集群中的其他节点提供时间同步) server 127.127.1.0 fudge 127.127.1.0 stratum 10 3、修改/etc/sysconfig/ntpd 文件 $ vim /etc/sysconfig/ntpd 增加内容如下 SYNC_HWCLOCK=yes 4、重新启动并设置开机自启ntp服务 $ service ntpd status systemctl status ntpd.service $ service ntpd start/restart systemctl start ntpd.service $ chkconfig ntpd on systemctl enable ntpd.service 5、在其他机器配置10分钟与时间服务器同步一次 $ crontab -e 编写脚本 */10 * * * * /usr/sbin/ntpdate bigdata001 6、其它机器先手动同步一次时间 $ ntpdate -u bigdata001 14--在主节点安装mysql centos7安装mysql5.6 https://www.cnblogs.com/lunatic-cto/p/6123490.html centos7安装mysql5.7 https://blog.csdn.net/yougoule/article/details/56680952 15--下载安装包 文件下载 Cloudera Manager 地址:http://archive.cloudera.com/cm5/cm/5/ 这里下载的是5.11.0的版本,https://archive.cloudera.com/cm5/cm/5/cloudera-manager-el6-cm5.11.0_x86_64.tar.gz
CDH安装包
地址:http://archive.cloudera.com/cdh5/parcels本文基于CentOS6,下载的parcels包及manifest文件对应的版本为el6,如果centos7,就用el7:
CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1 manifest.jsonJDBC
地址:http://download.softagency.net/MySQL/Downloads/Connector-J/ 这里用的jdbc驱动版本是:mysql-connector-java-5.1.17.jar 16--将下好的cm安装包解压到指定目录 tar xzvf cloudera-manager*.tar.gz -C /opt 17--在所有主节点创建用户cloudera-scm 在所有节点创建cloudera-scm用户 useradd --system --home=/opt/cm-5.11.0/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm 18--手动创建目录 /usr/share/java /opt/cloudera/parcel-repo/ 把mysql驱动放入 /usr/share/java 并改名为 mysql-connector-java.jar 把cdh安装包放入 /opt/cloudera/parcel-repo/ CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha1 要改名为CDH-5.11.0-1.cdh5.11.0.p0.34-el6.parcel.sha manifest.json 要手动wget下载为同名文件 19--初始化数据库 /opt/cm-5.11.0/share/cmf/schema/scm_prepare_database.sh mysql cm -hnode5 -uroot -p123456 --scm-host node5 scm scm scm 20--agent配置 修改/opt/cm-5.9/etc/cloudera-scm-agent/config.ini中的server_host为主节点的主机名。 21--启动CM server和agent 主节点:通过/opt/cm-5.11.0/etc/init.d/cloudera-scm-server start 启动服务端。 所有节点:通过/opt/cm-5.11.0/etc/init.d/cloudera-scm-agent start 启动Agent服务。 我们启动的其实是个service脚本,需要停止服务将以上的start参数改为stop就可以了,重启是restart 22--web页面登录访问1 http://bigdata001:7180 23--进行图形化安装cdh