前言:
本人是力求完美,下载的是最适合做服务器的centos最新版的精简版本。因为环境有限,只能用虚拟机给大家搭建虚拟大数据集群。
因为时代在进步,观点在改变,通过手动改配置文件,集成JAR包的热情已经过去了,假设说真让你接手阿里巴巴的1万台节点服务器的管理,难道要挨个手工配置么,哥们这样你很容易就过劳死~
我们是程序猿,就应该杜绝过劳死,哈哈哈,于是乎神一样的利器诞生了:Ambari
她(Ambari )是个什么东东?
Ambari™:用于配置,管理和监控Apache Hadoop集群的基于Web的工具,包括对Hadoop HDFS,Hadoop MapReduce,Hive,HCatalog,HBase,ZooKeeper,Oozie,Pig和Sqoop的支持。Ambari还提供了一个用于查看群集健康的仪表板,如热图,以及以视觉方式查看MapReduce,Pig和Hive应用程序的功能,以便以用户友好的方式诊断其性能特征。
一、Ambari 下载 和安装
集群初始环境介绍:1、CentOS-7-x86_64-Minimal-1511.iso
2、Ambari 2.4.2
3、VMware11.2 (已破解成功,就不建议玩最新的了。不好破解)
4、 三台主机 ambari1(192.168.1.205)、ambari2(192.168.1.206) 、ambari3((192.168.1.207) ) 搭建成微集群。(保证三台集群ssh无障碍,并且都关闭防火墙。)
5、桥接模式(保证访问外网通常,能够支持下载和安装)
1、修改IP:
ip route list /#查看路由表。
cd /etc/sysconfig/network-scripts/ #进入网络配置文件目
vi ifcfg-eno16777736 #编辑配置文件,添加修改以下内容
(只改IPADDR就可以,其他参数可以百度自行脑补)
service network restart #重启网络ping www.baidu.com #测试网络是否正常
2、分别修改三台主机名和配置hosts文件(经常运维的小伙伴肯定知道有批量配置主机名和hosts的工具!这里不做解释,自行百度补脑,这里依然手工!):
hostnamectl set-hostname ambari1
vi /etc/hosts 为ambari1 、ambari2,ambari3。
192.168.1.205 ambari1
192.168.1.206 ambari2
192.168.1.207 ambari3
(期间如果出现缓存文件,到缓存文件的目录下执行:rm .f1.swp 然后提示 rm: remove regular file `.f1.swp'? y(打y 就是yes 删除)
3、关闭防火墙(略)精简版无防火墙。
4、之前配置集群间ssh公钥之间的来回复制真是一个招人烦,通过不懈的努力终于找到一键ssh通(不管什么规模的集群):
-
首先在每个节点安装: yum -y install expect
-
在每个节点上创建: /root 下 mkdir script
-
vi /etc/ssh/ssh_config
-
#StrictHostKeyChecking ask //取消注释并把ask 修改为no
-
将auto_ssh文件夹上传到192.168.1.205机器的 根节点上。并把此文件夹和以下文件都给777执行权限。
-
在ip.txt中输入各节点ip地址,一行一个ip、修改scp_to_cluster.sh和copy_id.sh的服务器用户名和密码。
-
进入 /auto_ssh 文件夹下执行:#./distribute_file.sh ../auto_ssh /root/script
以下是一键万能批量脚本打通ssh免密码登陆:
5、确保 home 目录的写权限,777就可以了。
6、 登录到 Linux 主机并执行下面的命令(也可以自己手工下载)
wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.4.2.0/ambari.repo
精简版提示未安装wget:三台机器分别 安装wget:yum -y install wget
剪切文件:mv ambari.repo /etc/yum.repos.d/
将下载的 ambari.repo 文件拷贝到 Linux 的系统目录/etc/yum.repos.d/。拷贝完后,我们需要获取该公共库的所有的源文件列表。依次执行以下命令。
1 yum clean all 2 yum list|grep ambari
如果可以看到 Ambari 的对应版本的安装包列表,说明公共库已配置成功。然后就可以安装 Ambari 的 package 了。执行下面的命令安装 Ambari Server 到该机器。
1 yum install ambari-server
待安装完成后,便需要对 Ambari Server 做一个简单的配置。执行下面的命令。
1 amari-server setup
在这个交互式的设置中,采用默认配置即可。Ambari 会使用 Postgres 数据库,默认会安装并使用 Oracle 的 JDK。默认设置了 Ambari GUI 的登录用户为 admin/admin。并且指定 Ambari Server 的运行用户为 root。
简单的 setup 配置完成后。就可以启动 Ambari 了。运行下面的命令。
1 ambari-server start
当成功启动 Ambari Server 之后,便可以从浏览器登录,默认的端口为 8080。以本文环境为例,在浏览器的地址栏输入 http://www.namenode.zgw:8080,登录密码默认为 admin/admin