Ambari+Bigtop大数据平台安装部署指南(Centos7)二
前言
上篇文章已经完成ambari界面化操作前的所有操作,本篇将从ambari界面化安装bigtop大数据组件开始。
要注意的是本篇操作都依赖于上篇基础环境,建议先按上篇步骤配置基础环境再执行本篇安装教程。
一 启动ambari
启动命令:ambari-server start
启动后可以看到命令行出现successfully
二 登录ambari
浏览器打开http://${ambari.server.ip}:8080就可以看到ambari登录界面;
默认账号密码admin/admin
三 创建集群
点击"LAUNCH INSTALL WIZARD"进入创建集群界面
四 设置集群名称
根据自己实际情况设置集群名称,此处用"demo"作为集群名称;
点击"NEXT"进入下一步
五 设置内网镜像源
此处选择本地数据源;并填写本地数据源url(上篇已搭建);
点击"NEXT"进入下一步
六 配置集群服务器信息
第一个输入框填写主机名称,每行一个;
第二个输入框填写免密密钥信息;
点击"REGISTER AND CONFIRM"进行注册并进入信息确认弹窗;
确认部署主机信息,点击"CONTINUE"进行下一步
密钥获取方式
进入ambariserver所在主机,执行cat ~/.ssh/id_rsa命令获取免密密钥信息(上篇已做免密)
七 ambari-agent安装
这一步会执行ambari-agent的安装操作;
agent安装完成后会执行服务器配置检查操作;
点击"Click here to see the check results"可看到检查结果;
点击"NEXT"进入下一步
八 组件安装选择
此处默认所有组件全选(演示全部组件安装),大家可以根据实际情况选择性勾选需要的组件;
点击"NEXT"进入下一步
九 设置组件主服务安装规划
此处根据自己实际规划设置各类主服务的安装主机(演示采用默认分配),右侧可以看到整体规划;
点击"NEXT"进入下一步
十 设置从服务和客户端安装规划
此处根据自己实际规划勾选各主机需要安装的从服务和客户端(演示全选);
点击"NEXT"进入下一步
十一 设置密码
这里需要配置grafana和hive的密码
grafana登录密码自行设置
hive元数据库密码上篇文章设置了ambari123
点击"NEXT"进入下一步
十二 设置数据库信息
这里需要配置hive元数据库相关信息
数据库类型选择已存在的mysql
按提示的命令在ambari-server服务器上注册mysql驱动
确认JDBC的url,尤其是主机ip
点击"TEST CONNECTION"进行数据库连通性测试
点击"NEXT"进入下一步
MySQL驱动注册方式
(上篇已安装驱动jar)
十三 配置各组件文件夹路径
这里有全部待安装组件的文件夹路径配置信息,根据实际情况逐一配置相关路径(演示采用默认路径);
点击"NEXT"进入下一步
十四 配置组件安装账号
这里的会列出每个组件安装时在linux上创建的用户和用户组,采用默认即可;
点击"NEXT"进入下一步
十五 配置组件详细参数
这里会列出所有组件的所有参数,可以根据实际情况修改,需要注意的是hdfs有个必填参数,kafka的zk链接信息建议加上"kafka"的znode;
设置完成后,点击"NEXT"进入下一步
hdfs
kafka
十六 确认部署配置信息
这里会展示所有配置信息方便进行检查确认;
确认无误后,点击"DEPLOY"进行安装部署
十七 执行安装部署操作
这里会显示全部安装部署进度 ,包括主服务、从服务、客户端安装,还包括所有服务的测试检查,安装耗时较长,与机器性能强关联;
安装完成后,点击"NEXT"进入下一步
十八 查看安装部署总结
这里会展示安装部署操作的总结;
点击"COMPLETE"完成所有安装动作
十九 查看集群
至此,ambari2.8.0+bigtop3.2.0的安装部署已完成
小群攻城狮: 您好 stack version这个是怎么弄的啊
wlg_linux: 使用bigtop如何集成其他的组件?比如将redis集成进去?谢谢
G3-平头哥: 这个本地源是用来安装ambari-server的吧
G3-平头哥: 这个适配是啥意思,我本地搭建了一个apache 的 hadoop集群测试了一下,版本没啥问题, 如果bigtop 修改版本,直接改配置文件就可以吗, 然后按照你的编译方式翻译
wbbzj2006: 会报下面这些错误,是什么问题呢? [INFO] yarn install v0.23.2 [ERROR] warning Ambari@2.4.0: No license field [INFO] [1/4] Resolving packages... [ERROR] warning phantomjs@2.1.7: Package renamed to phantomjs-prebuilt. Please update 'phantomjs' package references to 'phantomjs-prebuilt' [ERROR] warning phantomjs > extract-zip > mkdirp@0.5.0: Legacy versions of mkdirp are no longer supported. Please update to mkdirp 1.x. (Note that the API surface has changed to use Promises in 1.x.) [ERROR] warning phantomjs > request@2.67.0: request has been deprecated, see https://github.com/request/request/issues/3142 [ERROR] warning phantomjs > request > node-uuid@1.4.8: Use uuid module instead [ERROR] warning phantomjs > request > tough-cookie@2.2.2: ReDoS vulnerability parsing Set-Cookie https://nodesecurity.io/advisories/130 [ERROR] warning phantomjs > request > hawk@3.1