Hadoop 集群环境搭建
节点名称地址版本hadoop01192.168.18.129CentOS 7.2hadoop02192.168.18.130CentOS 7.2hadoop03192.168.18.131CentOS 7.2配置条件1. 操作系统Linux 2. 自定义容量 100G 3. 处理器核心数3核一、前期准备系统镜像下载前往官方镜像站点下载CentOS 7 x86_64 ISO 镜像文件保存至本地无中文路径文件夹作为虚拟机系统安装介质。二、VMware 新建虚拟机硬件配置打开 VMware Workstation点击「创建新的虚拟机」向导类型选择自定义配置进入硬件配置流程。客户机操作系统选择「Linux」系统版本匹配下载的镜像选定 CentOS 7 7.x 64 位。自定义虚拟机名称如 Hadoop01设置本地存放路径建议统一文件夹管理多台集群节点。虚拟磁盘配置选择「创建新虚拟磁盘」磁盘容量自定义为 100G存储格式勾选将虚拟磁盘拆分为多个文件提升老设备兼容性。使用网络地址转换,虚拟机借用 Windows 宿主机 IP 访问外网、局域网。创建新虚拟磁盘 :全新生成虚拟机硬盘文件每台 Hadoop 节点独立磁盘文件存放在本地 Windows 文件夹可复制、克隆、迁移虚拟机。硬件资源分配内存设置 2G 或 4G4G 运行 Hadoop 环境更流畅处理器核心数分配物理 CPU 总核心数的 1/4平衡宿主机与虚拟机性能。光盘驱动器挂载选择本地已下载完成的 CentOS 7 ISO 镜像作为系统安装源。精简多余硬件打开「自定义硬件」面板选中声卡、打印机设备并移除减少虚拟机资源占用。其余硬件参数保持默认点击关闭完成硬件创建。三、CentOS7 系统安装与基础初始化启动新建虚拟机跟随图形化安装向导设置管理员 root 密码与普通用户账号完成系统部署后重启进入登录界面。使用 root 账号、对应密码登录系统进入 Linux 终端操作界面。修改主机名集群标准化命名执行命令永久修改主机名适配集群标识hostnamectl set-hostname hadoop01输入 bash 刷新终端会话提示符同步更新主机名立即生效。查看网卡硬件信息ip addr执行后可查看本机网卡名称确认网卡处于启用状态。配置静态固定 IP远程连接必备CentOS 7 网卡配置文件统一存放路径为 /etc/sysconfig/network-scripts/使用 vi 编辑器打开对应网卡配置文件vi /etc/sysconfig/network-scripts/ifcfg-eno16777736按下 i 键左下角出现 -- INSERT -- 标识进入文本编辑模式修改参数为静态 IP 模式填写固定 IP、子网掩码、网关、DNS 地址修改完成后按下 Esc 退出编辑模式输入 :wq 回车保存配置文件并退出编辑器重启网卡服务执行 ip addr 重新查看网卡信息此时会显示 inet 静态 IP 地址即可通过 Xshell 工具远程登录虚拟机。四、集群主机映射配置节点互通基础打开 Xshell 工具新建会话填入虚拟机静态 IP使用 root 账号远程登录节点。编辑系统主机映射文件 /etc/hosts实现节点名与 IP 自动解析vim /etc/hosts在文件末尾追加三台集群节点 IP 与主机名映射关系192.168.18.129 hadoop01 hadoop01.org192.168.18.130 hadoop02 hadoop02.org192.168.18.131 hadoop03 hadoop03.org输入 :wq 保存文件退出完成本机域名解析配置。集群连通性测试在终端执行 ping hadoop02能正常接收数据包即代表节点内部解析互通成功。本地宿主机验证打开 Windows CMD 命令提示符分别执行 ping hadoop01、ping hadoop02、ping hadoop03可正常返回数据包说明本机与集群节点网络通路正常。五、移除防火墙先输入 firewall-cmd --state检查防火墙状态再输入 systemctl stop firewalld临时关闭当前正在运行的防火墙也可输入systemctl disable firewalld取消防火墙开机自启永久禁用开机自动启动。