标签归档:集群

基于docker的分布式爬虫服务 Zerg【转】

基于docker的分布式爬虫服务

特性

  • 多机多 IP,充分利用 IP 资源
  • 服务自动发现和注册(基于 etcd 和 registrator)
发表在 未分类, 集群配置 | 标签为 , , | 基于docker的分布式爬虫服务 Zerg【转】已关闭评论

HBase介绍、搭建、环境、安装部署[转]

HBase介绍、搭建、环境、安装部署

1、搭建环境

部署节点操作系统为CentOS,防火墙和SElinux禁用,创建了一个shiyanlou用户并在系统根目录下创建/app目录,用于存放Hadoop等组件运行包。因为该目录用于安装hadoop等组件程序,用户对shiyanlou必须赋予rwx权限(一般做法是root用户在根目录下创建/app目录,并修改该目录拥有者为shiyanlou(chown –R shiyanlou:shiyanlou /app)。

Hadoop搭建环境:

l 虚拟机操作系统: CentOS6.6

发表在 集群配置 | 标签为 , , , | HBase介绍、搭建、环境、安装部署[转]已关闭评论

Zookeeper 安装和配置[转]

Zookeeper的安装和配置十分简单, 既可以配置成单机模式, 也可以配置成集群模式. 下面将分别进行介绍.

单机模式

点击这里下载zookeeper的安装包之后, 解压到合适目录. 进入zookeeper目录下的conf子目录, 创建zoo.cfg:

发表在 集群配置 | 标签为 , | Zookeeper 安装和配置[转]已关闭评论

使用Zookeeper实现来监控服务器集群及负载状态[转]

本例子就是利用Zookeeper的文件目录特性和事件通知机制,来实现服务器集群的监控的一个简单例子。在实际的开发中,可借鉴此例子的思想来实现自己的集群负载均衡管理器。
实现思路

  • 在Zookeeper里面创建名为/sgroup的永久节点,表示是整个服务器集群的根节点
  • 每一个服务器节点启动时,在/sgroup的节点下创建自己的EPHEMERAL节点,表示此服务器在运行状态,并每隔10秒上传自己的负载信息,存为此节点的数据。EPHEMERAL有个重要的特性,当创建此类节点的客户端与Zookeeper服务器的连接关闭时,此节点自动删除,可利用此特性来监控服务器的上下线状态。
  • 监控服务器一直不断的监视集群节点/sgroup下子节点的状态,达到监控相应的服务器的运行状态和负载情况的目录,如有异常,可迅速地启动报警机制。

首先我们来创建自己的服务器,代码如下:
[su_spoiler title=”CODE”]

package
发表在 产品设计, 集群配置 | 标签为 , , | 使用Zookeeper实现来监控服务器集群及负载状态[转]已关闭评论

XMPP协议之Openfire 集群配置[转]

Openfire集群我们采用Hazelcast插件进行集群部署,采用Haproxy进行负载均衡。架构图:

一、安装并配置MySQL
步骤略
二、编辑xmpp主机的hosts文件
[root@web01 ~]# cat

发表在 产品设计, 未分类, 资源收集, 集群配置 | 标签为 , , , , | XMPP协议之Openfire 集群配置[转]已关闭评论