Goldengate环境搭建以及数据初始化

Goldengate从入门到精通第2课Goldengate环境搭建以及数据初始化

Agenda

?Goldengate在RAC环境下的配置

?Oracle附加日志

?Goldengate CSN

?数据初始化 - initial Load

?Oracle到Oracle的在线数据初始化–使用EXP和IMP、RMAN

RAC环境下配置Goldengate需要注意的问题

部署前需确认：

?日志文件是否存储在ASM中？

?OGG是否能够读取所有节点的归档日志？

?OGG的安装位置

?RAC下的OGG高可用

如果日志文件是在ASM中存储的，extract进程需连接ASM实例

?ASM实例的连接方式

传统方法：extract以网络客户端身份通过Net8连接到ASM实例，需配置ASM的TNS、ASM用户名和密码

Net8方式连接–传统的网络连接方式

BEQ方式连接 - Bequeath 本地连接，类似IPC机制。

通过新的ASM API访问：

DBLOGREADER连接–数据库版本要求10205、11202及以上版本

Net8配置方法

1、tnsnames.ora中增加

ASM =

(DESCRIPTION =

(ADDRESS = (PROTOCOL = TCP)(HOST = rac1-vip)(PORT = 1521)) (LOAD_BALANCE = yes)

(CONNECT_DATA =

(SERVER = DEDICATED)

(SERVICE_NAME = +ASM)

(INSTANCE_NAME = +ASM1)

)

)

Net8配置方法

2、extract参数文件中增加

extract ext1

setenv(NLS_LANG=AMERICAN_AMERIC.ZHS16GBK) userid goldengate@ggsource, password goldengate tranlogoptions ASMUSER sys@asm, asmpassword password exttrail ./dirdat/st

Table test.*

Net8配置方法

Beq方式的配置：tnsnames.ora中变化，ogg extract参数不变样例：

ASM_BEQ =

(DESCRIPTION =

(ADDRESS = (PROTOCOL = BEQ)

(PROGRAM = /g01/11ggrid/app/11.2.0/grid/bin/oracle)

(ARGV0 = oracle+ASM1)

(ARGS='(DESCRIPTION=(LOCAL=YES)(ADDRESS =(PROTOCOL=BEQ)))')

(ENVS='ORACLE_HOME=/g01/11ggrid/app/11.2.0/grid,ORACLE_SID=+ASM1') )

(CONNECT_DATA = (SERVICE_NAME = +ASM)(INSTANCE = +ASM1))

)

?DBLOGREADER的配置方法

Extract参数增加：

tranlogoptions DBLOGREADER

dblogreader是通过OGG ext参数中设置的goldengate用户来读日志的，所以goldengate 用户需授予 select any transaction 后，进程才能启动正常。

需设置enable_goldengate_replication为true

alter system set enable_goldengate_replication=true sid='*' scope=both;

通过ASMUSER连接ASM时，extrat进程的buffer为28672字节，而DBLOGREADER API默认为1M字节

ASM：ASMBUFSIZE、DBLOGREADERBUFSIZE

非ASM：BUFSIZE

DBLOGREADER下使用BEQ方式

ext参数修改一下：

USERID goldengate@prod_beq, PASSWORD goldengate

tranlogoptions DBLOGREADER

tnsnames.ora设置数据库实例的BEQ连接：

PROD_BEQ =

(DESCRIPTION =

(ADDRESS = (PROTOCOL = BEQ)

(PROGRAM = /u01/oracle/app/oracle/product/11.2.0/dbhome_1/bin/oracle) (ARGV0 = oraclePROD)

(ARGS='(DESCRIPTION=(LOCAL=YES)(ADDRESS =(PROTOCOL=BEQ)))')

)

(CONNECT_DATA = (SERVICE_NAME = PROD))

)

?归档日志的位置

extract进程要求能够看到所有节点的归档日志。

归档在本地

（1）通过NFS挂载

样例：如果ogg运行在rac1上，需在rac1上执行：mount -t nfs rac2:/u01/arch /u01/arch2 -o nolock （2）修改RAC归档路径（多加一路新的归档路径即可）

归档在共享设备上

直接配置即可

OGG对归档日志的识别

默认从数据字典中读取。

也可指定读取位置(如果归档路径不一致，建议使用)：

tranlogoptions altarchivelogdest primary instance rac1 /u01/arch, altarchivelogdest instance rac1 /u01/arch1，altarchivelogdest instance rac2 /u01/arch/arch2

注意：Primary-只检查指定的路径，不再去检查默认的数据字典中的设置了。所以上例中的rac2如果在指定目录找不到归档日志，还要去检查默认位置；rac1则不会，就只检查指定的2个路径了。Primay一般用在ALO（Archived log only ）模式下。

或者可以写成：

tranlogoptions altarchivelogdest threadid 1 /u01/arch

tranlogoptions altarchivelogdest threadid 2 /u01/arch2

RAC环境下配置Goldengate – OGG安装位置

?OGG安装位置

建议安装在存储卷上；

Trial文件也可以放在ACFS或DBFS；

只能一个节点运行OGG，负载小的节点；

但是：

对于gpfs文件系统， RAC的两个节点都可以挂载goldengate目录时，在不同的节点上启动了不同的Goldengate进程（比如：节点1启动了mgr，节点2启动extract），OGG工作进程一定和MGR进程运行在同一节点上（即使在另外一个节点启动了进程）；所以可以保证没有问题。

RAC可以为OGG创建一个ggsource的服务

srvctl config service –d racdb –s ggsource tnsnames.ora:

ggsource =

(DESCRIPTION =

(ADDRESS = (PROTOCOL = TCP)(HOST = rac-cluster-scan))(PORT = 1521)) (LOAD_BALANCE = yes)

(CONNECT_DATA =

(SERVER = DEDICATED)

(SERVICE_NAME = ggsource)

)

)

OGG注册成CRS的resource

保证在运行GG的节点宕机后，GG可以切换到其他可用节点上运行。

参考

《Oracle Goldengate high availability using Oracle Clusterware.pdf》

RAC环境下配置Goldengate – Demo

?配置环境

测试ASM的四种方式：

asmuser

dblogreader

asmuser + Beq

dblogreader+Beq

参考附件

RAC环境下配置Goldengate – OGG相关高可用

补充RAC的一个小问题

数据库11gR2之前的版本：如果RAC节点间负载不均衡：建议设置 MAXCOMMITPROPAGATIONDELAY （设置为60000，最大可以设置为90000（90秒）。默认为3秒，不小于2秒，不小于db中参数

max_commit）

THREADOPTIONS MAXCOMMITPROPAGATIONDELAY 60000 IOLATENS 60000

（在Oracle RAC环境中，Extract会启动一个coordinator线程对各个节点上的操作进行根据SCN进行排序，它在交易提交后会等待THREADOPTIONS MAXCOMMITPROPAGATIONDELAY参数所定义时间来确认空闲节点没有交易，然后再收集交易数据；写入该交易后如果空闲节点后来又读到了一个SCN号要小的交易，则会报告：Extract: Encountered SCN That Is Not Greater Than The Highest SCN Already Processed…）

RAC节点的时钟保持同步！

?问题： GoldenGate是基于SQL的复制吗？

场景假设

某表包含10条记录

执行sql：update mytable set mycol=‘a’; (一条语句更新了10行) 实际修改10条记录

复制记录操作类型前镜像后镜像

记录1 U Mycol: x1 Mycol: a 记录2 U Mycol: x2 Mycol: a ……

记录10 U Mycol: x10 Mycol: a GoldenGate是基于逻辑变化记录（LCR）的复制

?问题：两端记录如何对应？

数据复制需要实现源和目标的记录映射

–Insert：无需映射，直接插入即可

–Update：需要在目标端找到源端对应的记录–delete：需要在目标端找到源端对应的记录

方案选择

–使用rowid

–使用主键或唯一索引

记录映射方案一：使用rowid

?物理复制 - 两端的rowid保持一致

–底层复制，如卷复制或者磁盘阵列复制

–Data Guard物理模式

?逻辑复制 - 目标端和源端rowid是不一致的

Target：

column Cust_code Name City State Rowid

Row1 a a a a AAAReVAAEAAAAl9AAA Row2 b b b b AAAReVAAEAAAAl9AAB Source：

column Cust_code Name City State Rowid

Row1 a a a a AAAReXAAEAAAAluAAA Row2 b b b b AAAReXAAEAAAAluAAB

使用rowid做记录映射的特点

?优点

–可以准确定位每一条记录

–无需依赖附加日志，无需对生产库做调整

–不依赖主键和唯一索引，对无主键表无限制

?缺点

–需要在目标端维护源和目标每一条记录的rowid对应关系，需要占用较多存储；

–如果出现行迁移操作引起rowid变化则复制无法继续。

?产品

–某知名国内复制产品

Cloudera大数据平台环境搭建(CDH5.13.1)傻瓜式说明书

Cloudera大数据平台环境搭建（CDH5.13.1版）

目录

基础环境 软件环境 本文将介绍Centos7.4离线安装CDH和ClouderaManager过程，软件版本如下： 配置规划 本次安装共5台服务器，服务器配置及用途如下： 所需要的软件资源 1)JDK环境： JDK版本：51 jdk-8u151-linux-x64.rpm 下载地址： 2)CM包： CM版本：5.13.1 下载地址： 3)CDH包 CDH版本：5.13.1， ； .sha1； manifest.json 下载地址： 4)JDBC连接jar包： jar包版本：5.1.43， mysql-connector-java-5.1.43.jar 下载地址： 修改机器名（所有节点） 这种方式，在Centos7中可以永久性改变主机名称。

内容都改为： 设置防火墙（所有节点） 注：为了简便，可以先关闭防所有节点火墙，安装完成后，再按照下面步骤设置。 防火墙常用命令： 便，安装完毕后可以根据需要设置防火墙策略，保证集群安全。 配置免密码登录SSH 将子节点设置为从主节点ssh无密码登陆（主节点访问从节点需要无密码互通，否则后面会出现问题） 一路回车，生成无密码的密钥对。 把公钥拷贝至node169服务器上?： 登录到node169服务器上： 然后在node169服务器上，把公钥的内容追加到authorized_keys文件末尾（这个文件也在隐藏文件夹.ssh下，如果没有可以新建）：

在node168节点出现下面表示成功登录node169节点： 以同样的方式将公钥拷贝至其他节点服务器上。 关闭SELINUX（所有节点） 关闭linuxSELINUX安全内核 （在Centos7中遇到SELINUX无法关闭的问题，重新启动机器恢复正常） 修改Linux内核参数（所有节点） 为避免安装过程中出现的异常问题，首先调整Linux内核参数。 1)设置swappiness，控制换出运行时内存的相对权重，Cloudera建议将swappiness设置为 10： 自CentOS6版本开始引入了TransparentHugePages(THP)，从CentOS7版本开始，该特性默认就会启用。尽管THP的本意是为提升内存的性能，不过某些数据库厂商还是建议直接关闭THP，否则可能会导致性能出现下降。 表示已禁用：

生态环境大数据平台项目建设方案

生态环境大数据平台项目建设方案 生态环境大数据平台项目 建设方案

目录 1概述 (1) 1.1项目简介 (1) 1.1.1项目背景 (1) 1.1.2建设目标 (2) 1.1.3建设范围 (3) 1.2手册目的 (3) 2运行环境和配置要求 (3) 3系统通用操作 (5) 3.1系统登录 (5) 3.2系统退出 (6) 4水环境质量 (7) 4.1数据采集 (7) 4.1.1水常规监测 (8) 4.2数据审核 (18) 4.2.1河流断面数据审核 (19) 4.2.2湖库垂线数据审核 (22) 4.2.3地下水数据审核 (23)

4.2.4饮用水地表水数据审核 (23) 4.2.5饮用水地下水数据审核 (24) 4.2.6饮用水地表水全分析审核 (24) 4.2.7饮用水地下水全分析审核 (25) 4.2.8水自动站监测数据审核 (25) 4.2.9县级饮用水地表水数据审核 (25) 4.2.10县级饮用水地下水数据审核 (25) 4.3数据查询 (25) 4.3.1地表水查询 (26) 4.3.2地下水查询 (29) 4.3.3饮用水查询 (31) 4.4报表分析 (36) 4.4.1水质评价报告 (37) 4.4.2地下水水质查询统计 (48) 4.4.3地表水水质查询统计 (54) 4.5基础信息 (59) 4.5.1基础信息 (59) 4.5.2代码信息 (68)

4.6GIS专题图 (72) 5空气环境质量 (72) 5.1数据采集 (72) 5.1.1大气监测 (73) 5.2数据审核 (80) 5.2.1气 (80) 5.2.2降水 (83) 5.2.3降尘 (84) 5.2.4硫酸盐化速率 (84) 5.3数据查询 (85) 5.3.1常规监测数据 (85) 5.4报表分析 (89) 5.4.1空气质量分析综合 (89) 5.5基础信息 (99) 5.5.1测点信息 (100) 5.5.2代码信息 (106) 5.6GIS专题图 (111) 6声环境质量 (111)

MySQL Cluster单机搭建集群环境

运行环境： centos6.1 Mysql版本： MySQL-cluster-gpl-7.2.6-linux2.6-x86_6 下载地 址：https://www.wendangku.net/doc/8114119137.html,/Downloads/MySQL-Cluster-7.2/mysql-cluster-gpl-7.2.6-linux2. 6-x86_64.tar.gz 对于这第一个MySQL数据库的集群，它由1个单一的MySQL服务引擎（mysqlds）、两个数据节点（ndbd）和一个单一的管理节点（ndb_mgmd）共同组成，所有的节点都运行在同一台主机上。 为配置文件和数据文件创建必要的存储文件夹，分别要建立如下几个文件夹： ① /home/mysql/my_cluster ② /home/mysql/my_cluster/ndb_data ③ /home/mysql/my_cluster/mysqld_data ④ /home/mysql/my_cluster/mysqld_data/mysql ⑤ /home/mysql/my_cluster/mysqld_data/ndbinfo ⑥ /home/mysql/my_cluster/conf 具体安装步骤： 1. 添用加户与组mysql [plain]view plaincopy 1.shell> groupadd mysql 2.shell> useradd -r -d /home/mysql -g mysql mysql [plain]view plain copy 1.shell> groupadd mysql 2.shell> useradd -r -d /home/mysql -g mysql mysql 2. 切换到mysql用户权限下 [plain]view plaincopy 1.shell> su - mysql [plain]view plain copy 1.shell> su - mysql

OSM本地数据库搭建(Ubuntu环境)

Build your own OpenStreetMap Server - Ubuntu 08.04 Hardy Heron Submitted by rweait on Sat, 01/19/2013 - 15:07 This article is now archived as https://www.wendangku.net/doc/8114119137.html,/content/build-your-own-openstreetmap-serve r-v1. An updated (2010) article is based on Ubuntu 10.04 Lucid Lynx Build your own OpenStreetMap server. Build your own what? OpenStreetMap is the editable World map of everything. It is the Wikipedia of maps. It is to other on-line maps as Wikipedia is to Britannica. And it is awesome in every possible way. OpenStreetMap is a massive project that started as Steve Coast's, frame-breaking idea in 2004. If I make a map of my neighborhood and give it away, and you make a map of your neighborhood and give it away, then we both have better maps. As of March 2009 there are over 100,000 contributors making maps of their neighborhoods and contributing them to this World wide effort. OpenStreetMap makes the data and the software available to you with Free Software and free data licenses so that you can use, learn from, teach with, improve upon and share with others what you gain from OpenStreetMap. And you can build your own local copy of OpenStreetMap for your business, school, community group or personal interests. The project operates on a massive scale as there is an incredible amount of data, there is more data every day, and there are more people using the data every day. OpenStreetMap has to run on several servers, including a handful of API servers and separate database, development, web and tile servers. This article does not cover the creation of a complete OSM datacentre.

Cloudera大数据平台环境搭建傻瓜式说明书

Cloudera大数据平台环境搭建 （版）

目 录 Cloudera 大数据平台环境搭建错误! 未定义书签。 版）错误! 未定义书 签。 1. 基础环 境. 错误! 未定义书签。 软件环境错误!未定义书签。 2. 3. 配置规划...... 所需要的软件资源 错误!未定义书签。 错误!未定义书签。 修改机器名（所有节点） 设置防火墙（所有节点） 配置免密码登录 SSH.. 关闭SELINUX（所有节点）…… 修改 Linux 内核参数（所有节 点） 其他安装与配置（所有节点） . 配置NTP服务................. 安装 oracle （所有节点） Mysql 安装（主节点） 安装CM 传包，解包 创建数据库 创建用户 制作本地YUM源 拷贝 修改 启动 访问 安装CDH 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误! 未定义书 签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 jar 包................. cloudera-scm-agent 配置 CM Server 和 Agent ..... 错误!未定义书签。 错误!未定义书签。 错误!未定义书签。 CM. 错误!未定义书签。 错误! 未定义书 签。 登录后界面错误!未定义书签。 选择CM版本错误!未定义书签。 指定主机错误!未定义书签。 选择CDH版本错误!未定义书签。 出现“主机运行状态不良”错误 检查主机正确性................... 错误!未定义书签。 错误!未定义书签。 选择安装的服务错误!未定义书签。 角色分配 . 数据库设置 错误!未定义书签。 错误!未定义书签。 测试连接报错：错误!未定义书签。 群集设置错误!未定义书签。

搭建Oracle高可用(HA)数据库环境

搭建Oracle高可用（HA）数据库环境 2008-05-08 10:45 24*7（有些叫法也为24*7*365）的高可用系统越来越多的受到广泛重视与应用，那是因为在实际环境中，不间断的系统代表的就是不间断的义务收入。但是 ◆怎么样搭建与治理24*7的高可用环境？ ◆各种各样的高可用环境之间到底有什么差别？ ◆我们是否适合于哪种环境？ ◆现在高可用环境的主要方式以及以后的发展趋势是什么？ 这些话题，都是决策者与实施者都应当考虑的，也是本文所探讨的，我们需要搭建一个怎么样的高可用环境，才能真正做到最适合。 一、什么是高可用(High Availability) 在高可用的解释方面，有人给出了如下的诠释： (1)系统失败或崩溃 (system faults and crashes) (2)应用层或者中间层错误 (application and middleware failures) (3)网络失败 (network failures) (4)介质失败，一般指存放数据的媒体故障 (media failures) (5)人为失误 (Human Error) (6)容灾 (Disasters and extended outages) (7)计划宕机与维护 (Planned downtime, maintenance and management tasks) 可见，高可用不仅仅包含了系统本身故障，应用层的错误，人为错误等等，还应当包括数据冗余、容灾以及计划的维护时间，也就是说，一个真正的高可用环境，不仅仅是能避免系统本身的问题，还应当能防止天灾人祸，以及有一个简单可靠的系统维护方法（如微码升级、软件升级等等计划停机维护）。现在高可用的计算方法一般以年在线率来计算，如规定一年之中的可用环境要达到99.95%，那么24*365*(1-99.95%)=4.38小时（包括维护时间）。那么假定一个系统本身一年之中故障时间是1小时，但是计划维护时间却花了20小时，那么这个系统也不能算是一个满足设计要求的高可用环境。现阶段使用环境中，基本没有真正的100%的在线环境，或者说，假如达到100%的在线能力，将花费非常多的代价，所以一般能达到99.95%以上的可用性的环境，一般都可以认为是

mysql集群部署文档

3台机器搭建集群环境 1. 集群配置如下 （3台机器） 管理节点：192.168.6.134 数据节点1：192.168.6.135 数据节点2：192.168.6.136 sql节点1：192.168.6.135 sql节点2：192.168.6.136 我使用3台机器进行配置，其中两台机器上的数据节点与sql节点在一起 2. 管理节点安装（192.168.6.134) 安装 1.shell> groupadd mysql 2.shell> useradd mysql -g mysql 3.shell> mv mysql-cluster-gpl-7.2.6-linux2.6-x86_6 4.tar.gz /usr/local/ 4.shell> cd /usr/local/ 5.shell> tar zxvf mysql-cluster-gpl-7.2.6-linux2.6-x86_64.tar.gz /usr/local/ 6.shell> mv mysql-cluster-gpl- 7.2.6-linux2.6-x86_64 mysql 7.shell> chown -R mysql:mysql mysql 8.shell> cd mysql 9.shell> scripts/mysql_install_db --user=mysql 配置管理节点 1.shell> mkdir /var/lib/mysql-cluster 2.shell> cd /var/lib/mysql-cluster vi config.ini 添加以下内容 1.[ndbd default] 2.NoOfReplicas=2 3.DataMemory=80M 4.IndexMemory=18M 5.[ndb_mgmd]

大数据学习环境搭建系列(二)虚拟机软件Vmware的安装

虚拟机软件Vmware的安装 1、概述 在进行分布式架构的学习前，首先需进行基础环境准备。众所周知，在单机运算能力无法满足处理海量数据的运算能力时，人们普遍开始考虑使用分布式运算来代替单机运算，这也成为了大数据分析和小数据分析最显著的区别之一，即使用的工具不同。当前大数据行业标准是使用Hadoop及其生态组件来执行分布式处理，这也是我们后续文章的主要内容。 分布式集群的主要目的在于连接多台的物理机，以达到整合运算能力线性增长的效果，在学习过程中，我们仍然可以在单台物理机上模拟搭建和运行分布式集群。通常来说，单台物理机上模拟分布式集群有两种方法，其一是利用Hadoop进行分进程的分布式模拟，即一般意义上的伪分布式，通常用于实验和测试；其二则是利用虚拟化软件，将一台物理机分为三台虚拟物理机，然后搭建分布式集群。其中后者与实际工作情景无异，只不过在物理机本身运算能力上有所差别，企业多用服务器级物理机，而在学习过程中个人电脑性能可能稍差。后续文章将针对两种分布式集群搭建方法进行教学，同时也将更加侧重分布式集群的搭建。

注：这里推荐个人计算机配置：硬盘空间大于100G、内存大于等于8G、CPU大于两核。 尽管Apache Hadoop可适用于Windows、Linux和Mac OS操作系统，但就其稳定性而言，我们首推Linux系统或Mac OS系统，而二者相比选择Linux系统适用面更为广泛，因此后续文章我们将在Linux系统中安装Hadoop。由于个人用户普遍使用Windows或Mac OS系统，我们需要在当前操作系统中虚拟一个Linux系统，因此，虚拟化工具就是我们需要掌握和使用的第一个软件。除此之外，由于将要多个虚拟机的统一管理和多个终端的操作，因此我们还需要掌握一些终端管理软件和文件传输软件的基本操作方法。这些软件将在后续使用过程中进行详细介绍。 2、虚拟机软件 2.1虚拟机软件简介 就目前而言，VMware Workstation是使用最为广泛、功能最为强大的虚拟机软件，主要用于IT开发和系统管理等商业环境，而开源虚拟软件Oracle VM VirtualBox，则在所有免费虚拟机软件中表现较为突出，成为大多数教学、实验等非商业环境中的首选。后续文章主要将采用VMware Workstation作为虚拟机软件安装虚拟机，而关于Virtual Box的下载和安装方法，也会在后续文章中单独介绍已满足各位同学的不同需求。今天我们介绍VMware Workstation的安装使用方法。 2.2VMware Workstation下载安装 1）VMware WorkStation下载 2）VMware WorkStation安装 双击安装文件，开始安装，在安全警告窗口点击“运行”

mysql集群架构说明与配置实例-详细过程

Mysql集群架构文档 MySQL Cluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎，允许在1个Cluster 中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。（注意，要想获得MySQL Cluster 的功能，必须安装mysql-server 和mysql-max RPM）。 目前能够运行MySQL Cluster 的操作系统有Linux、Mac OS X和Solaris（一些用户通报成功地在FreeBSD上运行了MySQL Cluster ，但MySQL AB公司尚未正式支持该特性）。 一、MySQL Cluster概述 MySQL Cluster 是一种技术，该技术允许在无共享的系统中部署“内存中”数据库的Cluster 。通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。 MySQL Cluster 由一组计算机构成，每台计算机上均运行着多种进程，包括MySQL服务器，NDB Cluster 的数据节点，管理服务器，以及（可能）专门的数据访问程序。关于Cluster 中这些组件的关系，请参见下图：

所有的这些节点构成一个完成的MySQL集群体系。数据保存在“NDB存储服务器”的存储引擎中，表（结构）则保存在“MySQL服务器”中。应用程序通过“MySQL服务器”访问这些数据表，集群管理服务器通过管理工具(ndb_mgmd)来管理“N DB存储服务器”。 通过将MySQL Cluster 引入开放源码世界，MySQL为所有需要它的人员提供了具有高可用性、高性能和可缩放性的Cluster 数据管理。 二．安装环境 1.Linux操作系统版本：CentonOS 4.7 2.Mysql数据库版本：mysql-max-5.0.24-linux-i686.tar.gz 共三台机器安装了CentonOS4.7版本，首先保证把系统中没有一个包带有mysql的，有的话

大数据环境软件

大数据环境软件 操作系统 CentOS 7 #zip unzip 命令安装 yum install zip unzip #netstat 等命令网络工具包安装 yum install net-tools 软件安装包 -rw-r--r--. 1 root root 20985335 4月30 10:14 apache-storm-0.9.3.tar.gz -rw-r--r--. 1 root root 153512879 5月26 16:15 jdk-7u79-linux-x64.tar.gz drwxr-xr-x. 10 root root 4096 7月10 11:55 jzmq -rw-r--r--. 1 root root 71503892 4月17 10:06 kafka_2.10-0.8.2.1.zip -rw-r--r--. 1 root root 1358190 5月27 11:26 redis-3.0.1.tar.gz -rw-r--r--. 1 root root 1877380 5月12 2011 zeromq-2.1.7.tar.gz -rw-r--r--. 1 root root 17699306 7月10 02:50 zookeeper-3.4.6.tar.gz JAVA vi /etc/profile 在文件末尾增加如下配置内容 #set java environment JAVA_HOME=/usr/local/jdk1.7.0_79/ CLASSPATH=.:$JAVA_HOME/lib/tools.jar PATH=$JAVA_HOME/bin:$PATH export JAVA_HOME CLASSPATH PATH 配置生效 source /etc/profile 验证配置结果 [root@localhost local]# java -version java version "1.7.0_79"

MySQL_Cluster集群配置方案

在为某证券公司设计其OA架构时，初期客户是30万用户在线；然而在项目实施中，客户又提出50万用户同时在线的需求，而且都有写的需求；这样初始的设计master-master-slave，读写分离满足不了客户的要求，所以我们打算采用Mysql Cluster方案；MySQL Cluster 是MySQL适合于分布式计算环境的高实用、高冗余版本。它采用了NDB Cluster 存储引擎，允许在1个Cluster中运行多个MySQL服务器。在MyQL 5.0及以上的二进制版本中、以及与最新的Linux版本兼容的RPM中提供了该存储引擎。 一、MySQL Cluster概述 MySQL Cluster 是一种技术，该技术允许在无共享的系统中部署“内存中”数据库的 Cluster 。通过无共享体系结构，系统能够使用廉价的硬件，而且对软硬件无特殊要求。此外，由于每个组件有自己的内存和磁盘，不存在单点故障。 MySQL Cluster 由一组计算机构成，每台计算机上均运行着多种进程，包括MySQL服务器，NDB Cluster 的数据节点，管理服务器，以及（可能）专门的数据访问程序。 所有的这些节点构成一个完成的MySQL集群体系。数据保存在“NDB存储服务器”的存储引擎中，表（结构）则保存在“MySQL服务器”中。应用程序通过“MySQL服务器”访问这些数据表，集群管理服务器通过管理工具(ndb_mgmd)来管理“NDB存储服务器”。 通过将MySQL Cluster 引入开放源码世界，MySQL为所有需要它的人员提供了具有高可用性、高性能和可缩放性的 Cluster 数据管理。 二、MySQL Cluster 基本概念 “NDB” 是一种“内存中”的存储引擎，它具有可用性高和数据一致性好的特点。 MySQL Cluster 能够使用多种故障切换和负载平衡选项配置NDB存储引擎，但在 Cluster 级别上的存储引擎上做这个最简单。MySQL Cluster的NDB存储引擎包含完整的数据集，仅取决于 Cluster本身内的其他数据。 目前，MySQL Cluster的 Cluster部分可独立于MySQL服务器进行配置。在MySQL Cluster中， Cluster的每个部分被视为1个节点。 管理(MGM)节点：这类节点的作用是管理MySQL Cluster内的其他节点，如提供配置数据、启动并停止节点、运行备份等。由于这类节点负责管理其他节点的配置，应在启动其他节点之前首先启动这类节点。MGM节点是用命令 “ndb_mgmd”启动的。 数据节点：这类节点用于保存 Cluster的数据。数据节点的数目与副本的数目相关，是片段的倍数。例如，对于两个副本，每个副本有两个片段，那么就

使用Ambari快速部署Hadoop大数据环境

作者:杨鑫奇 前言 做大数据相关的后端开发工作一年多来,随着Hadoop社区的不断发展,也在不断尝试新的东西,本文 着重来讲解下Ambari,这个新的Apache的项目,旨在让大家能够方便快速的配置和部署Hadoop生态圈相关的组件的环境,并提供维护和监控的功能. 作为新手,我讲讲我自己的学习经历,刚刚开始学习的时候,当然最简单的 Google 下Hadoop ,然后下载相关的包,在自己的虚拟机(CentOS 6.3) 上安装一个单机的Hadoop版本用来做测试,写几个测试类,然后做下CRUD测试之类的,跑跑Map/Reduce的测试,当然这个时候对于Hadoop还不是很了解,不断的看别人的文章,了解下整体的架构,自己所做的就是修改conf下的几个配置文件,让Hadoop能够正常的跑起来,这个时候几种在修改配置上,这个阶段之后,又用到了HBase,这个Hadoop生态圈的另外一个产品,当然还是修改配置,然后 start-all.sh , start-hbase.sh 把服务起起来,然后就是修改自己的程序,做测试,随着用Hbase 学了下 Zookeeper 和Hive等, 接着过了这个操作阶段了之后,开始研究Hadoop2.0看了董的博客的相关文章,还有CSDN上很多大牛的文章了之后, 算是对Hadoop的生态圈整体有一些了解,介于自己在公司所承担的开发所涉及到相关的技术仅仅就这些.但是作为一个 爱好探索的人,是否想多了解下呢,它的性能怎么样? 它是具体如何运作的? 看大公司的那些PPT,人家(淘宝等大公司)动不动就是几十个,几百个,乃至几千个节点,人家是如何管理的,性能是怎么样的?看着PPT里面的那些性能测试的曲线,你是否也能够详细的了解,并且对自己的项目进行性能调优呢? 我貌似找到答案了,那就是 Ambari , 由HortonWorks开发的一个Hadoop相关的项目,具体可以上官方去了解. 了解Hadoop生态圈 现在我们经常看到的一些关键字有: HDFS,MapReduce,HBase,Hive,ZooKeeper,Pig,Sqoop,Oozie,Ganglia,Nagios,CDH3,CDH4,Flume,Scri be,Fluented,HttpFS等等,其实应该还有更多,Hadoop生态圈现在发展算是相当繁荣了,而在这些繁 荣的背后又是谁在推动的呢? 读过Hadoop历史的朋友可能知道,Hadoop最早是始于Yahoo,但是现在主要是由 HortonWorks 和 Cloudera 这2家公司在维护者,大部分的commiter 都属于这2家公司,所以现在市面上看到的主要有2个版本,CDH系列,和社区版, 我最早用的是社区版本,后来换到CDH3,现在又换回社区版,因为有Ambari.当然,用什么和不用什么,只要自己的技术到家,还是都能修改的跑的正常的.这里就不多说了. 讲了这么多废话了,开始讲 Ambari安装吧. 开始部署 首先了解下Ambari, 项目地址在:https://www.wendangku.net/doc/8114119137.html,/ambari/

MYSQL集群搭建指引文档

在PCSERVER上安装MARIADB。 一、先检查主机的环境 如果主机已经安装了MYSQL的早期版本，并且有MYSQL实例正在主机上运行，要先行清理早期的版本，具体步骤如下： 1、优雅地停掉当前正在运行的MYSQL服务。 2、卸载MYSQL早期版本及其组件 rpm -qa|grep -i mysql #查看已经安装的mysql相关包 rpm -ev package_name #package_name包名比如：mysql-server-5.0.51b-1.el5 二、用YUM安装MARIADB 具体步骤如下： 1、cd /etc/yum.repos.d 2、vi MariaDB.repo然后粘上官网上的内容（用CENTOS操作系统举例） Here is your custom MariaDB YUM repository entry for CentOS. Copy and paste it into a file under /etc/yum.repos.d/ (we suggest naming the file MariaDB.repo or something similar). See "Installing MariaDB with yum" for detailed information. 3、执行yum -y install MariaDB-client MariaDB-server MariaDB-devel 4、如果发现用YUM装时，代理服务器的网速下载太慢了导致超时然后报错退出，解决方案如下： A自己用个人电脑到官网下载列表中的RPM文件，

组建MySQL集群的几种方案,优劣与讨论

组建MySQL集群的几种方案 LVS+Keepalived+MySQL（有脑裂问题？但似乎很多人推荐这个） DRBD+Heartbeat+MySQL（有一台机器空余？Heartbeat切换时间较长？有脑裂问题？） MySQL Proxy（不够成熟与稳定？使用了Lua？是不是用了他做分表则可以不用更改客户端逻辑？） MySQL Cluster （社区版不支持INNODB引擎？商用案例不足？稳定性欠佳？或者还有其他问题？又或者听说现在发展不错？） MySQL + MHA （如果配上异步复制，似乎是不错的选择，又和问题？） MySQL + MMM （似乎反映有很多问题，未实践过，谁能给个说法） 淘宝的Cola(似乎现在停止开发了？)？变形虫Amoeba（事务支持？） 或者，其他方案？ 回答1： 不管哪种方案都是有其场景限制或说规模限制，以及优缺点的。 1. 首先反对大家做读写分离，关于这方面的原因解释太多次数（增加技术复杂度、可能导致读到落后的数据等），只说一点：99.8%的业务场景没有必要做读写分离，只要做好数据库设计优化和配置合适正确的主机即可。 2.Keepalived+MySQL --确实有脑裂的问题，还无法做到准确判断mysqld是否HANG 的情况； 3.DRBD+Heartbeat+MySQL --同样有脑裂的问题，还无法做到准确判断mysqld是否HANG的情况，且DRDB是不需要的，增加反而会出问题； 3.MySQL Proxy -- 不错的项目，可惜官方半途夭折了，不建议用，无法高可用，是一个写分离； 4.MySQL Cluster -- 社区版本不支持NDB是错误的言论，商用案例确实不多，主要是跟其业务场景要求有关系、这几年发展有点乱不过现在已经上正规了、对网络要求高； 5.MySQL + MHA -- 可以解决脑裂的问题，需要的IP多，小集群是可以的，但是管理大的就麻烦，其次MySQL + MMM 的话且坑很多，有MHA就没必要采用MMM 建议： 1.若是双主复制的模式，不用做数据拆分，那么就可以选择MHA或Keepalive 或heartbeat

数据库基础环境查看

数据库基础环境查看 . 分类：oracle2011-02-18 14:3656人阅读评论(0)收藏举报 select * from v$version; select * from dba_registry_database; select instance_name,host_name,version,status,database_status from v$instance; selectdbms_utility.port_string from dual; -----------查看数据版本 select * from dba_registry; -----------查看数据库安装的组件 selectprotection_mode, protection_level, remote_archive, database_role, dataguard_broker,guard_status fromv$database; -----------是否配置了dataguard selectlog_mode from v$database; -----------查看数据库是否启用了归档模式； selectflashback_on from v$database; -----------是否起用了flashback database特性 selectforce_logging,supplemental_log_data_min, supplemental_log_data_pk, supplemental_log_data_ui, supplemental_log_data_fk, supplemental_log_data_all fromv$database; -----------是否启用了force logging和补充日志 select * from v$controlfile; --------控制文件的组成； selectl.group#, lf.type, lf.member, l.bytes, l.status LOG_STATUS, lf.status LOGFILE_STATUS fromv$log l, v$logfile lf wherel.group# = lf.group# order by 1,3; -------------REDO LOG日志文件

环境大数据综合应用平台建设方案

第一章概述 (2) 第二章现状分析 (3) 2.1 环保相关系统 (3) 2.1.1 环境信息发布系统 (3) 2.1.2 环境监控监测系统 (3) 2.1.3 环境管理业务系统 (4) 2.1.4 高清视频监控 (6) 2.1.5 指挥中心 (6) 2.2 系统应用情况 (6) 第三章建设方案 (7) 3.1 平台要求 (7) 3.2 平台特点 (7) 3.3 建设原则 (8) 3.4 建设目标 (8) 3.5 建设内容 (9) 3.6 接口方式 (10) 第四章环境大数据综合应用平台介绍 (11) 4.1 平台功能介绍 (11) 4.1.1 云数据处理中心 (11) 4.1.1.1 数据交换目标 (11) 4.1.1.2 环保数据交换 (11) 4.1.2 统一用户管理系统 (12) 4.1.3 综合应用管理系统 (12) 4.1.3.1 环保信息查阅 (13) 4.1.3.2 环保信息分发 (13) 4.1.3.3 日程管理 (14) 4.1.3.4 我的工作台 (14) 4.1.4 办公自动化系统 (15) 4.1.4.1 我的工作台 (15) 4.1.4.2 公文管理 (16) 4.1.4.3 会议管理 (17) 4.1.4.4 车辆管理 (17) 4.1.4.5 接待管理 (18)

4.1.4.6 通讯录 (18) 4.1.4.7 工作交流 (19) 第五章相关技术 (20) 5.1 基于SOA技术架构 (20) 5.2 采用J2EE技术 (20) 5.3 遵循XML标准 (21) 5.4 采用组件化的设计方法 (22) 5.5 Web Service接口 (22) 第一章概述 近年来，国内环保信息化收到政府和环境保护部门的重视，环境保护事业进入新的发展阶段。为全面深化生态文明体制改革，2月份《关于推进环境监测服务社会化的指导意见》、6月份的《环境监测数据弄虚作假行为处理办法》和8月份的《生态环境监测网络建设方案》等国家政策的出台，全面放开了服务性监测市场，环境自动监测、第三方运营维护和智慧环保领域将出现快速增长。抓住当前国家大力发展大数据产业的政策时机，随着信息技术日益完善普及，环境相关信息及数据的价值将得到显现，将成为推进环境治理体系和治理能力现代化的重要手段，促进环保产业实现智慧化转型。 推进智慧环保建设，是把环保现代化推向新阶段的战略举措，是提升环保执法能力、加快节能减排的目标、提高公共管理服务水平的战略举措。智慧环保建设一方面要认真贯彻《2006-2020年国家信息化发展战略》和《国家综合业务OA 总体框架》，另一方面要按照《国务院关于落实科学发展观加强环境保护的决定》关于“完善环境监测网络，实现‘智慧环保’，加快环境与核安全信息系统建设，实行信息资源共享机制”的要求，全面建立适应经济社会发展和环境保护工作需要的环境信息化体系。

通过KeepAlived搭建MySQL双主模式的高可用集群系统

通过KeepAlived搭建MySQL双主模式的高可用集群系统 一、整体架构 企业级mysql集群具备高可用、可扩展、易管理、低成本的特点。下面将介绍企业环境中经常应用的一个解决方案，即MySQL的双主互备架构，主要设计思路是通过MySQL Replication技术将两台MySQL Server互相将对方作为自己的Master，自己又同时作为对方的Slave来进行复制。这样就实现了高可用构架中的数据同步功能，同时，将采用KeepAlived 来实现Mysql的自动failover。在这个构架中，虽然两台MySQL Server互为主从，但同一时刻只有一个MySQL Server可读写，另一个MySQL Server只能进行读操作，这样可保证数据的一致性。整个架构下图所示。 二、MySQL主主互备模式配置环境 第一步要做的工作是在这两天机器上都安装mysql，在做主从复制的时候mysql的版本尽量保持一致。即使不一样一定要以主服务的版本为最高的版本，从服务器的版本不能高于主服务器的版本。 1、Mysql的安装与配置 Mysql5.6版本之后，编译mysql方式变为cmake 安装cmake： #yum install cmake #cd mysql-5.6.17

#cmake \ -DCMAKE_INSTALL_PREFIX=/usr/local/mysql \ -DMYSQL_DATADIR=/usr/local/mysql/data \ -DSYSCONFDIR=/etc \ -DWITH_MYISAM_STORAGE_ENGINE=1 \ -DWITH_INNOBASE_STORAGE_ENGINE=1 \ -DWITH_MEMORY_STORAGE_ENGINE=1 \ -DWITH_READLINE=1 \ -DMYSQL_UNIX_ADDR=/var/lib/mysql/mysql.sock \ -DMYSQL_TCP_PORT=3306 \ -DENABLED_LOCAL_INFILE=1 \ -DWITH_PARTITION_STORAGE_ENGINE=1 \ -DEXTRA_CHARSETS=all \ -DDEFAULT_CHARSET=utf8 \ -DDEFAULT_COLLATION=utf8_general_ci make && make install 如果没有就创建用户就创建如下用户： #groupadd mysql #useradd -g mysql mysql 修改/usr/local/mysql权限： #chown -R mysql:mysql /usr/local/mysql #cd /usr/local/mysql 进入安装路径，执行初始化配置脚本，创建系统自带的数据库和表： #scripts/mysql_install_db--basedir=/usr/local/mysql--datadir=/usr/local/mysql/data --user=mysql 2、启动MySQL 添加服务，拷贝服务脚本到init.d目录，并设置开机启动 #cd /usr/local/mysql #cp support-files/mysql.server /etc/init.d/mysql #chkconfig mysql on #service mysql start--启动MySQL

mysql集群

1、下载完成MariaDB-Galera-server galera MariaDB-client安装包 配置yum源 vim /etc/yum.repos.d/mariadb.repo [mariadb] name = MariaDB enable=1 priority=3 baseurl = https://www.wendangku.net/doc/8114119137.html,/5.5.33a/centos6-amd64/ gpgkey=https://https://www.wendangku.net/doc/8114119137.html,/RPM-GPG-KEY-MariaDB gpgcheck=1 安装yum -y install MariaDB-Galera-server galera MariaDB-client 2、编辑每台机器的hosts文件，添加如下内容 [root@client137 ~]# vim /etc/hosts 2.192.168.1.137 https://www.wendangku.net/doc/8114119137.html, client137 3.192.168.1.138 https://www.wendangku.net/doc/8114119137.html, client138 4.192.168.1.139 https://www.wendangku.net/doc/8114119137.html, client139 # 启动测试一下 6.[root@client137 ~]# /etc/init.d/mysql start 7.Starting MySQL.... SUCCESS! 8.[root@client137 ~]# chkconfig mysql on 设置MariaDB的root密码，并做安全加固 01.[root@client137 ~]# /usr/bin/mysql_secure_installation 02.[root@client137 ~]# /usr/bin/mysql_secure_installation 03.# 登陆数据库，授权用于集群同步的用户和密码 04.[root@client137 ~]# mysql -uroot -pkongzhong 05.mysql> GRANT USAGE ON *.* to sst@'%' IDENTIFIED BY 'sstpass123'; 06.mysql> GRANT ALL PRIVILEGES on *.* to sst@'%'; 07.mysql> FLUSH PRIVILEGES; 08.mysql> quit 09.# 创建并配置https://www.wendangku.net/doc/8114119137.html,f文件 10.[root@client137 ~]# cp /usr/share/mysql/https://www.wendangku.net/doc/8114119137.html,f /etc/https://www.wendangku.net/doc/8114119137.html,f.d/ 11.[root@client137 ~]# vim /etc/https://www.wendangku.net/doc/8114119137.html,f.d/https://www.wendangku.net/doc/8114119137.html,f 12.# 只需要修改如下4行: