mongodb集群搭建（高可用 + 权限）

[toc]

概述

MongoDB 分片集群由以下组件组成：

• mongos: 可以理解为前端路由，所有对mongodb集群的请求操作都有它来负责分发。
• Shard: 存储实际的数据块，实际生产环境中一个shard server角色可由几台机器组个一个replicateSet承担，防止主机单点故障。
• config: mongod实例，负责记录集群中的配置信息（metadata, chunk信息）如果需要高可用的ConfigServer那么需要3个节点。

维护分区常用命令

查看磁盘使用情况

df -lh

查看硬盘信息

fdisk -l

可以查看未挂载的文件系统类型，以及哪些分区尚未格式化

parted -l

可以查看未挂载的文件系统类型

lsblk -f

把dist文件夹部署在一个域名的次级目录（localhost:8080/csp/酱紫）

这里记录一下如何操作：

1. 修改roadhogrc.js文件的publicPath

   1 2	/* 指定的是静态资源文件构建后在html里的路径 */ publicPath: `/csp/${version}/`,

2. 修改src文件夹下的index.js文件的history

   1 2 3 4 5 6 7

   const history = createHistory({ /* * 使用basename，将给定的字符串透明的添加到你所使用的所有URL的前面 * 参考：https://www.npmjs.com/package/history#using-a-base-url */ basename: '/csp', })

3. 修改webpack.config.js文件

• 配置BASE_URL添加目录 (BASE_URL: production ? JSON.stringify(‘/csp’) : JSON.stringify(‘http://localhost:8000/api/v1'),)
• 添加BASE_PREFIX (BASE_PREFIX: production ? JSON.stringify(‘/csp’) : JSON.stringify(‘’),)

  1 2 3 4 5 6 7 8

  /* * DefinePlugin 允许创建一个在编译时可以配置的全局常量。这可能会对开发模式和发布模式的构建允许不同的行为非常有用 * 参考：http://www.css88.com/doc/webpack/plugins/define-plugin/ */ new webpack.DefinePlugin({ BASE_URL: production ? JSON.stringify('/csp') : JSON.stringify('http://localhost:8000/api/v1'), BASE_PREFIX: production ? JSON.stringify('/csp') : JSON.stringify(''), }),

4. 修改src/routes文件夹下的app.js文件
   将iconFontJS、iconFontCSS、logo添加/csp前缀

   1 2 3 4

   /* 这里的BASE_PREFIX是DefinePlugin定义的 */ iconFontJS = BASE_PREFIX + iconFontJS iconFontCSS = BASE_PREFIX + iconFontCSS logo = BASE_PREFIX + logo

5. 后台过滤静态资源的地方也要注意修改

6. 然后就是注意一下跳转地址的访问路径：(记录一些我的项目需要修改的地方)

• /src/utils/request.js文件认证失败后的跳转 （window.location = ${location.origin}/login?from=${from} -> window.location = ${location.origin}/${prefix}/login?from=${from}）

• /src/models/apps.js文件 （location.pathname === ‘/login’ -> location.pathname.indexOf(‘/login’) !== -1）

• /src/components/Layout/Sider.js 文件 （logo -> logo = BASE_PREFIX + logo）

• /src/utils/config.js (common下的: upload、download、downloadTemplate的参数需要加前缀BASE_PREFIX)

oracle归档模式

1. 数据表空间和索引表空间最好分开

   • 创建用户时，不指定表空间，会默认使用user表空间

   • 不能简单滴说表和索引分开表空间放就能提高效率（性能）。

   • 提高性能是有前提条件的，只有在数据表空间和索引表空间分开存放在不同磁盘的时候，由于减少了磁盘I/O的竞争，才表现出性能的提高。

   • 假如你只有一块磁盘那么即使分开存放了表和索引表空间，只是优化了存储管理，对性能没有什么提高。

   • 一个用户只能指定一个表空间，要想把索引存储到其他表空间需要

   • 问题：创建用户能不能指定两个表空间，一个用于存放表，一个用于存索引？

2. oracle文件和系统最好分开,这样日志满了系统不会挂掉

   存放表空间、重做日志、控制文件的目录：/oracle_data/oradata
   日志文件目录：/u01/app/oracle/diag/rdbms
   可以将这些文件和系统分开

3. 归档模式未开启(每天备份可能会丢失数据 一主一备不能开启)

4. 在线日志只有3个 正常5个 大小50M是默认 应该200M-300M

   在线重做日志(online redo log)

   * 主要用于：Oracle数据库所在服务器突然掉电、突然重启或者执行shutdown abort等命令使得在服务器重新启动之后，
   Oracle数据库没有办法正常的启动实例。此时，在线重做日志就派上了用场，Oracle会使用在线重做日志，
   把数据库恢复到服务器掉电前的那一个时刻，从而使得数据库能正常的启动起来 。

   * 在Oracle数据库中，默认情况下，至少会有两个重做日志组，而且每个组里面至少包含了一个重做日志文件。
   日志组不会自动增加，在一个写满之后，会自动去写下一个。在下一个被写满之后会又从第一个开始写起。

   归档日志(archive log)

   * 主要用于硬件级别的错误：磁盘的坏道导致无法读写、写入的失败、磁盘受损导致数据库数据丢失。这就要使用归档日志文件，
   通过归档日志文件，把数据库恢复到归档日志所在的时间点上然后再通过在线重做日志文件把数据库恢复到当前的时间点上。

关于重做日志组参考：http://blog.csdn.net/diguoguo/article/details/5909949

5. 告警文件超过10G,正常100M以内，大部分错误是11g的bug,告警日志反映系统的健康状态，应该每天查看
   可以直接将告警文件拷贝走，oracle会自动生成该文件
   – 告警日志位置（sqlplus）
   show parameter dump_dest;

   – 检查Oracle控制文件状态
   select * from v$controlfile;

   – 查看日志组
   select * from v$log;
   – 检查Oracle在线日志状态
   select * from v$logfile;

   – 查看日志位置
   select * from v$diag_info;
   – 224数据库的bdcor5，alert日志大小：498M, trace大小：178M

6. oracle版本太低 起码应该11.2.0.4 之前有很多bug 漏洞，最好升级（oracle11.2.0.1升级到11.2.0.4需要注意些什么，如何升级）
   升级参考：https://jingyan.baidu.com/article/cd4c29790b3c2f756f6e6041.html
   注意事项：

   升级前需要备份数据库文件，保证数据安全；
   备份前彻底停掉与oracle相关的监听、程序以及进程；
   升级完成后修改.bash_profile里面的ORACLE_HOME目录为新的11.2.0.4目录即可

imp导入：

1. 最好先将需要的用户创建好..
2. 最好先创建好你的tablespace, 如果exp出来的数据表没有lob, 没有partition table, tablespace可以与数据源不一致(要求导入指定参数ignore=y).
3. 最好先导入表结构, 做好简单的调整工作, (调整表空间的分布, initial extent的分配).
4. 这个时候再考虑导入数据..(最好先不要导入index, 不要做statistics, 如果数据量很大, 会严重影响速度).

有关imp表空间的问题
1 如果存在和源环境一致的表空间,并且imp的用户在该表空间有quota,那么对象会在和源环境一样的表空间
2 如果不存在和源环境一致和表空间,对象生成在用户的默认表空间下面
3 如果存在和源环境一致表空间,但没有quato在这个表空间上面,对象也生成在用户的默认表空间上面
4 但是对于以下情况,一定要存在源和目标一致的表空间,并且在之上有quota

CentOS6.5 搭建 RabbitMQ 环境

操作系统环境

服务器：root@10.24.10.173 gener#tech.2016

• 操作系统：CentOS6.5(X86_64)

安装Erlang

根据安装RabbitMQ的版本选择合适的Erlang，查看RabbitMQ对应的Erlang版本。
我安装的是RabbitMQ-3.6.14，选择Erlang-19.3的版本

1. 下载Erlang

   • 官方地址：http://erlang.org/download/otp_src_19.3.tar.gz

2. 安装Erlang

   • 安装Erlang需要安装下列编译工具:

     yum -y install make gcc gcc-c++ kernel-devel m4 ncurses-devel openssl-devel

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22

#解压
cd /usr/local/
tar xvf /tmp/otp_src_19.3.tar.gz
cd otp_src_19.3

#配置 '--prefix'指定的安装目录
./configure --prefix=/usr/local/otp_src_19.3 --with-ssl -enable-threads -enable-smmp-support -enable-kernel-poll --enable-hipe --without-javac

#安装
make && make install

# 配置环境变量
vim /etc/profile

#在文件末尾添加下面代码 'ERLANG_HOME'等于上一步'--prefix'指定的目录
ERLANG_HOME=/usr/local/otp_src_19.3
PATH=$ERLANG_HOME/bin:$PATH
export ERLANG_HOME
export PATH

#使环境变量生效
source /etc/profile

安装成功后，输入 erl 命令检验是否安装成功

安装遇到的问题

在配置的时候（./configure）可能会出现以下错误

** APPLICATIONS DISABLED **

odbc : ODBC library – link check failed

jinterface : No Java compiler found

** APPLICATIONS INFORMATION ***

wx : wxWidgets not found, wx will NOT be usable

** DOCUMENTATION INFORMATION **

对于这里面的问题，APPLICATIONS INFORMATION 和 DOCUMENTATION INFORMATION可以忽略，只处理APPLICATIONS DISABLED里的问题

1. 安装unixODBC和unixODBC-devel，解决第一个问题；

   • yum install unixODBC unixODBC-devel

2. 因为我这里用不上java编译了，因此可以在configure时增加 –disable-javac 避免第二个错误；

安装RabbitMQ

下载RabbitMQ 官方地址: 我这里下载的是3.6.14版本的rpm文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24

# 安装依赖
yum install socat
# 安装
rpm -i --nodeps rabbitmq-server-3.6.0-1.noarch.rpm

# 使用 rpm -i rabbitmq-server-3.6.0-1.noarch.rpm 安装的话，可能会因为rabbitmq依赖导致以下错误
# error: Failed dependencies:
#        erlang >= R16B-03 is needed by rabbitmq-server-3.6.0-1.noarch
# 因为之前已经安装过erlang-3.19，所以使用--nodeps忽略依赖

# 启动等相关操作
/etc/init.d/rabbitmq-server {start|stop|status|rotate-logs|restart|condrestart|try-restart|reload|force-reload}

# 启用WEB管理(端口：15672)
cd /usr/lib/rabbitmq/bin
./rabbitmq-plugins enable rabbitmq_management

# 添加用户
./rabbitmqctl add_user test test

# 设置权限
./rabbitmqctl set_user_tags test administrator
./rabbitmqctl list_users
./rabbitmqctl set_permissions -p / test '.*' '.*' '.*'

1. 配置RabbitMQ
   • RabbitMQ的根目录：/usr/lib/rabbitmq
   • RabbitMQ的数据库目录：/var/lib/rabbitmq
   • RabbitMQ的日志文件目录：/var/log/rabbitmq
   • RabbitMQ的配置文件目录：/etc/rabbitmq/ (下面的文件需要自行创建)

     一个是环境变量的配置文件 rabbitmq-env.conf
     一个是配置信息的配置文件 rabbitmq.config

   • /var/lib/rabbitmq/.erlang.cookie

参考

官方教程
官方手册

Elasticsearch

安装

去 官网 根据系统下载相应的 Elasticsearch (我用的是linux，下载tar.gz文件)

将下载的tar.gz文件解压到要安装的位置，配置文件在elasticsearch目录config下

启动

进入elasticsearch目录的bin目录，执行

./elasticsearch

相关操作

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16

# 插入数据
curl -XPUT 'localhost:9200/test/employee/1' -d '
{
    "first_name" : "John",
    "last_name" :  "Smith",
    "age" :        25,
    "about" :      "I love to go rock climbing",
    "interests": [ "sports", "music" ]
}'

# 查询数据
curl -XGET 'localhost:9200/test/employee/1'

# 删除数据
curl -XDELETE 'localhost:9200/test/employee/3'

可视化插件安装（可选）

去 官网 根据系统下载相应的 Kibana

在Kibana上下载 Sense

zabbix 配置告警

** 自己编写脚本一定要在linux上新建文件，千万不要在window上编写好了在拷贝到服务器上，否则web页面提示“已送达”，实际却没有收到信息 **

** zabbix“用户组”的“许可”对新加进来的模板默认是“拒绝”，新加模板需要将其添加到用户权限的“许可”里面 **

3、配置操作
故障{TRIGGER.STATUS}，服务器：{HOSTNAME1} 发生：{TRIGGER.NAME} 故障!

告警主机:{HOSTNAME1}
告警时间:{EVENT.DATE} {EVENT.TIME}
告警等级:{TRIGGER.SEVERITY}
告警信息: {TRIGGER.NAME}
告警项目:{TRIGGER.KEY1}
问题详情:{ITEM.NAME}:{ITEM.VALUE}
当前状态:{TRIGGER.STATUS}:{ITEM.VALUE1}
事件ID:{EVENT.ID}

4、配置恢复操作
恢复{TRIGGER.STATUS}，服务器：{HOSTNAME1}：{TRIGGER.NAME} 已恢复!

告警主机:{HOSTNAME1}
告警时间:{EVENT.DATE} {EVENT.TIME}
告警等级:{TRIGGER.SEVERITY}
告警信息: {TRIGGER.NAME}
告警项目:{TRIGGER.KEY1}
问题详情:{ITEM.NAME}:{ITEM.VALUE}
当前状态:{TRIGGER.STATUS}:{ITEM.VALUE1}
事件ID:{EVENT.ID}

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29

#! /usr/bin/python
# -*- coding: utf-8 -*-
import smtplib
from email.mime.text import MIMEText
import sys

mail_host = 'smtp.jnyl-tech.com'
mail_user = 'huang.rp@jnyl-tech.com'
mail_pass = 'A4LP78193j'

def send_mail(to_list, subject, content):
    me = "zabbix 监控告警平台" + "<" + mail_user + ">"
    msg = MIMEText(content, 'plain', 'utf-8')
    msg['Subject'] = subject
    msg['From'] = me
    msg['to'] = to_list
    try:
        s = smtplib.SMTP()
        s.connect(mail_host)
        s.login(mail_user, mail_pass)
        s.sendmail(me, to_list, msg.as_string())
        s.close()
        return True
    except Exception as e:
        print(str(e))
        return False

if __name__ == "__main__":
    send_mail(sys.argv[1], sys.argv[2], sys.argv[3])

Linux各目录的作用

简介

zabbix是基于WEB界面提供分布式系统检测及网络监视功能，zabbix能监控各种网络参数，保证服务器系统的安全运营，并提供灵活通知机制让系统管理员快速定位/解决存在的各种问题。

zabbix由zabbix server与可选组件zabbix agent组成，zabbix service可以通过SNMP，zabbix agent，ping，端口监视等方法提供对远程服务器的监视，数据收集等功能。

zabbix server可以单独监视远程服务器的服务状态；同时也可以与zabbix agent配合，可以轮询zabbix agent主动接收监视数据（agent方式），同时还可被动接收zabbix agent发送的数据（trapping方式）。

zabbix agent需要安装在被监视的目标服务器上，它主要完成对硬件信息或与操作系统有关的内存，CPU等信息的收集。

　　Docker容器是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的Linux机器上，也可以实现虚拟化。容器是完全使用沙箱机制，相互之间不会有任何接口（类似 iPhone 的 app）。几乎没有性能开销,可以很容易地在机器和数据中心中运行。最重要的是,他们不依赖于任何语言、框架包括系统。