NOSQL 数据库管理.md · GYY/nsd2109

# 数据库类型

### 1.关系数据库管理系统 (Relational Database Management System )

按照预先设置的组织结构，将数据储存在物理介质上即硬盘上，数据之间可以作关连操作，比如说建表时设置表头和表头属性，设置主键，外建等

主流的RDBMS 关系数据库管理系统有mysql      mariadb     oracle       db2       sql server 。。。

### 2.非关系型数据库    NoSQL (Not Only SQL)

建表时不用预先定义数据库的存储结构和属性，每条记录可有不同的数据类型和字段个数

NoSQL软件：Memcached      Redis     Mongodb .....

#### 2.1 redis 软件介绍                               中文网站www.redis.cn

是一款高性能的分布式内存数据库，以（Key/Values）方式存储数据。

支持数据的持久化（定期把内存中的数据存放到硬盘中）

支持多种数据类型：字符/列表/散列/集合

支持 master-slave 模式数据库备份

#### 2.2主要内容

搭建redis服务器-------常用命令------------修改redis配置文件----------------部署lnmp+Redis---------------部署redis集群--------------redis主从复制--------------哨兵服务-------------数据持久化

# NOSQL 数据库管理

## 一.配置文件

### 1.Redis服务常用管理命令

```
keys * 查看所有数据            ？？两个字母的变量名

get/set  变量名     值    +m 查看/设置多个值，用空格 间隔     值为字符类型

lrange/lpush   变量名      值      查看/设置值为列表类型

连接redis-cli服务redis-cli -h 127.0.0.1 -p 6379 或直接用redis-cli默认连接本机和端口

select 切换库 默认库编号 0-15 ,默认在0库中。

exists 变量名      判断变量名是否存在

ttl  变量名    查看变量的有效期    expire    变量名     数字     设置变量时间 单位是s。

type  变量名     看变量数据类型

move 变量名    库名        移动变量到某库

del   变量名   flushall 删除内存里说有变量            flushdb     删除所有库里的变量名

redis定时把内存中数据覆盖保存到硬盘中，，>    所以清空内存相当是清空硬盘数据

save    立即覆盖硬盘保存，dump.rdb 文件

shutdown    停止服务         exit  退出
```

### 2.redis配置文件常用项的说明

/etc/init.d/redis_6379       restart      重启                        配置文件                ls /etc/redis/6379.conf

#### 1.配置文件

port    改端口          bind 改ip    daemonize    yes         守护进程方式运行：服务启动后，对应的进程一直在内存中运行等待连接。（常驻部队 ，反应块）                         非守护进程是首进程开启会等待一段时间后休眠等待连接。（机动部队，节省资源）现在一般开发时多用守护进程的方式运行

databases   数据库个数

logfile/var/log/redis_6379.log     修改日志文件路径             maxclients   10000  修改并发访问量

dir/var/lib/redis/6379    指定数据库目录路径

#### 2.内存清除策略

软件开发者编写好的数据删除程序

当内存空间不足时，会自动删除已经存储的数据的方式。。。就是相当于在内存中去重保存。在配置文件中搜索MAXMEMORY POLICY:       已经列出了所有可选策略的功能说明。。

lru    删除最近最少使用的                    lfu        删除使用最少的                random      随机删除              volatile-ttl       删除快要过期的           noeviction     不删除直接报错

说明后  maxmemory-policy noeviction    行 配置文件指定使用策略。

maxmemory-samples   选取key模板的个数（针对lru和ttl策略）

#### 3.配置文件解析 文件里常用配置项说明

通过修改配置项改变redis服务的运行配置，需要重启redis服务才能生效
					
				  注意：修改服务使用的ip地址、端口号 、连接密码  三项中的任意一项
				  都无法再使用脚本停止服务，
				  解决办法1 使用命令停止服务  redis-cli  -h 192.168.4.51 -p 6351 -a 123456 shutdown
				  解决办法2 修改脚本( vim   +43   /etc/init.d/redis_6379      $CLIEXEC -h 192.168.4.51 -p 6351 -a 123456 shutdown		           ）

连接时直接指定密码

```
redis-cli  -h 192.168.4.51 -p 6351 -a 123456  或者登陆后auth 123456 输入密码 
```

## 二、LNP+Redis （把网站的数据存储在redis服务器里）

```
生产环境下会被网站的热点数据存放在内存存储服务器里，这样的好处是可以加快存取数据的速度，
能够实现网站访问加速
通常网站会把 频繁被访问的数据（热点数据）、数据小的数据 、可再生的数据 存储在内存存储服务器里
```

```
部署网站运行环境LNP环境 统一使用host50做网站服务器
				 具体配置步骤如下：  
						1） 安装源码的nginx软件gcc pcre-devel  zlib-devel 编译安装nginx
						2） 安装php软件  php php-fpm php-devel
						3） 修改nginx服务的配置文件实现动静分离
						4） 启动服务
								启动nginx服务 和 php-fpm服务
	systemctl  enable php-fpm --now           /usr/local/nginx/sbin/nginx
								
								查看服务对应的端口80 和 9000
						5） 测试Nginx服务能否解释PHP代码
```

```
yum -y install gcc pcre-devel  zlib-devel
tar -xf nginx-1.12.2.tar.gz 
cd nginx-1.12.2/
./configure 
make 
make install
[root@host50 nginx-1.12.2]# ls /usr/local/nginx/
conf  html  logs  sbin
[root@host50 nginx-1.12.2]#

[root@host50 ~]# yum -y install php php-fpm php-devel
[root@host50 ~]# vim +65 /usr/local/nginx/conf/nginx.conf
       location ~ \.php$ {
            root           html;
            fastcgi_pass   127.0.0.1:9000;
            fastcgi_index  index.php;
            include        fastcgi.conf;
        }  
:wq
[root@host50 ~]# /usr/local/nginx/sbin/nginx  -t  检查文件的修改
nginx: the configuration file /usr/local/nginx/conf/nginx.conf syntax is ok
nginx: configuration file /usr/local/nginx/conf/nginx.conf test is successful
[root@host50 ~]#

[root@host50 ~]# systemctl stop httpd   如果有httpd服务的话要停止
[root@host50 ~]# systemctl disable httpd
Removed symlink /etc/systemd/system/multi-user.target.wants/httpd.service.

启动nginx服务
[root@host50 ~]# /usr/local/nginx/sbin/nginx
[root@host50 ~]# netstat  -utnalp | grep  80
tcp        0      0 0.0.0.0:80              0.0.0.0:*               LISTEN      9853/nginx: master  
[root@host50 ~]# systemctl  start php-fpm  启动php-fpm服务
[root@host50 ~]# systemctl  enable php-fpm
Created symlink from /etc/systemd/system/multi-user.target.wants/php-fpm.service to /usr/lib/systemd/system/php-fpm.service.
[root@host50 ~]# netstat  -utnalp | grep  9000 查看端口
tcp        0      0 127.0.0.1:9000          0.0.0.0:*               LISTEN      9863/php-fpm: maste 
[root@host50 ~]#        
						
[root@host50 ~]# vim  /usr/local/nginx/html/test.php  #编写php脚本
<?php
$i=99;
echo $i;
?>
:wq

[root@host50 ~]# 
[root@host50 ~]# curl  http://localhost/test.php  命令行访问脚本
99

```

```
配置php支持redis 
				意思就是在在网站服务器编写php 脚本 可以连接redis服务存储数据和查询数据
				默认PHP不支持redis （也就是不能连接redis服务）
				在网站服务器主机上做如下配置：
				1） 安装软件提供连接redis服务的功能模块
				2） 让PHP进程在运行时 调用redis模块
				3） 查看是否支持redis服务
				4） 测试配置
						4.1 在网站服务器编写PHP脚本 存储数据 和查询数据
								#编写存储数据的脚本
								#编写查询数据的脚本
						4.2 在客户端访问网站服务器php脚本

4.3 在Redis服务器本机查看内存里的数据
							能够看到PHP存储的数据为成功
```

```
[root@host50~]#tar -xf redis-cluster-4.3.0.tgz 
[root@host50~]#cd redis-4.3.0/
[root@host50 redis-4.3.0]# phpize  创建配置命令configure 和生产PHP配置信息文件/usr/bin/php-config 
Configuring for:
PHP Api Version:         20100412
Zend Module Api No:      20100525
Zend Extension Api No:   220100525
[root@host50 redis-4.3.0]# ./configure  --with-php-config=/usr/bin/php-config  #配置
[root@host50 redis-4.3.0]# make 编译
[root@host50 redis-4.3.0]# make install 安装 
Installing shared extensions:     /usr/lib64/php/modules/   #提示模块的安装目录
[root@host50 redis-4.3.0]# 
[root@host50 redis-4.3.0]# ls /usr/lib64/php/modules/  #查看目录下的模块列表 有redis.so 模块文件即可
curl.so      json.so    mysql.so      pdo.so         phar.so   sqlite3.so
fileinfo.so  mysqli.so  pdo_mysql.so  pdo_sqlite.so  redis.so  zip.so
[root@host50 redis-4.3.0]# 
			
[root@host50 redis-4.3.0]# vim /etc/php.ini
 728 extension_dir = "/usr/lib64/php/modules/"  模块文件所在的目录
 730 extension = "redis.so" 模块名 
:wq
			
[root@host50 redis-4.3.0]# systemctl  restart php-fpm
[root@host50 ~]# php -m  | grep -i  redis  #查看支持的模块
redis
```

# 三.部署redis集群(最少3台主)

51-56 共六台redis服务器，3台master3台slave。。57为管理主机

## 配置redis服务器

#### 第1步 安装redis软件并做初始化配置

#### 第2步 停止按照初始化配置启动的Redis服务

#### 第3步 修改主配置文件(启用集群功能)

#### 第4步启动redis服务 并查看端口号

#### 重要说明：内存里不允许有数据 不能设置连接密码  （如果有要清除）创建集群前内存中不能有数据。

```
 yum -y install gcc 
[root@host56 ~]# tar -xf redis-4.0.8.tar.gz 
[root@host56 ~]# cd redis-4.0.8/
[root@host56 ~]# make && make install
[root@host56 ~]# ./utils/install_server.sh  遇到提示就回车
[root@host56 ~]# /etc/init.d/redis_6379  stop
[root@host56 ~]# sed -n '70p;93p;815p;823p;829p' /etc/redis/6379.conf 
bind 192.168.4.56 
port 6379
cluster-enabled yes
cluster-config-file nodes-6379.conf
cluster-node-timeout 5000
[root@host56 ~]# 	       
[root@host56 ~]# /etc/init.d/redis_6379  start
[root@host56 ~]# netstat  -utnlp  | grep redis-server
tcp        0      0 192.168.4.56:16379      0.0.0.0:*               LISTEN      4249/redis-server 1 
tcp        0      0 192.168.4.56:6379       0.0.0.0:*               LISTEN      4249/redis-server 1
```

## 配置管理主机 192.168.4.57

### 		 第一步：准备ruby脚本的运行环境

### 		 第二步：创建脚本

### 		 第三步：查看脚本redis-trib.rb帮助信息

]#yum  -y  install   rubygems   ruby 
]#gem  install  redis-3.2.1.gem
]#mkdir  /root/bin     			//创建命令检索目录
]#tar -xf redis-4.0.8.tar.gz
]#cp  redis-4.0.8/src/redis-trib.rb   /root/bin/  	
]#chmod  +x   /root/bin/redis-trib.rb  设置执行权限
]#redis-trib.rb   help   （能看到帮助信息为成功）

#### 在管理主机mgm57 执行创建集群的命令

创建集群的命令格式   [root@mgm57 ~]# redis-trib.rb  create --replicas 数字   ip地址:端口  ip地址:端口  ip地址:端口  ....
		说明，创建集群时，会把前3台服务器 配置为主服务器，剩下的其他主机全做从服务器
		--replicas 从服务器的台数（指定每个主服务器有几台从服务器）
redis-trib.rb create --replicas 1  192.168.4.51:6379  192.168.4.52:6379 192.168.4.53:6379 192.168.4.54:6379 192.168.4.55:6379 192.168.4.56:6379

```
#查看集群统计信息 
[root@mgm57 ~]# redis-trib.rb info  192.168.4.56:6379        通过任意主机连接到集群
192.168.4.53:6379 (f2c1bdb7...) -> 0 keys | 5461 slots | 1 slaves.
192.168.4.51:6379 (0eb3b7aa...) -> 0 keys | 5461 slots | 1 slaves.
192.168.4.52:6379 (a9cb8ccd...) -> 0 keys | 5462 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0.00 keys per slot on average.
#查看集群详细信息
[root@mgm57 ~]# redis-trib.rb check  192.168.4.51:6379
```

# 集群的管理

通过master主机的hash槽数量来按比例分配数据，集群主机的添加和删除移除去的主机reids服务会自动关闭

## 从服务器的管理

```
	    说明：什么情况下需要向集群里添加新主机（添加master角色服务器）
			  扩大内存空间（添加master角色服务器）。
			  为了保证服务的可靠性（给主服务器添加多个从服务器）
```

### 1.移除从服务器（通过从的id来指定移除）（在管理主机上操作）

1.查询集群状态，redis-trib.rb info  192.168.4.56:6379        通过任意主机连接到集群

2.查看集群详细信息  redis-trib.rb check  192.168.4.51:6379    查看对应从主机的id号

3.**删除从服务器redis-trib.rb del-node  集群中指定主机的Ip:端口    id**

4.检查结果     redis-trib.rb  info  192.168.4.56:6379                通过任意主机连接到集群

### 2.添加从服务器（指定为从）（指定集群）（自动选择从最少的主服务器）

1.准备从服务器   启动从服务开启端口。

2.若从服务器是之前在主上面移下来的，需要清空自己的集群记录。

[root@host51 ~]# redis-cli -h 192.168.4.51 -p 6379    连接自己redis服务cluster info查看自己的集群记录，还保存着之前的记录，cluster reset   清空记录，并flushall 删除内存里说有变量。

3.redis-trib.rb add-node     新主机Ip:端口        集群中已有主机的ip:端口

## 主服务器的管理

### 1.添加从服务器  （默认为主）（指定集群）（划分hash slots哈希槽，对应数据也会过去）

1.添加主服务器        redis-trib.rb add-node     新主机Ip:端口        集群中已有主机的ip:端口

2.划分hash槽           redis-trib.rb   reshard          集群中已有主机的ip:端口      （可多次执行累加槽数量）

### 2.移除主服务器（先释放hash槽，槽对应着数据，直接移除后会丢失数据）（通过从的id来指定移除）（从服务器会自动分配）

1.检查集群信息  redis-trib.rb info  192.168.4.56:6379        通过任意主机连接到集群

2.释放对应主服务器的hash槽     redis-trib.rb  reshard  192.168.4.56:6379   通过任意主机连接到集群

3.移除对应主机  redis-trib.rb del-node  集群中指定主机的Ip:端口    id

# 主从复制

#### 		redis服务的主从复制（与mysql服务主同步的功能一样，都是实现数据自动同步的存储结构。

**主服务器**：接收客户端连接
        **从服务器**：连接主服务器同步数据,原来数据会被主服务器覆盖

第一次同步是完全同步，后面就是增量同步。

####         主从复制结构模式： 一主一从   、 一主多从 、 主从从

## 三种结构模式配置方式一样。从服务器只能进行读操作。

```
        redis主从复制工作过程（数据同步原理）：
            ！！！说明！！！：从服务器首次做的是全量同步，且同步的数据会覆盖本机的数据
            第1步：slave向master发送sync命令
            第2步：master启动后台存盘进程，并收集所有修改数据命令
            第3步：master完成后台存盘后，传送整个数据文件到slave 
            第4步：slave接收数据文件，加载到内存中完成首次完全同步，后续有新数据产生时，master继续收集数据修改命令依次传给slave，完成同步
```

```
     临时配置从服务器  
       命令行配置命令（马上生效 但不永久 适合配置线上服务器） 
        info  replication     #查看复制信息
        slaveof   主服务器ip地址   主服务器端口号   #指定主服务服务器IP地址和服务端口号
        slaveof   no  one                         #临时恢复为主服务器，复制主的数据还在。
      永久配置从服务器哦
       1. 修改配置文件(永久有效,重启了redis服务依然有效)
        ]# vim /etc/redis/6379.conf
        slaveof  主服务器ip地址   主服务器端口号
		:wq
        2. 数据库中执行命令行config rewirte 完成写入
		!!!说明!!!!
        redis服务运行后 默认角色就是master（主）所以一台主机做master 服务器的话 无需配置。
        主从结构中的从服务器 都是只读的， 客户端连接从服务器对数据仅有查询权限 
```

## 加密架构

### 主服务器设置密码

1. 在配置文件/etc/redis/6379.conf中修改requirepass内容
2. 在redis内，命令行config   get  requirepass   config    set     requirepass   '123456'     然后执行  config rewrite保存到配置文件中

### 从服务器在redis服务中保存主服务器密码

在redis服务中执行config set masterauth ‘123456’   ，并config   rewrite    保存到配置文件中。

## 哨兵服务

###       什么是哨兵服务：

监视主从复制结构中主服务器，发现主服务器无法连接后，会把对应的从升级为主数据库服务器，
        继续监视新的主数据库服务器，坏掉的主数据库服务器恢复后，会自动做当前主服务器的从主机。

**哨兵服务+redis主从服务** 能够实现redis服务**高可用**和**数据的自动备份**，**但远比Redis集群的资金成本和运维成本要低。**

说明： 
	    1）可以使用一主一从或 一主多从 或 主从从   +   哨兵服务 做服务的高可用 和 数据自动备份  
		2）如果主从结构中的redis服务设置连接密码的话必须全每台数据库都要设置密码且密码要一样，
        3）宕机的服务器 启动服务后，要人为指定主服务器的连接密码					
							
							
诉求： 192.168.4.57 主机做哨兵服务器  +  主从从结构 实现redis服务的高可用

1.装包编译安装redis服务（无需做初始化配置，如果做了初始化把redis服务停止即可）

2.编写哨兵服务配置文件/etc/sentinel.conf（说明源码包里有哨兵服务配置文件的模板sentinel.conf）

```
                #说明源码包里有哨兵服务配置文件的模板sentinel.conf
				[root@host57 ~]# vim  /etc/sentinel.conf
			    bind  192.168.4.57
				sentinel   monitor    redis_server   192.168.4.51   6379   1
				sentinel auth-pass    redis_server   123456   #如果主服务器没有连接密码此配置项可用省略
				:wq
```

3.启动哨兵服务redis-sentinel /etc/sentnel.conf（会占用当前终端显示启动信息）

```
 [root@mgm57 redis-4.0.8]# nohup redis-sentinel  /etc/sentinel.conf  &
[1] 5701
[root@mgm57 redis-4.0.8]# nohup: 忽略输入并把输出追加到"nohup.out"   回车即可

[root@mgm57 redis-4.0.8]# jobs  查看当前终端后台进程
[1]+  运行中               nohup redis-sentinel /etc/sentinel.conf &
[root@mgm57 redis-4.0.8]# 
```

# 持久化：支持数据的永久存储

## 持久化方式

### 1.RDB      (Redis DataBase)   二进制格式

在配置文件/etc/redis/6379.config 中    dbfilename 项可以自定义文件名，默认dump.rdb。默认用bgsave非阻塞写存盘保存后台运行     手动用save阻塞写存盘也行           每次关闭redis服务时  （意外关闭不行）   或配置文件更改 保存时间  （有可能会丢失该时间段内的数据） 自动在redis目录下生成dump.rdb文件   开机时会自动把dump.rdb文件加载到内存中，所以会占用内存，所以redis服务适用于读的多，写的少的场景。

### 2.RDB方式的优/缺点

优点：
               高性能的持久化实现 —— 创建一个子进程来执行持久化，先将数据写入临时文件，持久化过程结束后，再用这个临时文件替换上次持久化好的文件；
               过程中主进程不做任何IO操作比较适合大规模数据恢复，且对数据完整性要求不是非常高的场合

缺点：意外宕机时，丢失最后一次持久化的所有数据

### 2.AOF （Append only file）在配置文件中，默认没有启用。文本格式

在reids服务中config set appendonly     yes   启用     config rewrite      appendfilename指定文件名默认appendonly.aof。 永久保存在配置文件中    同时在redis服务目录/var/lib/redis/6379/下生成appendonly.aof  文件      实现数据库的时时同步   类似mysql的binlig日志。

当AOF    与  RDB  同时存在时，AOF优先。

## 优化配置

### 1.AOF文件记录写操作的方式( vim /etc/redis/6379.conf )

appendfsync     always     时时记录，并完成磁盘同步

appendfsync       ecerysec   默认方式  每秒记录一次，并完成磁盘同步

appendfsync       no        只是将命令 写入aof文件中，不执行磁盘同步，数据会按配置文件中设置的时间完成磁盘同步

### 2.AOF方式数据压缩优化

auto-aof-rewrite-min-size   64mb   //首次重写触发值
                    auto-aof-rewrite-percentage  100   //再次重写，增长百分比

查看日志文件，有提示信息，执行修补脚本来修复备份文件

redis-check-rdb  --fix   文件路径        修复dump.rdb

redis-check-aof  --fix   文件路径          修复appendonly.aof

### 3.AOF方式的优/缺点

优点：可以灵活设置持久化方式    ，出现意外宕机时，仅可能丢失1秒的数据，当AOF的文件记录方式为默认的appendfsync everysec 时。

缺点： 持久化文件的体积通常会比RDB 方式大，执行fsync策略时的速度可能会比RDB方式慢

# 数据类型（操作多 ，主要掌握对不同类型数据的管理命令）

在数据是通过程序员写网站脚本存储在 redis 服务器的内存里。
数据库运维需要对存储在服务器内存里的数据做管理,
管理包括: 查看 修改 删除 存储新数据 ，不同类型的数据要使用对应的命令管理

## redis服务支持的数据类型如下：

1) 字符类型（ string）    字符串  可以是英文字母 或 汉字

2) 列表类型  （list）     一个变量名 存储多个数据 （类似于shell脚本语言的数组）

3）Hash 类型 （hash）    一个变量里可以存储多列 每列对应一个值

4）集合类型		也是让一个变量可以存储多个数据 （和python 语言集合类型是一个意思）
                         集合分为有序集合类型（zset）   和 无序集合类型（ set）

GYY/nsd2109

简介

发行版

贡献者

近期动态

GYY/nsd2109 .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

GYY/nsd2109