如何使用redis缓存加索引处理数据库4种索引类型百万级并发

来源：蜘蛛抓取(WebSpider) 时间：2017-05-27 06:22 标签： 数据库4种索引类型

前言：事先说明：在实际应用中這种做法设计需要各位读者自己设计本文只提供一种思想。准备工作：安装后本地数redis服务器使用mysql数据库4种索引类型，事先插入1000万条数據可以参考我之前的文章插入数据，这里不再细说我大概的做法是这样的，编码使用多线程访问我的数据库4种索引类型在访问数据庫4种索引类型前先访问redis缓存没有的话在去查询数据库4种索引类型，需要注意的是redis最大连接数最好设置为300不然会出现很多报错。

 我的数据庫4种索引类型表数据是这样的可以看到我的t_name是1-，密码固定123456.利用循环创建线程很好做传入循环的次数作为查询的t_name就行了

采用redis缓存替换加索引的方案

1.在200并发访问下：

第一次访问结果：由于第一次访问缓存不存在该数据速度很慢

运行第二次访问后(redis数据库4种索引类型已存在数据)嘚结果：

2.当我尝试1000线程并发访问时redis直接挂掉，原因在于reids缓存并没有要查找的数据,就从数据库4种索引类型查找1000个线程同时并发访问数据库4種索引类型等待时间太长了，造成redis连接等待超时(就算把redis的超时等待时间设置为100分钟也没用会报redis连接被拒绝的错误)

3.当我利用循环事先把100万條数据插入redis缓存服务器后，在1万个线程并发访问测试下只需要5~6秒就拿到了查询结果效率出奇的快，而且没有报任何错

4.在3的条件下我把并發线程提升到100万个时测试在百万并发条件下查询性能，发现完全没有压力每个线程也是几毫秒就能查到结果，这个时候限制我速度的僦是电脑CPU了我的测试电脑是4核的，处理100万个线程起来比较慢下面是截图，运行到50多万个线程的时候我就停止了运行

 好了以上都是数據库4种索引类型查询的字段没有加索引直接利用redis缓存查找的

 而且有个弊端，百万级的并发访问需要事先把数据放到缓存中在实际中并不科学（因为并不知道那些是热点数据），下面来看看如何使用索引加缓存的效果

 我们来看看在有索引且redis缓存事先没有数据的时候创建100万個线程并发访问的结果

 没问题，这样就完成了百万级别下的并发访问但是这样我的程序创建线程很慢，因为我的电脑4核CPU的(但是要创建100万個线程）这个时候就是硬件设备的性能了，在设备硬件性能足够的条件下是没问题的

1.我的优化方案中只有两种一种是给查询的字段加組合索引。另一种是给在用户和数据库4种索引类型中增加缓存

2.添加索引方案：面对1~2千的并发是没有压力的在往上则限制的瓶颈就是数据庫4种索引类型最大连接数了，在上面中我用show global status like 'Max_used_connections’查看数据库4种索引类型可以知道数据库4种索引类型最大响应连接数是5700多超过这个数tomcat直接报錯连接被拒绝或者连接已经失效

3.缓存方案：在上面的测试可以知道，要是我们事先把数据库4种索引类型的千万条数据同步到redis缓存中瓶颈僦是我们的设备硬件性能了，假如我们的主机有几百个核心CPU就算是千万级的并发下也可以完全无压力，带个用户很好的

4.索引+缓存方案：缓存事先没有要查询的数据，在一万的并发下测试数据库4种索引类型毫无压力程序先通过查缓存再查数据库4种索引类型大大减轻了数據库4种索引类型的压力，即使缓存不命中在一万的并发下也能正常访问,在10万并发下数据库4种索引类型依然没压力但是redis服务器设置最大连接数300去处理10万的线程，4核CPU处理不过来很多redis连接不了。我用show global status like 'Max_used_connections'查看数据库4种索引类型发现最大响应连接数是388这么低所以数据库4种索引类型昰不会挂掉的。

5.使用场景：a.几百或者2000以下并发直接加上组合索引就可以了b.不想加索引又高并发的情况下可以先事先把数据放到缓存中，硬件设备支持下可解决百万级并发c.加索引且缓存事先没有数据，在硬件设备支持下可解决百万级并发问题d.不加索引且缓存事先没有数據，不可取要80多秒才能得到结果，用户体验极差

6.原理：其实使用了redis的话为什么数据库4种索引类型不会崩溃是因为redis最大连接数为300，这样數据库4种索引类型最大同时连接数也是300多所以不会挂掉，至于redis为什么设置为300是因为设置的太高就会报错(连接被拒绝)或者等待超时(就算设置等待超时的时间很长也会报这个错)

 最后说明：本文不代表实际应用开发场景，更多的是提供一种思想一种解决方案，如有错误请指正，谢谢

本代码需要的jar包下载地址：

前言：事先说明：在实际应用中這种做法设计需要各位读者自己设计本文只提供一种思想。准备工作：安装后本地数redis服务器使用mysql数据库4种索引类型，事先插入1000万条数據可以参考我之前的文章插入数据，这里不再细说我大概的做法是这样的，编码使用多线程访问我的数据库4种索引类型在访问数据庫4种索引类型前先访问redis缓存没有的话在去查询数据库4种索引类型，需要注意的是redis最大连接数最好设置为300不然会出现很多报错。

我的数据庫4种索引类型表数据是这样的可以看到我的t_name是1-，密码固定123456.利用循环创建线程很好做传入循环的次数作为查询的t_name就行了

采用redis缓存替换加索引的方案

1.在200并发访问下：

第一次访问结果：由于第一次访问缓存不存在该数据速度很慢

运行第二次访问后(redis数据库4种索引类型已存在数据)嘚结果：

2.当我尝试1000线程并发访问时redis直接挂掉，原因在于reids缓存并没有要查找的数据,就从数据库4种索引类型查找1000个线程同时并发访问数据库4種索引类型等待时间太长了，造成redis连接等待超时(就算把redis的超时等待时间设置为100分钟也没用会报redis连接被拒绝的错误)

3.当我利用循环事先把100万條数据插入redis缓存服务器后，在1万个线程并发访问测试下只需要5~6秒就拿到了查询结果效率出奇的快，而且没有报任何错

4.在3的条件下我把并發线程提升到100万个时测试在百万并发条件下查询性能，发现完全没有压力每个线程也是几毫秒就能查到结果，这个时候限制我速度的僦是电脑CPU了我的测试电脑是4核的，处理100万个线程起来比较慢下面是截图，运行到50多万个线程的时候我就停止了运行

好了以上都是数據库4种索引类型查询的字段没有加索引直接利用redis缓存查找的

而且有个弊端，百万级的并发访问需要事先把数据放到缓存中在实际中并不科学（因为并不知道那些是热点数据），下面来看看如何使用索引加缓存的效果

我们来看看在有索引且redis缓存事先没有数据的时候创建100万個线程并发访问的结果

没问题，这样就完成了百万级别下的并发访问但是这样我的程序创建线程很慢，因为我的电脑4核CPU的(但是要创建100万個线程）这个时候就是硬件设备的性能了，在设备硬件性能足够的条件下是没问题的

1.我的优化方案中只有两种一种是给查询的字段加組合索引。另一种是给在用户和数据库4种索引类型中增加缓存

2.添加索引方案：面对1~2千的并发是没有压力的在往上则限制的瓶颈就是数据庫4种索引类型最大连接数了，在上面中我用show global status like 'Max_used_connections’查看数据库4种索引类型可以知道数据库4种索引类型最大响应连接数是5700多超过这个数tomcat直接报錯连接被拒绝或者连接已经失效

3.缓存方案：在上面的测试可以知道，要是我们事先把数据库4种索引类型的千万条数据同步到redis缓存中瓶颈僦是我们的设备硬件性能了，假如我们的主机有几百个核心CPU就算是千万级的并发下也可以完全无压力，带个用户很好的

4.索引+缓存方案：缓存事先没有要查询的数据，在一万的并发下测试数据库4种索引类型毫无压力程序先通过查缓存再查数据库4种索引类型大大减轻了数據库4种索引类型的压力，即使缓存不命中在一万的并发下也能正常访问,在10万并发下数据库4种索引类型依然没压力但是redis服务器设置最大连接数300去处理10万的线程，4核CPU处理不过来很多redis连接不了。我用show global status like 'Max_used_connections'查看数据库4种索引类型发现最大响应连接数是388这么低所以数据库4种索引类型昰不会挂掉的。

5.使用场景：a.几百或者2000以下并发直接加上组合索引就可以了b.不想加索引又高并发的情况下可以先事先把数据放到缓存中，硬件设备支持下可解决百万级并发c.加索引且缓存事先没有数据，在硬件设备支持下可解决百万级并发问题d.不加索引且缓存事先没有数據，不可取要80多秒才能得到结果，用户体验极差

6.原理：其实使用了redis的话为什么数据库4种索引类型不会崩溃是因为redis最大连接数为300，这样數据库4种索引类型最大同时连接数也是300多所以不会挂掉，至于redis为什么设置为300是因为设置的太高就会报错(连接被拒绝)或者等待超时(就算设置等待超时的时间很长也会报这个错)

最后说明：本文不代表实际应用开发场景，更多的是提供一种思想一种解决方案，如有错误请指正，谢谢

我要回帖

更多关于 数据库4种索引类型 的文章

 

随机推荐