一、Redis简介
1.1 NoSQL
NoSQL(Not Only SQL),意为“不仅仅是SQL”,是一项全新的数据库概念,泛指非关系型的数据库,随着互联网web2.0网站的兴起,传统的关系数据库再应付web2.0网站,特别是超大规模和高并发的SNS类型,web2.0纯动态网站已经显得力不从心,暴露了很多难以客服的问题,而非关系型数据库则由于其本身的特点得到了非常迅速的发展。NoSQL数据库的产生就是为了解决大规模数据集合多重数据种类带来的挑战,尤其是大数据应用难题。
1.2 NoSQL和关系行数据库比较
优点:
- 成本:nosql数据库简单易部署,基本都是开源软件不需要像使用oracle那样花费大量成本购 买使用,相比关系型数据库价格便宜。
- 查询速度:nosql数据库将数据存储于缓存之中,关系型数据库将数据存储在硬盘中,自然查询 速度远不及nosql数据库。
- 存储数据的格式:nosql的存储格式是key,value形式、文档形式、图片形式等等,所以可以存 储 基础类型以及对象或者是集合等各种格式,而数据库则只支持基础类型。
- 扩展性:关系型数据库有类似join这样的多表查询机制的限制导致扩展很艰难。
缺点:
- 维护的工具和资料有限,因为nosql是属于新的技术,不能和关系型数据库10几年的技术同日而语。
- 不提供对sql的支持,如果不支持sql这样的工业标准(不遵循SQL标准),将产生一定用户的学习 和使用成本。
- 不提供关系型数据库对事务的处理。
1.3 主流的NOSQL产品
键值(Key-Value)存储数据库
相关产品:Tokyo Cabinet/Tyrant、Redis、Voldemort、Berkeley DB
典型应用:内容缓存,主要用于处理大量数据的高访问负载。
数据模型:一系列键值对
优势:快速查询
劣势:存储的数据缺少结构化
列存储数据库
相关产品:Cassandra, HBase, Riak
典型应用:分布式的文件系统
数据模型:以列簇式存储,将同一列数据存在一起
优势:查找速度快,可扩展性强,更容易进行分布式扩展
劣势:功能相对局限
文档型数据库
相关产品:CouchDB、MongoDB
典型应用:Web应用(与Key-Value类似,Value是结构化的)
数据模型: 一系列键值对
优势:数据结构要求不严格
劣势: 查询性能不高,而且缺乏统一的查询语法
图形(Graph)数据库
相关数据库:Neo4J、InfoGrid、Infinite Graph
典型应用:社交网络
数据模型:图结构
优势:利用图结构相关算法。
劣势:需要对整个图做计算才能得出结果,不容易做分布式的集群方案。
解决方案(电商场景)
1. 商品基本信息
- 名称
- 价格 Mysql
- 厂商
2. 商品附加信息
- 描述
- 详情 MongoDB
- 评论
3. 图片信息 分布式文件系统
4. 搜索关键字 ES,solr
5. 热点信息
- 高频 Redis、memcache、tair
- 波段性
1.4 什么是Redis
概念:Redis(REmote Dictionary Server)是用C语言开发的一个开源的高性能键值对(key-value)数据库
特征:
- 数据间没有必然的关联关系
- 内部采用单线程机制进行工作
- 高性能,官方提供测试数据,50个并发执行100000个请求,读的速度是110000次/s,写的速度是810000次/s。
- 多数据类型支持:
- 字符串类型 String
- 列表类型 List
- 散列类型 hash
- 集合类型 set
- 有续集合类型 sorted_set
- 持久化支持,可以进行数据灾难恢复
二、Redis的下载与安装
略
三、Redis基本操作
命令行模式工具使用
- 功能性命令
- 清除屏幕信息
- 帮助信息查阅
- 退出指令
信息添加
- 功能:设置key,value数据
- 命令:set key value
信息查询
- 功能:根据key查询对应的value,如果不存在,返回空(nill)
- 命令:get key
清除屏幕信息
- 功能:清除屏幕中的信息
- 命令:clear
退出客户端命令行模式
- 功能:退出客户端
- 命令:quit exit 按钮
帮助
- 功能:获取命令帮助文档,获取组中所有命令信息名称
- 命令:
- help 命令名称
- help @组名
四、Redis数据类型(5种常用)
- string String
- hash HashMap
- list LinkedList
- set HashSet
- sorted_set TreeSet
redis数据存储格式
- redis自身是一个Map其中所有的数据都是采用key:value的形式存储
- 数据类型指的是存储的数据的类型,也就是value部分的类型,key部分永远都是字符串
- key的语法:
- 在一个项目中,key最好使用统一的命名格式
- key区分大小写
- key不要太长,尽量不要超过1024字节,不仅消耗内存,也会降低查找的效率
- key不要太短,太短可读性会降低
- key的语法:
4.1 String
存储的数据:单个数据,最简单的数据存储类型,也是常用的数据存储类型
存储数据的格式:一个存储空间保存一个数据
存储内容:通常使用字符串,如果字符串以整数形式展示,可以作为数字操作使用
==========================字符串类型 string==========================
添加/修改数据
set key value获取数据
get key删除数据
del key添加/修改多个数据
mset key1 value1 key2 value2 …(m代表Multiple)获取多个数据
mget key1 key2 …获取数据字符个数(字符串长度)
strlen key追加信息到原始信息后部(如果原始信息存在就追加,否则新建)
append key value按照范围获取
GETRANGE key 开始下标 结束下标替换
SETRANGE key 位置先get然后在set
getset key value业务场景一:==========================================================
大型企业级应用中,随着数据量的递增,分表操作是基本操作,使用多张表存储同类型数据,但是对应的主键
id 必须保证统一性,不能重复。Oracle 数据库具有 sequence 设定,可以解决该问题,但是 MySQL数
据库并不具有类似的机制,那么如何解决?
设置数值数据增加指定范围的值
incr keyincrby key incrementincrbyfloat key increment设置数值数据减少指定范围的值
decr keydecrby key increment业务场景二:==========================================================
“中国有嘻哈”启动海选投票,只能通过微信投票,每个微信号每 4 小时只能投1票。
电商商家开启热门商品推荐热门商品不能一直处于热门,每种商品热门期维持3天,3天后自动取消热门。
新闻网站会出现热点新闻,热点新闻最大的特征是时效性,如何自动控制热点新闻的时效性。
设置数据具有指定的生命周期
setex key seconds valuepsetex key milliseconds value设置key的过期时间
EXPIRE key seconds查看key的剩余时间
ttl keyTips 2:redis 控制数据的生命周期,通过数据是否失效控制业务行为,适用于所有具有时效性限定控制的操作
业务场景三:==========================================================
主页高频访问信息显示控制,例如新浪微博大V主页显示粉丝数与微博数量
关注数focuss 粉丝数fans 微博数blogs解决方案
在redis中为大V用户设定用户信息,以用户主键和属性值作为key,后台设定定时刷新策略即可
eg: user:id:3506728370:fans → 12210947eg: user:id:3506728370:blogs → 6164eg: user:id:3506728370:focuss → 83在redis中以json格式存储大V用户信息,定时刷新(也可以使用hash类型)
eg: user:id:3506728370 → {"id":3506728370,"name":"春晚","fans":12210862,"blogs":6164, "focus":83}
Tips 3:redis应用于各种结构型和非结构型高热度数据访问加速
key 的设置约定===数据库中的热点数据key命名惯例
表名:主键名:主键值:字段名
eg: order:id:9527:name : 王瑞豪注意事项:==========================================================
数据操作不成功的反馈与数据正常操作之间的差异
① 表示运行结果是否成功
(integer) 0 → false 失败(integer) 1 → true 成功② 表示运行结果值
(integer) 3 → 3 3个(integer) 1 → 1 1个数据未获取到
(nil)等同于null数据最大存储量
512MB
数值计算最大范围(java中的long的最大值)
9223372036854775807
4.2 hash
存储的困惑
对象类数据的存储如果具有较频繁的更新需求操作会显得笨重
hash哈希特点
- 新的存储需求:对一系列存储的数据进行编组,方便管理,典型应用存储对象信息
- 需要的存储结构:一个存储空间保存多个键值对数据
- hash类型:底层使用哈希表结构实现数据存储
hash存储结构优化
- 如果field数量较少,存储结构优化为类数组结构
- 如果field数量较多,存储结构使用HashMap结构
==========================hash哈希类型==========================
添加/修改数据
hset key field value
添加,但是有则不添加,无则添加
hsetnx key field value
获取数据
hget key field
hgetall key
删除数据
hdel key field1 [field2]
添加/修改多个数据
hmset key field1 value1 field2 value2 …
获取多个数据
hmget key field1 field2 …
获取哈希表中字段的数量
hlen key
获取哈希表中是否存在指定的字段
hexists key field
获取哈希表中所有的字段名或字段值
hkeys key
hvals key
设置指定字段的数值数据增加指定范围的值
hincrby key field increment
hincrbyfloat key field increment
hash 类型数据操作的注意事项
1.hash类型下的value只能存储字符串,不允许存储其他数据类型,不存在嵌套现象。如果数据未获取
到,对应的值为(nil)
2.每个 hash 可以存储 2^32^-1个键值对
3.hash类型十分贴近对象的数据存储形式,并且可以灵活添加删除对象属性。但hash设计初衷不是为了
存储大量对象而设计的,切记不可滥用,更不可以将hash作为对象列表使用
4.hgetall 操作可以获取全部属性,如果内部field过多,遍历整体数据效率就很会低,有可能成为数
据访问瓶颈
业务场景一:==========================================================
string存储对象(json)与hash存储对象
Stirng存对象强调整体性一般用于读
hash存对象强调灵活性一般用于写
业务场景二:==========================================================
电商网站购物车设计与实现
购物车的redis存储模型
添加、浏览、更改数量、删除、清空
解决方案
- 以客户id作为key,每位客户创建一个hash存储结构存储对应的购物车信息
- 将商品编号作为field,购买数量作为value进行存储
- 添加商品:追加全新的field与value
- 浏览:遍历hash
- 更改数量:自增/自减,设置value值
- 删除商品:删除field
- 清空:删除key
4.3 List
- 数据存储需求:存储多个数据,并对数据进入存储空间的顺序进行区分
- 需要的存储结构:一个存储空间保存多个数据,且通过数据可以体现进入顺序
- list类型:保存多个数据,底层使用双向链表存储结构实现
==========================list==========================
添加/修改数据
lpush key value1 [value2] ……
rpush key value1 [value2] ……
获取数据
lrange key start stop
lindex key index
llen key
获取并移除数据
lpop key
rpop key
通过下标截取指定的长度,这个list已经被改变了,只剩下截取的元素
ltrim key start end
lset将列表中指定下标的值替换为另外一个值,更新操作
lset key 下标 新数据 # 如果不存在列表我们去更新就会报错
将某个具体的value插入到列中的某个元素的前面或者后面!
LINSERT mylist before "world" "other"
LINSERT mylist after "world" "other"
规定时间内获取并移除数据 b代表block阻塞
blpop key1 [key2] timeout
brpop key1 [key2] timeout
eg:lpush list1 a b
lpop list1 ===a
lpop list1 ===b
lpop list1 ===nil 立刻响应为空,但如果是blpop会阻塞,也就是会等,现在没数据不意味着未来
没有
blpop list1 30 获取数据,有则返回,没有则等待30秒
可以打开2个客户端演示
业务场景一:==========================================================
list 类型数据操作注意事项
- list中保存的数据都是string类型的,数据总容量是有限的,最多2^32^-1个元素 (4294967295)
- list具有索引的概念,但是操作数据时通常以队列的形式进行入队出队操作,或以栈的形式进行入栈出 栈操作
- 获取全部数据操作结束索引设置为-1
- list可以对数据进行分页操作,通常第一页的信息来自于list,第2页及更多的信息通过数据库的形式加载
4.4 Set
- 新的存储需求:存储大量的数据,在查询方面提供更高的效率
- 需要的存储结构:能够保存大量的数据,高效的内部存储机制,便于查询
- set类型:与hash存储结构完全相同,仅存储键,不存储值(nil),并且值是不允许重复的
==========================Set==========================
添加数据
sadd key member1 [member2]
获取全部数据
smembers key
删除数据
srem key member1 [member2]
获取集合数据总量
scard key
判断集合中是否包含指定数据
sismember key member
业务场景一:==========================================================
每位用户首次使用今日头条时会设置3项爱好的内容,但是后期为了增加用户的活跃度、兴趣点,必须让用户
对其他信息类别逐渐产生兴趣,增加客户留存度,如何实现?
业务分析
1.系统分析出各个分类的最新或最热点信息条目并组织成set集合
2.随机挑选其中部分信息
3.配合用户关注信息分类中的热点信息组织成展示的全信息集合
解决方案
随机获取集合中指定数量的数据
srandmember key [count]
随机获取集合中的某个数据并将该数据移出集合
spop key [count]
Tips 1:
redis 应用于随机推荐类信息检索,例如热点歌单推荐,热点新闻推荐,热卖旅游线路,应用APP推荐,
大V推荐等
业务场景二:==========================================================
1.脉脉为了促进用户间的交流,保障业务成单率的提升,需要让每位用户拥有大量的好友,事实上职场新人不
具有更多的职场好友,如何快速为用户积累更多的好友?
2.新浪微博为了增加用户热度,提高用户留存性,需要微博用户在关注更多的人,以此获得更多的信息或热门
话题,如何提高用户关注他人的总量?
3.QQ新用户入网年龄越来越低,这些用户的朋友圈交际圈非常小,往往集中在一所学校甚至一个班级中,如何
帮助用户快速积累好友用户带来更多的活跃度?
4.美团外卖为了提升成单量,必须帮助用户挖掘美食需求,如何推荐给用户最适合自己的美食?
解决方案
求两个集合的交、并、差集
sinter key1 [key2]
sunion key1 [key2]
sdiff key1 [key2]
求两个集合的交、并、差集并存储到指定集合中
sinterstore destination key1 [key2]
sunionstore destination key1 [key2]
sdiffstore destination key1 [key2]
将指定数据从原始集合中移动到目标集合中
smove source destination member
set 类型数据操作的注意事项
1.set 类型不允许数据重复,如果添加的数据在 set 中已经存在,将只保留一份
2.set 虽然与hash的存储结构相同,但是无法启用hash中存储值的空间
4.5 sorted_set
- 新的存储需求:数据排序有利于数据的有效展示,需要提供一种可以根据自身特征进行排序的方式
- 需要的存储结构:新的存储模型,可以保存可排序的数据
- sorted_set类型:在set的存储结构基础上添加可排序字段
==========================sorted_set==========================
添加数据
zadd key score1 member1 [score2 member2]
获取全部数据
zrange key start(开始索引) stop(结束索引) [WITHSCORES] #[WITHSCORES]可以除了数据还
显示分值
zrevrange key start stop [WITHSCORES] 反转
删除数据
zrem key member [member ...]
获取集合数据总量
zcard key
五、Jedis
我们要使用 Java 来操作 Redis,什么是Jedis 是 Redis 官方推荐的 java连接开发工具! 使用Java 操作 Redis 中间件!
1.导入对应的依赖
<!--导入jedis的包-->
<dependencies>
<!-- https://mvnrepository.com/artifact/redis.clients/jedis -->
<dependency>
<groupId>redis.clients</groupId>
<artifactId>jedis</artifactId>
<version>3.2.0</version>
</dependency>
</dependencies>
2、编码测试
import redis.clients.jedis.Jedis;
public class TestPing {public static void main(String[] args) {// 1、 new Jedis 对象即可Jedis jedis = new Jedis("127.0.0.1",6379);// jedis 所有的命令就是我们之前学习的所有指令!所以之前的指令学习很重要!System.out.println(jedis.ping());}
}