1. Redis集合与有序集合深度解析Redis作为高性能键值数据库其Set集合和ZSet有序集合是两种极具特色的数据结构。在实际项目中我经常用它们来处理需要快速查询和排序的场景。今天就来详细剖析这两种数据结构的特性和典型应用。集合Set是String类型的无序集合最大特点是不允许重复元素。而有序集合ZSet在集合基础上为每个元素关联一个分数score使得元素可以按分数排序。这两种结构在排行榜、去重、社交关系等场景中表现尤为出色。2. 核心命令与使用场景2.1 集合(Set)基础操作集合最常用的三个命令是SADD、SMEMBERS和SISMEMBER# 添加元素 r.sadd(user:1001:follow, user:1002, user:1003) # 获取所有元素 followers r.smembers(user:1001:follow) # 检查元素是否存在 if r.sismember(user:1001:follow, user:1002): print(已关注)集合运算在实际开发中非常实用# 共同关注交集 common_follow r.sinter(user:1001:follow, user:1002:follow) # 推荐关注差集 recommend r.sdiff(user:1002:follow, user:1001:follow)注意当集合元素较多时SMEMBERS可能阻塞Redis。可以考虑使用SSCAN进行分批获取。2.2 有序集合(ZSet)核心操作有序集合的基本操作示例# 添加元素分数在前 r.zadd(leaderboard, {player1: 1000, player2: 850}) # 获取前10名带分数 top10 r.zrevrange(leaderboard, 0, 9, withscoresTrue) # 获取玩家排名从0开始 rank r.zrevrank(leaderboard, player1)范围查询是ZSet的杀手锏# 获取800-900分的玩家 players r.zrangebyscore(leaderboard, 800, 900) # 删除分数低于600的玩家 r.zremrangebyscore(leaderboard, -inf, 600)3. 底层实现原理3.1 集合的intset与hashtableRedis集合会根据元素数量和类型自动选择编码方式intset当元素都是整数且数量较少时默认≤512个hashtable其他情况可以通过配置修改转换阈值config set set-max-intset-entries 10243.2 有序集合的ziplist与skiplist有序集合同样有编码转换ziplist元素数量少默认≤128个且元素长度小默认≤64字节skiplistdict其他情况配置参数zset-max-ziplist-entries 128 zset-max-ziplist-value 64跳表skiplist是ZSet实现排序的关键平均查找复杂度O(logN)。每个节点包含元素值分数后退指针层级数组包含前进指针和跨度4. 性能优化实践4.1 大集合处理技巧当集合元素超过1万时需要注意避免使用SMEMBERS改用SSCANcursor 0 while True: cursor, elements r.sscan(large_set, cursor, count100) process(elements) if cursor 0: break集合运算可以考虑放到客户端处理# 替代SINTERSTORE set1 r.smembers(set1) set2 r.smembers(set2) result set1 set24.2 有序集合分片策略对于超大型排行榜如全网用户排名可以考虑按时间分片daily_leaderboard:20230701按ID范围分片leaderboard_shard_{0..9}二级索引存储用户所在分片def get_user_rank(user_id): shard_id hash(user_id) % 10 return r.zrevrank(fleaderboard_shard_{shard_id}, user_id)5. 典型应用场景实现5.1 实时排行榜系统完整实现示例class Leaderboard: def __init__(self, redis, key): self.r redis self.key key def add_score(self, user_id, score): # 使用INCRBY保证原子性 self.r.zincrby(self.key, score, user_id) def get_top(self, n, with_scoresFalse): return self.r.zrevrange(self.key, 0, n-1, withscoreswith_scores) def get_rank(self, user_id): return self.r.zrevrank(self.key, user_id) def get_around(self, user_id, radius2): rank self.get_rank(user_id) start max(0, rank - radius) end rank radius return self.r.zrevrange(self.key, start, end, withscoresTrue)5.2 社交关系处理共同好友与二度人脉实现def get_common_friends(user1, user2): return r.sinter(fuser:{user1}:friends, fuser:{user2}:friends) def get_second_degree(user_id): # 获取好友的好友排除直接好友 friends r.smembers(fuser:{user_id}:friends) pipeline r.pipeline() for friend in friends: pipeline.smembers(fuser:{friend}:friends) all_friends set() for result in pipeline.execute(): all_friends.update(result) return all_friends - friends6. 踩坑经验与问题排查6.1 常见问题解决ZSCORE返回nil先检查key是否存在再确认member是否存在if r.exists(leaderboard) and r.zscore(leaderboard, user1) is None: print(用户不在排行榜中)集合运算内存问题大集合运算可能导致Redis内存激增# 错误方式可能OOM result r.sinter(big_set1, big_set2) # 正确方式使用SINTERSTORE存储到新key r.sinterstore(temp_result, big_set1, big_set2) result r.smembers(temp_result) r.delete(temp_result)6.2 性能监控指标重要监控项set_max_intset_entries集合编码转换阈值zset_max_ziplist_entries有序集合编码转换阈值slowlog记录慢查询# 查看内存优化情况 print(r.memory_usage(large_set)) print(r.object(encoding, large_set))我在实际项目中总结的经验是对于频繁读取的热点数据即使元素较多也可以考虑保持ziplist编码以减少内存占用但要注意写操作的性能影响。
