学习笔记之Memcached原理

浏览: 230 发布日期: 2016-11-29 分类: memcached

0x00 Memcached简述

Memcached是一套高性能的分布式内存对象缓存系统,用于在动态系统中减少数据库负载,提升性能。

0x01 Memcached特性

  • 基于libevent的事件处理

  • 内置内存存储方式SLab Allocation机制

  • 并不单一的数据删除机制

  • 基于客户端的分布式系统

0x02 高性能的基础:libevent事件处理

Libevent 是一个用C语言编写的、轻量级的开源高性能网络库,主要有以下几个亮点:事件驱动( event-driven),高性能;轻量级,专注于网络,不如 ACE 那么臃肿庞大;源代码相当精炼、易读;跨平台,支持 Windows、 Linux、 *BSD 和 Mac Os;支持多种 I/O 多路复用技术, epoll、 poll、 dev/poll、 select 和 kqueue 等;支持 I/O,定时器和信号等事件;注册事件优先级。

以上引自百度百科,在不支持I/O多路复用的情况下,一个线程同时只能处理一个socket文件操作符,所以当一个任务未完成时,线程需要等待任务的处理,这种处理模型效率低下。而I/O多路复用无需等待任务完成,而是将所有任务维护在一个I/O组中,在等待过程中线程可以去处理其他的任务,当某个任务完成后,再去操作该socket操作符。值得一提的是,在I/O多路复用技术中,epoll是非常棒的,相比于select模型,epoll没有文件操作符数量的限制;并且select模型是将所有操作符维护在一个I/O组中,当有socket数据可操作时,线程需要在组中寻找哪个文件操作符可操作,而epoll只将可操作的socket文件操作符给线程,线程无需自己寻找,可以直接操作该socket,提高了处理性能。

所以,使用libevent时间处理模型,非常好的提升了memcached的性能。

0x03 SLab Allocation机制

在memcached中,内存不是直接C语言提供的malloc() free() 进行管理的,因为原生的内存管理方式会造成内存碎片,会加重内存管理器的内存管理负担。而SLab Allocation机制完美的解决了内存碎片化的问题。

a.解决内存碎片化

SLab Allocator 在初始化时,通过将内存分配成预先设置的大小,将这些内存分割成特定长度的块(chunk),并把尺寸相同的chunk分成一个组,也就是chunk集合,而这种方式就解决了内存碎片化的问题。

b.内存预分配

在需要存储缓存数据时,memcached会在chunk中选择与所存数据大小最接近的chunk,并将数据存储到该chunk中,这样不需要每次在存储数据时,都向操作系统申请空间,提升了memcached的处理性能。

c.内存重复利用

当存储的数据过期后,memcached不会释放该数据的所占用的内存,而仅仅是将该数据标记为不可用,当有新数据需要存储时,memcached会将数据重新存储到该空间中,用这种方式对内存进行重复利用。

d.缺点

因为Slab Allocator将内存分割成固定大小的块,当存储的数据小于chunk的长度,会导致该chunk剩余空间的浪费。例如:当一个数据占用60K,而最接近的chunk长度为64K,此时就有4K的空间造成浪费。而目前仅有的调优方案是调整Growth Factor因子,让chunk的大小尽可能的接近,减少空间的浪费。

0x04 memached的删除机制
a.不会真正删除记录

当存储在memcached中的记录过期时,memcached不会释放该内存,而是让客户端对该记录不可见。留下内存来,让之后的存储记录进行内存重复利用。

b.Lazy Expiration(懒过期机制)

memcached为了提升性能,在内部不会对存储在memcached中的记录进行监视,而是在每次get数据的时候,对该记录的过期时间进行校验,当记录过期,则不返回数据。

c.LRU(最近最少使用)

虽然memcached拥有内存重复利用的机制,但是进行大量数据缓存时,还是会出现内存吃满,memcached无法在SLab中获取到空闲的内存,在这种情况下,memcached会触发LRU,会在最近未被使用的记录中进行搜索,并将这些空间分配给新的记录。

0x05 memcached的分布式

不同于其他软件的分布式,memcached的分布式不存在于服务端,而是完全由客户端进行分布式的处理。这样的好处是,减少memcached服务端之间的网络连接,当某一个服务器宕机时,不至于影响其他机器的正常使用。

a.根据余数计算分散

通过crc32()计算出键的整数哈希值,然后除以服务器的台数,求得余数进行服务器节点的选择,此种方式的优点是,简单易操作,并且数据的分散性也非常优秀。但缺点是,当改变服务器的数量时,缓存重组的代价巨大,在此过程中缓存的命中率急剧下降。

b.Consistent Hashing(一致性哈希)

首先求出memcached服务器节点的哈希值,并将其分配到一个0~2^32的圆上,我们称该这个圆为值域,之后通过同样的计算方式求出键的哈希值,并将值映射到圆上,然后从数据映射到的位置开始顺时针寻找,并将数据存储到找到的第一个服务器节点上,如果找到2^32仍然找不到就将数据存储到第一台memcached机器上。

当添加一台新机器时,通过同样的hash算法将该机器映射到圆上,影响的仅仅是新机器的节点到它的上一个节点之间的数据。

当删除一台机器时,同样也仅仅影响映射到删除的机器和它的上一台机器之间的数据,而不会造成大面积的缓存重组即rehash.

0x06 扩展阅读

memcached完全剖析

使用 libevent 和 libev 提高网络应用性能

高性能IO模型浅析

备注:资源和图片等均来自网络

原文作者:我才是二亮
原文链接:http://blog.2liang.me/2016/11/28/learn-memcached-principle/
转载请在正文中标注并保留原文链接、作者等信息。

返回顶部