引言：理解Memcached内存占用过高的问题
Memcached作为一款高性能的分布式内存对象缓存系统，被广泛应用于各种Web应用中以提升数据访问速度。然而，随着业务规模的扩大和数据量的增加，Memcached内存占用过高甚至出现内存溢出（OOM）的问题时有发生。这不仅会影响缓存系统的性能，还可能导致服务不可用。本文将从配置优化和缓存策略调整两个方面，详细探讨如何解决Memcached内存占用过高和内存溢出的问题。
一、诊断Memcached内存占用问题
在解决问题之前，首先需要准确诊断问题。通过以下方法可以获取Memcached的内存使用情况：
使用
stats
命令
：通过Telnet或Memcached的客户端工具连接到服务器，执行
stats
命令，可以获取详细的统计信息，包括内存使用情况。
telnet localhost 11211
stats
关键指标包括：
bytes
：当前存储的item占用的总字节数。
limit_maxbytes
：Memcached允许使用的最大内存字节数。
evictions
：由于内存不足而被踢出的item数量。
使用
stats slabs
命令
：查看slab分配器的详细信息，了解不同大小的item如何分配内存。
stats slabs
使用
stats items
命令
：查看各个slab class中item的数量。
stats items
监控工具
：使用如
memcached-tool
、
mcstat
或第三方监控工具（如Prometheus + Grafana）来实时监控内存使用情况。
二、配置优化：调整Memcached参数
1. 调整
-m
参数（最大内存）
-m
参数用于设置Memcached可以使用的最大内存（单位为MB）。默认值为64MB。如果内存占用过高，首先检查这个值是否合理。
建议
：
根据服务器的总内存和业务需求合理设置
-m
值。例如，如果服务器有32GB内存，可以分配16GB给Memcached。
不要将所有内存都分配给Memcached，要留出足够的内存给操作系统和其他进程。
示例
：
# 启动Memcached并设置最大内存为16GB
memcached -m 16384 -p 11211 -u memcache -l 0.0.0.0 -c 1024 -M -R 10000
2. 调整
-M
参数（内存耗尽时是否禁止LRU踢出）
-M
参数用于指定当内存耗尽时，是否禁止LRU（Least Recently Used）踢出。默认情况下，
-M
参数是关闭的，即当内存耗尽时，Memcached会踢出旧的item以腾出空间。如果设置
-M
，则内存耗尽时会返回错误，而不是踢出item。
建议
：
在大多数情况下，不建议启用
-M
，因为这会导致写入失败，影响服务可用性。
如果业务对数据一致性要求极高，且可以容忍写入失败，可以考虑启用
-M
，但需要配合监控和告警机制。
示例
：
# 启用-M参数，内存耗尽时禁止LRU踢出
memcached -m 16384 -M -p 11211 -u memcache -l 0.0.0.0 -c 1024
3. 调整
-I
参数（slab页大小）
-I
参数用于设置slab页的大小（单位为MB），默认为1MB。增大slab页大小可以减少内存碎片，但也会增加内存浪费。
建议
：
如果存储的item大小差异较大，可以适当增大
-I
参数，例如设置为2MB或4MB。
但要注意，过大的
-I
参数会导致内存浪费，需要权衡。
示例
：
# 设置slab页大小为2MB
memcached -m 16384 -I 2m -p 11211 -u memcache -l 0.0.0.0 -c 1024
4. 调整
-f
参数（slab增长因子）
-f
参数用于设置slab的增长因子，默认为1.25。这个参数决定了不同slab class之间的大小比例。
建议
：
如果存储的item大小分布较为集中，可以调整
-f
参数以减少内存浪费。
例如，如果item大小主要在1KB到10KB之间，可以将
-f
设置为1.1，使得slab class之间的大小差异更小。
示例
：
# 设置slab增长因子为1.1
memcached -m 16384 -f 1.1 -p 11211 -u memcache -l 0.0.0.0 -c 1024
5. 调整
-n
参数（最小slab分配空间）
-n
参数用于设置slab的最小分配空间（单位为字节），默认为48字节。如果存储的item非常小，可以适当增大这个值以减少内存浪费。
建议
：
如果存储的item大部分小于48字节，可以适当增大
-n
参数。
但要注意，过大的
-n
参数会导致小item占用更多内存。
示例
：
# 设置最小slab分配空间为128字节
memcached -m 16384 -n 128 -p 11211 -u memcache -l 0.0.0.0 -c 1024
6. 调整
-R
参数（每个连接的最大请求率）
-R
参数用于设置每个连接的最大请求率（单位为req/sec），默认为0（无限制）。设置这个参数可以防止单个连接占用过多资源。
建议
：
在高并发场景下，设置
-R
参数可以保护Memcached服务器不被单个客户端的过多请求压垮。
例如，可以设置为10000 req/sec。
示例
：
# 设置每个连接的最大请求率为10000 req/sec
memcached -m 16384 -R 10000 -p 11211 -u memcache -l 0.0.0.0 -c 1024
7. 调整
-c
参数（最大连接数）
-c
参数用于设置Memcached的最大连接数，默认为1024。如果连接数过多，可能会导致内存占用过高。
建议
：
根据业务需求和服务器性能合理设置最大连接数。
如果连接数过多，可以考虑使用连接池或负载均衡来分担压力。
示例
：
# 设置最大连接数为2048
memcached -m 16384 -c 2048 -p 11211 -u memcache -l 0.0.0.0
8. 调整
-t
参数（线程数）
-t
参数用于设置Memcached使用的线程数，默认为4。线程数过多可能会导致上下文切换开销增加，线程数过少则无法充分利用多核CPU。
建议
：
通常设置为CPU核心数的一半到全部，具体根据业务负载测试调整。
例如，如果服务器有16核，可以设置为8或16。
示例
：
# 设置线程数为8
memcached -m 16384 -t 8 -p 11211 -u memcache -l 0.0.0.0 -c 1024
三、缓存策略调整：从应用层面优化
1. 合理设置缓存过期时间（TTL）
缓存过期时间（TTL）是控制内存占用的重要手段。如果TTL设置过长，缓存数据会占用大量内存；如果TTL设置过短，缓存命中率会下降。
建议
：
根据数据的访问频率和更新频率设置合理的TTL。
对于热点数据，可以设置较长的TTL；对于冷数据，设置较短的TTL。
可以使用动态TTL策略，根据数据的访问情况动态调整TTL。
示例
（Python）：
import memcache
import time
client = memcache.Client([‘127.0.0.1:11211’])
# 设置缓存，TTL为300秒（5分钟）
client.set(‘key1’, ‘value1’, time=300)
# 设置缓存，TTL为60秒（1分钟）
client.set(‘key2’, ‘value2’, time=60)
# 获取缓存
value1 = client.get(‘key1’)
value2 = client.get(‘key2’)
2. 使用更紧凑的数据格式
存储在Memcached中的数据格式会影响内存占用。使用更紧凑的数据格式可以减少内存使用。
建议
：
对于结构化数据，可以使用二进制格式（如MessagePack、Protocol Buffers）代替JSON或XML。
对于字符串数据，可以使用压缩算法（如gzip）进行压缩后再存储。
示例
（Python）：
import memcache
import json
import msgpack
import gzip
client = memcache.Client([‘127.0.0.1:11211’])
data = {‘name’: ‘Alice’, ‘age’: 30, ‘city’: ‘New York’}
# 使用JSON格式（未压缩）
json_data = json.dumps(data)
client.set(‘json_key’, json_data, time=300)
# 使用MessagePack格式（更紧凑）
msgpack_data = msgpack.packb(data)
client.set(‘msgpack_key’, msgpack_data, time=300)
# 使用压缩的JSON格式
compressed_json = gzip.compress(json_data.encode(‘utf-8’))
client.set(‘compressed_key’, compressed_json, time=300)
3. 避免存储过大的item
Memcached默认最大item大小为1MB（可以通过
-I
参数调整）。存储过大的item会导致内存碎片和性能下降。
建议
：
将大对象拆分为多个小对象存储。
如果必须存储大对象，考虑使用外部存储（如数据库或对象存储）。
示例
（Python）：
import memcache
import json
client = memcache.Client([‘127.0.0.1:11211’])
# 大对象示例
large_data = {‘data’: ‘x’ * 1000000} # 约1MB
# 拆分为多个小对象
chunk_size = 500000
chunks = [large_data[‘data’][i:i+chunk_size] for i in range(0, len(large_data[‘data’]), chunk_size)]
for i, chunk in enumerate(chunks):
client.set(f’large_key_{i}’, chunk, time=300)
# 读取时合并
retrieved_data = ”.join([client.get(f’large_key_{i}’) for i in range(len(chunks))])
4. 使用命名空间（Namespace）管理缓存
使用命名空间可以更方便地管理缓存数据，特别是在需要批量删除缓存时。
建议
：
为不同类型的数据设置不同的命名空间。
在需要批量删除时，可以通过修改命名空间的版本号来实现。
示例
（Python）：
import memcache
client = memcache.Client([‘127.0.0.1:11211’])
# 命名空间版本号
namespace_version = ‘v1′
# 设置缓存时使用命名空间
client.set(f'{namespace_version}:user:1’, {‘name’: ‘Alice’}, time=300)
client.set(f'{namespace_version}:user:2′, {‘name’: ‘Bob’}, time=300)
# 批量删除时，只需修改命名空间版本号
namespace_version = ‘v2’
# 旧的缓存将自动过期（根据TTL）或通过LRU踢出
5. 监控和清理冷数据
定期监控缓存的使用情况，识别并清理冷数据（长时间未访问的数据）。
建议
：
使用
stats items
和
stats slabs
命令分析哪些slab class中的item被频繁踢出。
根据业务逻辑，主动删除不再需要的缓存项。
示例
（Python）：
import memcache
import time
client = memcache.Client([‘127.0.0.1:11211’])
# 假设我们有一些缓存键
keys = [‘key1’, ‘key2’, ‘key3’]
# 检查缓存是否存在，如果不存在则删除
for key in keys:
if client.get(key) is None:
print(f”Key {key} is not in cache, deleting if exists”)
client.delete(key)
6. 使用一致性哈希减少缓存抖动
在分布式Memcached集群中，使用一致性哈希可以减少节点增减时的缓存抖动，从而减少内存占用的波动。
建议
：
在客户端使用一致性哈希算法来分配缓存节点。
避免使用简单的取模算法，因为节点数变化会导致大量缓存失效。
示例
（Python，使用
python-memcached
库，该库支持一致性哈希）：
import memcache
# 使用一致性哈希的客户端
client = memcache.Client([‘192.168.1.1:11211’, ‘192.168.1.2:11211’, ‘192.168.1.3:11211’], debug=0)
# 设置缓存
client.set(‘key1’, ‘value1’, time=300)
client.set(‘key2’, ‘value2’, time=300)
四、高级优化技巧
1. 使用Memcached的
stats
命令进行深度分析
通过
stats
命令获取的详细信息，可以进行深度分析，找出内存占用过高的根本原因。
关键指标分析
：
bytes
和
limit_maxbytes
：计算当前内存使用率，如果接近100%，说明内存不足。
evictions
：如果这个数字持续增长，说明内存不足，频繁踢出item。
curr_items
和
total_items
：当前缓存项数量和总缓存项数量，如果
curr_items
接近
total_items
，说明缓存项存活时间较长。
get_hits
和
get_misses
：缓存命中率，如果命中率低，可能需要调整缓存策略。
示例
：
# 通过Telnet连接并执行stats命令
telnet localhost 11211
stats
输出示例：
STAT pid 12345
STAT uptime 10000
STAT time 1600000000
STAT version 1.6.6
STAT libevent 2.1.12-stable
STAT pointer_size 64
STAT rusage_user 123.456
STAT rusage_system 78.901
STAT max_connections 2048
STAT curr_connections 1024
STAT total_connections 5000
STAT rejected_connections 0
STAT connection_structures 1024
STAT reserved_fds 20
STAT cmd_get 1000000
STAT cmd_set 500000
STAT cmd_flush 0
STAT cmd_touch 0
STAT get_hits 950000
STAT get_misses 50000
STAT delete_misses 1000
STAT delete_hits 9000
STAT incr_misses 500
STAT incr_hits 4500
STAT decr_misses 300
STAT decr_hits 2700
STAT cas_misses 200
STAT cas_hits 1800
STAT cas_badval 100
STAT touch_hits 0
STAT touch_misses 0
STAT auth_cmds 0
STAT auth_errors 0
STAT bytes 1000000000
STAT curr_items 10000
STAT total_items 50000
STAT evictions 1000
STAT bytes_read 2000000000
STAT bytes_written 3000000000
STAT limit_maxbytes 17179869184
STAT accepting_conns 1
STAT listen_disabled_num 0
STAT time_in_listen_disabled_us 0
STAT threads 8
STAT conn_yields 0
STAT hash_power_level 16
STAT hash_bytes 524288
STAT hash_is_expanding 0
STAT slab_reassign_running 0
STAT slab_automove 1
STAT slab_automove_freeratio 0.01
STAT lru_crawler 0
STAT lru_crawler_sleep 100
STAT lru_crawler_touched 0
STAT malloc_stats 0
STAT log_worker_dropped 0
STAT log_worker_written 0
STAT log_watcher_skipped 0
STAT log_watcher_sent 0
STAT bytes 1000000000
STAT curr_items 10000
STAT total_items 50000
STAT evictions 1000
STAT limit_maxbytes 17179869184
END
2. 使用
stats slabs
命令分析slab分配
stats slabs
命令可以显示每个slab class的内存分配情况，帮助识别内存碎片问题。
示例
：
telnet localhost 11211
stats slabs
输出示例：
STAT:1:chunk_size 96
STAT:1:chunks_per_page 10922
STAT:1:total_pages 1
STAT:1:total_chunks 10922
STAT:1:used_chunks 10000
STAT:1:free_chunks 922
STAT:1:free_chunks_end 0
STAT:1:mem_requested 960000
STAT:1:get_hits 100000
STAT:1:cmd_set 50000
STAT:1:delete_hits 5000
STAT:1:incr_hits 2500
STAT:1:decr_hits 2250
STAT:1:cas_hits 1800
STAT:1:cas_badval 100
STAT:1:touch_hits 0
STAT:2:chunk_size 120
STAT:2:chunks_per_page 8738
STAT:2:total_pages 1
STAT:2:total_chunks 8738
STAT:2:used_chunks 8000
STAT:2:free_chunks 738
STAT:2:free_chunks_end 0
STAT:2:mem_requested 960000
STAT:2:get_hits 80000
STAT:2:cmd_set 40000
STAT:2:delete_hits 4000
STAT:2:incr_hits 2000
STAT:2:decr_hits 1800
STAT:2:cas_hits 1440
STAT:2:cas_badval 80
STAT:2:touch_hits 0
…
END
分析
：
chunk_size
：slab class中每个chunk的大小。
total_chunks
：该slab class的总chunk数。
used_chunks
：已使用的chunk数。
mem_requested
：该slab class实际使用的内存。
如果
used_chunks
接近
total_chunks
，说明该slab class内存紧张。
3. 使用
stats items
命令分析item分布
stats items
命令可以显示每个slab class中的item数量，帮助了解数据分布情况。
示例
：
telnet localhost 11211
stats items
输出示例：
STAT items:1:number 10000
STAT items:1:age 1000
STAT items:1:evicted 100
STAT items:1:evicted_nonzero 100
STAT items:1:outofmemory 0
STAT items:1:tailrepairs 0
STAT items:1:reclaimed 0
STAT items:1:expired_unfetched 0
STAT items:1:evicted_unfetched 0
STAT items:1:crawler_reclaimed 0
STAT items:1:crawler_items_checked 0
STAT items:1:lrutail_reflocked 0
STAT items:2:number 8000
STAT items:2:age 800
STAT items:2:evicted 50
STAT items:2:evicted_nonzero 50
STAT items:2:outofmemory 0
STAT items:2:tailrepairs 0
STAT items:2:reclaimed 0
STAT items:2:expired_unfetched 0
STAT items:2:evicted_unfetched 0
STAT items:2:crawler_reclaimed 0
STAT items:2:crawler_items_checked 0
STAT items:2:lrutail_reflocked 0
…
END
分析
：
number
：该slab class中的item数量。
age
：最老item的年龄（单位为秒）。
evicted
：被踢出的item数量。
outofmemory
：因内存不足而无法存储的item数量。
如果某个slab class的
evicted
或
outofmemory
值较高，说明该slab class内存不足。
4. 使用
stats cachedump
命令查看具体item
stats cachedump
命令可以查看指定slab class中的具体item信息，帮助分析哪些item占用了大量内存。
示例
：
telnet localhost 11211
stats cachedump 1 10
输出示例：
ITEM key1 [16 b; 1600000000 s]
ITEM key2 [32 b; 1600000000 s]
ITEM key3 [64 b; 1600000000 s]
…
END
分析
：
显示前10个item的键、大小和过期时间。
可以帮助识别哪些item占用内存较大或即将过期。
5. 使用
lru_crawler
和
lru_maintainer
线程
Memcached 1.4.2+版本引入了
lru_crawler
和
lru_maintainer
线程，用于自动清理过期item和优化LRU队列。
建议
：
启用
lru_crawler
和
lru_maintainer
线程，可以自动清理过期item，减少内存占用。
通过
-o
参数启用这些线程。
示例
：
# 启用lru_crawler和lru_maintainer线程
memcached -m 16384 -o lru_crawler,lru_maintainer -p 11211 -u memcache -l 0.0.0.0 -c 1024
6. 使用
slab_reassign
和
slab_automove
功能
Memcached支持动态调整slab分配，通过
slab_reassign
和
slab_automove
功能，可以在运行时重新分配slab内存，减少内存碎片。
建议
：
启用
slab_automove
功能，让Memcached自动调整slab分配。
通过
-o
参数启用这些功能。
示例
：
# 启用slab_automove功能
memcached -m 16384 -o slab_automove -p 11211 -u memcache -l 0.0.0.0 -c 1024
五、总结
解决Memcached内存占用过高和内存溢出的问题，需要从配置优化和缓存策略调整两个方面入手。通过合理调整Memcached的启动参数，可以有效控制内存使用；通过优化缓存策略，可以减少不必要的内存占用。同时，定期监控和分析Memcached的运行状态，及时发现并解决问题，是保证缓存系统稳定运行的关键。
希望本文提供的详细指导和示例能够帮助您解决Memcached内存占用过高的问题。如果您有更多疑问或需要进一步的帮助，请随时联系。