文章插圖

文章插圖
緩存異常場(chǎng)景分類(lèi)
在實(shí)際生產(chǎn)環(huán)境中有時(shí)會(huì)遇到緩存穿透、緩存擊穿、緩存雪崩等異常場(chǎng)景，為了避免異常帶來(lái)巨大損失，我們需要了解每種異常發(fā)生的原因以及解決方案，幫助提升系統(tǒng)可靠性和高可用 。

文章插圖
緩存穿透
什么是緩存穿透？緩存穿透是指用戶請(qǐng)求的數(shù)據(jù)在緩存中不存在即沒(méi)有命中，同時(shí)在數(shù)據(jù)庫(kù)中也不存在，導(dǎo)致用戶每次請(qǐng)求該數(shù)據(jù)都要去數(shù)據(jù)庫(kù)中查詢一遍，然后返回空 。
如果有惡意攻擊者不斷請(qǐng)求系統(tǒng)中不存在的數(shù)據(jù)，會(huì)導(dǎo)致短時(shí)間大量請(qǐng)求落在數(shù)據(jù)庫(kù)上，造成數(shù)據(jù)庫(kù)壓力過(guò)大，甚至擊垮數(shù)據(jù)庫(kù)系統(tǒng) 。
緩存穿透常用的解決方案（1）布隆過(guò)濾器（推薦）
布隆過(guò)濾器（Bloom Filter，簡(jiǎn)稱BF）由Burton Howard Bloom在1970年提出，是一種空間效率高的概率型數(shù)據(jù)結(jié)構(gòu) 。
布隆過(guò)濾器專門(mén)用來(lái)檢測(cè)集合中是否存在特定的元素 。
如果在平時(shí)我們要判斷一個(gè)元素是否在一個(gè)集合中，通常會(huì)采用查找比較的方法，下面分析不同的數(shù)據(jù)結(jié)構(gòu)查找效率：

• 采用線性表存儲(chǔ)，查找時(shí)間復(fù)雜度為O(N)
  
• 采用平衡二叉排序樹(shù)（AVL、紅黑樹(shù)）存儲(chǔ)，查找時(shí)間復(fù)雜度為O(logN)
  
• 采用哈希表存儲(chǔ)，考慮到哈希碰撞，整體時(shí)間復(fù)雜度也要O[log(n/m)]
  

當(dāng)需要判斷一個(gè)元素是否存在于海量數(shù)據(jù)集合中 ， 不僅查找時(shí)間慢，還會(huì)占用大量存儲(chǔ)空間 。接下來(lái)看一下布隆過(guò)濾器如何解決這個(gè)問(wèn)題 。
布隆過(guò)濾器設(shè)計(jì)思想
布隆過(guò)濾器由一個(gè)長(zhǎng)度為m比特的位數(shù)組（bit array）與k個(gè)哈希函數(shù)（hash function）組成的數(shù)據(jù)結(jié)構(gòu) 。位數(shù)組初始化均為0，所有的哈希函數(shù)都可以分別把輸入數(shù)據(jù)盡量均勻地散列 。
當(dāng)要向布隆過(guò)濾器中插入一個(gè)元素時(shí)，該元素經(jīng)過(guò)k個(gè)哈希函數(shù)計(jì)算產(chǎn)生k個(gè)哈希值，以哈希值作為位數(shù)組中的下標(biāo)，將所有k個(gè)對(duì)應(yīng)的比特值由0置為1 。
當(dāng)要查詢一個(gè)元素時(shí)，同樣將其經(jīng)過(guò)哈希函數(shù)計(jì)算產(chǎn)生哈希值 ， 然后檢查對(duì)應(yīng)的k個(gè)比特值：如果有任意一個(gè)比特為0，表明該元素一定不在集合中；如果所有比特均為1，表明該集合有可能性在集合中 。為什么不是一定在集合中呢？因?yàn)椴煌脑赜?jì)算的哈希值有可能一樣，會(huì)出現(xiàn)哈希碰撞 ， 導(dǎo)致一個(gè)不存在的元素有可能對(duì)應(yīng)的比特位為1，這就是所謂“假陽(yáng)性”（false positive） 。相對(duì)地，“假陰性”（false negative）在BF中是絕不會(huì)出現(xiàn)的 。
總結(jié)一下：布隆過(guò)濾器認(rèn)為不在的，一定不會(huì)在集合中；布隆過(guò)濾器認(rèn)為在的，可能在也可能不在集合中 。
舉個(gè)例子：下圖是一個(gè)布隆過(guò)濾器，共有18個(gè)比特位，3個(gè)哈希函數(shù) 。集合中三個(gè)元素x，y，z通過(guò)三個(gè)哈希函數(shù)散列到不同的比特位，并將比特位置為1 。當(dāng)查詢?cè)豾時(shí)，通過(guò)三個(gè)哈希函數(shù)計(jì)算，發(fā)現(xiàn)有一個(gè)比特位的值為0，可以肯定認(rèn)為該元素不在集合中 。

文章插圖
布隆過(guò)濾器優(yōu)缺點(diǎn)
優(yōu)點(diǎn)：

• 節(jié)省空間：不需要存儲(chǔ)數(shù)據(jù)本身，只需要存儲(chǔ)數(shù)據(jù)對(duì)應(yīng)hash比特位
  
• 時(shí)間復(fù)雜度低：插入和查找的時(shí)間復(fù)雜度都為O(k)，k為哈希函數(shù)的個(gè)數(shù)
  

缺點(diǎn)：

• 存在假陽(yáng)性：布隆過(guò)濾器判斷存在，可能出現(xiàn)元素不在集合中；判斷準(zhǔn)確率取決于哈希函數(shù)的個(gè)數(shù)
  
• 不能刪除元素：如果一個(gè)元素被刪除 ， 但是卻不能從布隆過(guò)濾器中刪除，這也是造成假陽(yáng)性的原因了
  

布隆過(guò)濾器適用場(chǎng)景

• 爬蟲(chóng)系統(tǒng)url去重
  
• 垃圾郵件過(guò)濾
  
• 黑名單
  

（2）返回空對(duì)象
當(dāng)緩存未命中，查詢持久層也為空 ， 可以將返回的空對(duì)象寫(xiě)到緩存中，這樣下次請(qǐng)求該key時(shí)直接從緩存中查詢返回空對(duì)象，請(qǐng)求不會(huì)落到持久層數(shù)據(jù)庫(kù) 。為了避免存儲(chǔ)過(guò)多空對(duì)象，通常會(huì)給空對(duì)象設(shè)置一個(gè)過(guò)期時(shí)間 。
這種方法會(huì)存在兩個(gè)問(wèn)題：

• 如果有大量的key穿透，緩存空對(duì)象會(huì)占用寶貴的內(nèi)存空間 。
  
• 空對(duì)象的key設(shè)置了過(guò)期時(shí)間，在這段時(shí)間可能會(huì)存在緩存和持久層數(shù)據(jù)不一致的場(chǎng)景 。
  
  

文章插圖
緩存擊穿
什么是緩存擊穿？緩存擊穿，是指一個(gè)key非常熱點(diǎn)，在不停的扛著大并發(fā)，大并發(fā)集中對(duì)這一個(gè)點(diǎn)進(jìn)行訪問(wèn)，當(dāng)這個(gè)key在失效的瞬間，持續(xù)的大并發(fā)就穿破緩存，直接請(qǐng)求數(shù)據(jù)庫(kù)，就像在一個(gè)屏障上鑿開(kāi)了一個(gè)洞 。
緩存擊穿危害數(shù)據(jù)庫(kù)瞬時(shí)壓力驟增，造成大量請(qǐng)求阻塞 。
如何解決使用互斥鎖（mutex key）
這種思路比較簡(jiǎn)單 ， 就是讓一個(gè)線程回寫(xiě)緩存，其他線程等待回寫(xiě)緩存線程執(zhí)行完，重新讀緩存即可 。

文章插圖
同一時(shí)間只有一個(gè)線程讀數(shù)據(jù)庫(kù)然后回寫(xiě)緩存 ， 其他線程都處于阻塞狀態(tài) 。如果是高并發(fā)場(chǎng)景，大量線程阻塞勢(shì)必會(huì)降低吞吐量 。這種情況如何解決？大家可以在留言區(qū)討論 。
如果是分布式應(yīng)用就需要使用分布式鎖 。
熱點(diǎn)數(shù)據(jù)永不過(guò)期
永不過(guò)期實(shí)際包含兩層意思：

• 物理不過(guò)期 ， 針對(duì)熱點(diǎn)key不設(shè)置過(guò)期時(shí)間
  
• 邏輯過(guò)期，把過(guò)期時(shí)間存在key對(duì)應(yīng)的value里，如果發(fā)現(xiàn)要過(guò)期了，通過(guò)一個(gè)后臺(tái)的異步線程進(jìn)行緩存的構(gòu)建
  

文章插圖

文章插圖
緩存雪崩
什么是緩存雪崩？緩存雪崩是指緩存中數(shù)據(jù)大批量到過(guò)期時(shí)間，而查詢數(shù)據(jù)量巨大，請(qǐng)求直接落到數(shù)據(jù)庫(kù)上，引起數(shù)據(jù)庫(kù)壓力過(guò)大甚至宕機(jī) 。和緩存擊穿不同的是 ， 緩存擊穿指并發(fā)查同一條數(shù)據(jù)，緩存雪崩是不同數(shù)據(jù)都過(guò)期了，很多數(shù)據(jù)都查不到從而查數(shù)據(jù)庫(kù) 。
緩存雪崩解決方案常用的解決方案有：

• 均勻過(guò)期
  
• 加互斥鎖
  
• 緩存永不過(guò)期
  
• 雙層緩存策略
  

（1）均勻過(guò)期
設(shè)置不同的過(guò)期時(shí)間 ， 讓緩存失效的時(shí)間點(diǎn)盡量均勻 。通常可以為有效期增加隨機(jī)值或者統(tǒng)一規(guī)劃有效期 。
（2）加互斥鎖
跟緩存擊穿解決思路一致，同一時(shí)間只讓一個(gè)線程構(gòu)建緩存，其他線程阻塞排隊(duì) 。
（3）緩存永不過(guò)期
跟緩存擊穿解決思路一致，緩存在物理上永遠(yuǎn)不過(guò)期，用一個(gè)異步的線程更新緩存 。
（4）雙層緩存策略
使用主備兩層緩存：
主緩存：有效期按照經(jīng)驗(yàn)值設(shè)置，設(shè)置為主讀取的緩存，主緩存失效后從數(shù)據(jù)庫(kù)加載最新值 。
備份緩存：有效期長(zhǎng)，獲取鎖失敗時(shí)讀取的緩存 ， 主緩存更新時(shí)需要同步更新備份緩存 。
緩存預(yù)熱
什么是緩存預(yù)熱？緩存預(yù)熱就是系統(tǒng)上線后，將相關(guān)的緩存數(shù)據(jù)直接加載到緩存系統(tǒng)，這樣就可以避免在用戶請(qǐng)求的時(shí)候 ， 先查詢數(shù)據(jù)庫(kù)，然后再將數(shù)據(jù)回寫(xiě)到緩存 。
如果不進(jìn)行預(yù)熱，那么 Redis 初始狀態(tài)數(shù)據(jù)為空，系統(tǒng)上線初期，對(duì)于高并發(fā)的流量，都會(huì)訪問(wèn)到數(shù)據(jù)庫(kù)中 ，  對(duì)數(shù)據(jù)庫(kù)造成流量的壓力 。
緩存預(yù)熱的操作方法

• 數(shù)據(jù)量不大的時(shí)候，工程啟動(dòng)的時(shí)候進(jìn)行加載緩存動(dòng)作；
  
• 數(shù)據(jù)量大的時(shí)候，設(shè)置一個(gè)定時(shí)任務(wù)腳本，進(jìn)行緩存的刷新；
  
• 數(shù)據(jù)量太大的時(shí)候 ， 優(yōu)先保證熱點(diǎn)數(shù)據(jù)進(jìn)行提前加載到緩存 。
  
  

文章插圖
緩存降級(jí)
緩存降級(jí)是指緩存失效或緩存服務(wù)器掛掉的情況下，不去訪問(wèn)數(shù)據(jù)庫(kù)，直接返回默認(rèn)數(shù)據(jù)或訪問(wèn)服務(wù)的內(nèi)存數(shù)據(jù) 。
在項(xiàng)目實(shí)戰(zhàn)中通常會(huì)將部分熱點(diǎn)數(shù)據(jù)緩存到服務(wù)的內(nèi)存中，這樣一旦緩存出現(xiàn)異常，可以直接使用服務(wù)的內(nèi)存數(shù)據(jù)，從而避免數(shù)據(jù)庫(kù)遭受巨大壓力 。
降級(jí)一般是有損的操作 ， 所以盡量減少降級(jí)對(duì)于業(yè)務(wù)的影響程度 。

文章插圖

文章插圖
【redis緩存雪崩 緩存穿透 緩存擊穿如何解決】

文章插圖
點(diǎn)分享

文章插圖

文章插圖

• 愛(ài)奇藝的緩存刪不了怎么辦，如何清除愛(ài)奇藝電腦播放緩存數(shù)據(jù)
• 微博緩存的視頻怎么保存到手機(jī) 微博緩存的視頻保存到手機(jī)的方法
• 手機(jī)百度網(wǎng)盤(pán)如何清理緩存
• 網(wǎng)頁(yè)緩存視頻文件位置在哪，影迷大院緩存文件夾在哪里
• 影視大全該咋的才可以離線緩存
• 騰訊視頻如何緩存電視劇，為啥騰訊視頻緩存電視不繼續(xù)緩存下一個(gè)
• 影視大全該咋地才可以離線緩存
• 快手在哪里清除緩存數(shù)據(jù)
• 頭條如何離線緩存，影視大全能如何離線緩存
• 影視大全能咋滴離線緩存，韓劇tv離線緩存還需要流量