一、問題:
? ? ?
? ??數(shù)據(jù)庫表數(shù)據(jù)量極大(千萬條),要求讓服務(wù)器更加快速地響應(yīng)用戶的需求。
?
二、解決方案:
? ? ?1.通過高速服務(wù)器Cache緩存數(shù)據(jù)庫數(shù)據(jù)
? ? ?2.內(nèi)存數(shù)據(jù)庫
?
? (這里僅從數(shù)據(jù)緩存方面考慮,當(dāng)然,后期可以采用Hadoop+HBase+Hive等分布式存儲分析平臺)
三、主流解Cache和數(shù)據(jù)庫對比:
?
? ? ?上述技術(shù)基本上代表了當(dāng)今在數(shù)據(jù)存儲方面所有的實現(xiàn)方案,其中主要涉及到了普通關(guān)系型數(shù)據(jù)庫(MySQL/PostgreSQL),NoSQL數(shù)據(jù)庫(MongoDB),內(nèi)存數(shù)據(jù)庫(Redis),內(nèi)存Cache(Memcached),我們現(xiàn)在需要的是對大數(shù)據(jù)表仍保持高效的查詢速度,普通關(guān)系型數(shù)據(jù)庫是無法滿足的。而MongoDB其實只是一種非關(guān)系型數(shù)據(jù)庫,其優(yōu)勢在于可以存儲海量數(shù)據(jù),具備強大的查詢功能,因此不宜用于緩存數(shù)據(jù)的場景。
?
? ? ? ?從以上各數(shù)據(jù)可知,對于我們產(chǎn)品最可行的技術(shù)方案有兩種:
? ? ? ? ?1.Memcached?? ? ? ? 內(nèi)存Key-Value Cache
? ? ? ? ?2.Redis?? ? ? ? ? ? ? ? ? ? 內(nèi)存數(shù)據(jù)庫
?
四、下面重點分析Memcached和Redis兩種方案:
?
4.1?Memcached介紹??
?
? ? ?Memcached?是一個高性能的分布式內(nèi)存對象緩存系統(tǒng),用于動態(tài)Web應(yīng)用以減輕數(shù)據(jù)庫負載。它通過在內(nèi)存中緩存數(shù)據(jù)和對象來減少讀取數(shù)據(jù)庫的次數(shù),從而提供動態(tài)、數(shù)據(jù)庫驅(qū)動網(wǎng)站的速度,現(xiàn)在已被LiveJournal、hatena、Facebook、Vox、LiveJournal等公司所使用。
?
4.2?Memcached工作方式分析
? ? ?
? ? ?許多Web應(yīng)用都將數(shù)據(jù)保存到 RDBMS中,應(yīng)用服務(wù)器從中讀取數(shù)據(jù)并在瀏覽器中顯示。?但隨著數(shù)據(jù)量的增大、訪問的集中,就會出現(xiàn)RDBMS的負擔(dān)加重、數(shù)據(jù)庫響應(yīng)惡化、?網(wǎng)站顯示延遲等重大影響。Memcached是高性能的分布式內(nèi)存緩存服務(wù)器,通過緩存數(shù)據(jù)庫查詢結(jié)果,減少數(shù)據(jù)庫訪問次數(shù),以提高動態(tài)Web等應(yīng)用的速度、?提高可擴展性。下圖展示了memcache與數(shù)據(jù)庫端協(xié)同工作情況:
?
? ? ?
? ? ?其中的過程是這樣的:
? ? ? ? ? ?1.檢查用戶請求的數(shù)據(jù)是緩存中是否有存在,如果有存在的話,只需要直接把請求的數(shù)據(jù)返回,無需查詢數(shù)據(jù)庫。
? ? ? ? ? ?2.如果請求的數(shù)據(jù)在緩存中找不到,這時候再去查詢數(shù)據(jù)庫。返回請求數(shù)據(jù)的同時,把數(shù)據(jù)存儲到緩存中一份。
? ? ? ? ? ?3.保持緩存的“新鮮性”,每當(dāng)數(shù)據(jù)發(fā)生變化的時候(比如,數(shù)據(jù)有被修改,或被刪除的情況下),要同步的更新緩存信息,確保用戶不會在緩存取到舊的數(shù)據(jù)。
? ? ?Memcached作為高速運行的分布式緩存服務(wù)器,具有以下的特點:?
-
- 協(xié)議簡單?
- 基于libevent的事件處理?
- 內(nèi)置內(nèi)存存儲方式
- memcached不互相通信的分布式
?
4.3 如何實現(xiàn)分布式可拓展性?
?
? ? ?Memcached的分布式不是在服務(wù)器端實現(xiàn)的,而是在客戶端應(yīng)用中實現(xiàn)的,即通過內(nèi)置算法制定目標(biāo)數(shù)據(jù)的節(jié)點,如下圖所示:
4.4?Redis 介紹 ?
?
? ? ?Redis是一個key-value存儲系統(tǒng)。和Memcached類似,它支持存儲的value類型相對更多,包括string(字符串)、 list(鏈表)、set(集合)和zset(有序集合)。這些數(shù)據(jù)類型都支持push/pop、add/remove及取交集并集和差集及更豐富的操作,而且這些操作都是原子性的。在此基礎(chǔ)上,redis支持各種不同方式的排序。與memcached一樣,為了保證效率,數(shù)據(jù)都是緩存在內(nèi)存中。區(qū)別的是redis會周期性的把更新的數(shù)據(jù)寫入磁盤或者把修改操作寫入追加的記錄文件,并且在此基礎(chǔ)上實現(xiàn)了master-slave(主從)同步,當(dāng)前 Redis的應(yīng)用已經(jīng)非常廣泛,國內(nèi)像新浪、淘寶,國外像?Flickr、Github等均在使用Redis的緩存服務(wù)。
?
4.5?Redis?工作方式分析
?
? ? ?Redis作為一個高性能的key-value數(shù)據(jù)庫具有以下特征:?
-
- 多樣的數(shù)據(jù)模型?
- 持久化?
- 主從同步 ?
? ? ?Redis支持豐富的數(shù)據(jù)類型,最為常用的數(shù)據(jù)類型主要由五種:String、Hash、List、Set和Sorted?Set。Redis通常將數(shù)據(jù)存儲于內(nèi)存中,或被配置為使用虛擬內(nèi)存。Redis有一個很重要的特點就是它可以實現(xiàn)持久化數(shù)據(jù),通過兩種方式可以實現(xiàn)數(shù)據(jù)持久化:使用RDB快照的方式,將內(nèi)存中的數(shù)據(jù)不斷寫入磁盤;或使用類似MySQL的AOF日志方式,記錄每次更新的日志。前者性能較高,但是可能會引起一定程度的數(shù)據(jù)丟失;后者相反。 Redis支持將數(shù)據(jù)同步到多臺從數(shù)據(jù)庫上,這種特性對提高讀取性能非常有益。
? ? ?
4.6 Redis如何實現(xiàn)分布式可拓展性?
?
2.8以前的版本:與Memcached一致,可以在客戶端實現(xiàn),也可以使用代理,twitter已開發(fā)出用于Redis和Memcached的代理Twemproxy?。
3.0 以后的版本:相較于Memcached只能采用客戶端實現(xiàn)分布式存儲,Redis則在服務(wù)器端構(gòu)建分布式存儲。Redis?Cluster是一個實現(xiàn)了分布式且允許單點故障的Redis高級版本,它沒有中心節(jié)點,各個節(jié)點地位一致,具有線性可伸縮的功能。如圖給出Redis?Cluster的分布式存儲架構(gòu),其中節(jié)點與節(jié)點之間通過二進制協(xié)議進行通信,節(jié)點與客戶端之間通過ascii協(xié)議進行通信。在數(shù)據(jù)的放置策略上,Redis?Cluster將整個 key的數(shù)值域分成16384個哈希槽,每個節(jié)點上可以存儲一個或多個哈希槽,也就是說當(dāng)前Redis?Cluster支持的最大節(jié)點數(shù)就是16384
?
? ? ?
?
五、綜合結(jié)論
?
? ?
?應(yīng)該說Memcached和Redis都能很好的滿足解決我們的問題,它們性能都很高,總的來說,可以把Redis理解為是對Memcached的拓展,是更加重量級的實現(xiàn),提供了更多更強大的功能。具體來說:
?
1.性能上:
? ? ?性能上都很出色,具體到細節(jié),由于Redis只使用單核,而Memcached可以使用多核,所以平均每一個核上Redis在存儲小數(shù)據(jù)時比
Memcached性能更高。而在100k以上的數(shù)據(jù)中,Memcached性能要高于Redis,雖然Redis最近也在存儲大數(shù)據(jù)的性能上進行優(yōu)化,但是比起?Memcached,還是稍有遜色。
?
2.內(nèi)存空間和數(shù)據(jù)量大?。?/p>
? ? ?MemCached可以修改最大內(nèi)存,采用LRU算法。Redis增加了VM的特性,突破了物理內(nèi)存的限制。
?
3.操作便利上:
? ? ?MemCached數(shù)據(jù)結(jié)構(gòu)單一,僅用來緩存數(shù)據(jù),而Redis支持更加豐富的數(shù)據(jù)類型,也可以在服務(wù)器端直接對數(shù)據(jù)進行豐富的操作,這樣可以減少網(wǎng)絡(luò)IO次數(shù)和數(shù)據(jù)體積。
?
4.可靠性上:
? ? ?MemCached不支持數(shù)據(jù)持久化,斷電或重啟后數(shù)據(jù)消失,但其穩(wěn)定性是有保證的。Redis支持數(shù)據(jù)持久化和數(shù)據(jù)恢復(fù),允許單點故障,但是同時也會付出性能的代價。
?
5.應(yīng)用場景:
? ? ?Memcached:動態(tài)系統(tǒng)中減輕數(shù)據(jù)庫負載,提升性能;做緩存,適合多讀少寫,大數(shù)據(jù)量的情況(如人人網(wǎng)大量查詢用戶信息、好友信息、文章信息等)。
? ? ?Redis:適用于對讀寫效率要求都很高,數(shù)據(jù)處理業(yè)務(wù)復(fù)雜和對安全性要求較高的系統(tǒng)(如新浪微博的計數(shù)和微博發(fā)布部分系統(tǒng),對數(shù)據(jù)安全性、讀寫要求都很高)。
?
六、需要慎重考慮的部分
?
1.Memcached單個key-value大小有限,一個value最大只支持1MB,而Redis最大支持512MB
2.Memcached只是個內(nèi)存緩存,對可靠性無要求;而Redis更傾向于內(nèi)存數(shù)據(jù)庫,因此對對可靠性方面要求比較高
3.從本質(zhì)上講,Memcached只是一個單一key-value內(nèi)存Cache;而Redis則是一個數(shù)據(jù)結(jié)構(gòu)內(nèi)存數(shù)據(jù)庫,支持五種數(shù)據(jù)類型,因此Redis除單純緩存作用外,還可以處理一些簡單的邏輯運算,Redis不僅可以緩存,而且還可以作為數(shù)據(jù)庫用
4.新版本(3.0)的Redis是指集群分布式,也就是說集群本身均衡客戶端請求,各個節(jié)點可以交流,可拓展行、可維護性更強大。
來自:http://blog.csdn.net/suifeng3051/article/details/23739295
分類:?數(shù)據(jù)庫
本文摘自 :https://blog.51cto.com/u