From 95c14a03bf4ba595d7496bbc8c9a5fed2c7487d6 Mon Sep 17 00:00:00 2001 From: imhuster <14797903831@163.com> Date: Sat, 18 May 2019 11:41:54 +0800 Subject: [PATCH 1/5] =?UTF-8?q?Update=20=E7=BC=93=E5=AD=98.md?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit 增加了缓存位置及缓存问题相关实例 --- docs/notes/缓存.md | 26 ++++++++++++++++++++++++-- 1 file changed, 24 insertions(+), 2 deletions(-) diff --git a/docs/notes/缓存.md b/docs/notes/缓存.md index 3e43a32b..6e6a4ac6 100644 --- a/docs/notes/缓存.md +++ b/docs/notes/缓存.md @@ -1,5 +1,5 @@ * [点击阅读面试进阶指南 ](https://github.com/CyC2018/Backend-Interview-Guide) - + * [一、缓存特征](#一缓存特征) * [二、LRU](#二lru) * [三、缓存位置](#三缓存位置) @@ -8,7 +8,7 @@ * [六、数据分布](#六数据分布) * [七、一致性哈希](#七一致性哈希) * [参考资料](#参考资料) - + # 一、缓存特征 @@ -192,6 +192,15 @@ public class LRU implements Iterable { MySQL 等数据库管理系统具有自己的查询缓存机制来提高查询效率。 +## Java 内部的缓存 + +Java 为了优化空间，提高字符串、基本数据类型包装类的创建效率，设计了字符串常量池及Byte、Short、Character、Integer、Long、Boolean这6种包装类缓冲池。 + +## CPU 多级缓存 + +为了解决CPU运算速度与主存IO速度不匹配的问题，引入了多级缓存结构，同时使用MESI等缓存一致性协议来解决多核CPU缓存数据一致性的问题。 + + # 四、CDN 内容分发网络（Content distribution network，CDN）是一种互连的网络系统，它利用更靠近用户的服务器从而更快更可靠地将 HTML、CSS、JavaScript、音乐、图片、视频等静态资源分发给用户。 @@ -238,6 +247,19 @@ CDN 主要有以下优点： 要保证缓存一致性需要付出很大的代价，缓存数据最好是那些对一致性要求不高的数据，允许缓存数据存在一些脏数据。 +## 缓存“无底洞”现象 + +指的是为了满足业务要求添加了大量缓存节点， 但是性能不但没有好转反而下降了的现象。 + +产生原因：缓存系统通常采用hash函数将key映射到对应的缓存节点，随着缓存节点数目的增加，键值分布到更多的节点上，导致客户端一次批量操作会涉及多次网络操作，这意味着批量操作的耗时会随 +着节点数目的增加而不断增大。此外，网络连接数变多，对节点的性能也有一定影响。 + +解决方案： + +- 优化批量数据操作命令； +- 减少网络通信次数； +- 降低接入成本，使用长连/连接池,NIO等。 + # 六、数据分布 ## 哈希分布 From 8abe14ef090e8e33b4be76e220f228d7d625c73a Mon Sep 17 00:00:00 2001 From: imhuster <14797903831@163.com> Date: Sat, 18 May 2019 11:45:03 +0800 Subject: [PATCH 2/5] =?UTF-8?q?=E5=A2=9E=E5=8A=A0=E4=BA=86=E7=BC=93?= =?UTF-8?q?=E5=AD=98=E4=BD=8D=E7=BD=AE=E5=8F=8A=E7=BC=93=E5=AD=98=E9=97=AE?= =?UTF-8?q?=E9=A2=98=E7=9B=B8=E5=85=B3=E7=A4=BA=E4=BE=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/notes/缓存.md | 8 ++++---- 1 file changed, 4 insertions(+), 4 deletions(-) diff --git a/docs/notes/缓存.md b/docs/notes/缓存.md index 6e6a4ac6..52e0636d 100644 --- a/docs/notes/缓存.md +++ b/docs/notes/缓存.md @@ -194,11 +194,11 @@ MySQL 等数据库管理系统具有自己的查询缓存机制来提高查询 ## Java 内部的缓存 -Java 为了优化空间，提高字符串、基本数据类型包装类的创建效率，设计了字符串常量池及Byte、Short、Character、Integer、Long、Boolean这6种包装类缓冲池。 +Java 为了优化空间，提高字符串、基本数据类型包装类的创建效率，设计了字符串常量池及 Byte、Short、Character、Integer、Long、Boolean 这六种包装类缓冲池。 ## CPU 多级缓存 -为了解决CPU运算速度与主存IO速度不匹配的问题，引入了多级缓存结构，同时使用MESI等缓存一致性协议来解决多核CPU缓存数据一致性的问题。 +为了解决 CPU 运算速度与主存 IO 速度不匹配的问题，引入了多级缓存结构，同时使用 MESI 等缓存一致性协议来解决多核 CPU 缓存数据一致性的问题。 # 四、CDN @@ -251,14 +251,14 @@ CDN 主要有以下优点： 指的是为了满足业务要求添加了大量缓存节点， 但是性能不但没有好转反而下降了的现象。 -产生原因：缓存系统通常采用hash函数将key映射到对应的缓存节点，随着缓存节点数目的增加，键值分布到更多的节点上，导致客户端一次批量操作会涉及多次网络操作，这意味着批量操作的耗时会随 +产生原因：缓存系统通常采用 hash 函数将 key 映射到对应的缓存节点，随着缓存节点数目的增加，键值分布到更多的节点上，导致客户端一次批量操作会涉及多次网络操作，这意味着批量操作的耗时会随 着节点数目的增加而不断增大。此外，网络连接数变多，对节点的性能也有一定影响。 解决方案： - 优化批量数据操作命令； - 减少网络通信次数； -- 降低接入成本，使用长连/连接池,NIO等。 +- 降低接入成本，使用长连/连接池,NIO 等。 # 六、数据分布 From e4e5c54f2a32011cfa8082a8d15ba4ceb5d661af Mon Sep 17 00:00:00 2001 From: imhuster <14797903831@163.com> Date: Sat, 18 May 2019 11:47:11 +0800 Subject: [PATCH 3/5] =?UTF-8?q?=E5=A2=9E=E5=8A=A0=E4=BA=86=E7=BC=93?= =?UTF-8?q?=E5=AD=98=E4=BD=8D=E7=BD=AE=E5=8F=8A=E7=BC=93=E5=AD=98=E9=97=AE?= =?UTF-8?q?=E9=A2=98=E7=9B=B8=E5=85=B3=E7=A4=BA=E4=BE=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/notes/缓存.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/notes/缓存.md b/docs/notes/缓存.md index 52e0636d..57e54403 100644 --- a/docs/notes/缓存.md +++ b/docs/notes/缓存.md @@ -198,7 +198,7 @@ Java 为了优化空间，提高字符串、基本数据类型包装类的创建 ## CPU 多级缓存 -为了解决 CPU 运算速度与主存 IO 速度不匹配的问题，引入了多级缓存结构，同时使用 MESI 等缓存一致性协议来解决多核 CPU 缓存数据一致性的问题。 +CPU 为了解决运算速度与主存 IO 速度不匹配的问题，引入了多级缓存结构，同时使用 MESI 等缓存一致性协议来解决多核 CPU 缓存数据一致性的问题。 # 四、CDN From 901d62e0fae33cd8382f3c554f787d13d6799478 Mon Sep 17 00:00:00 2001 From: imhuster <14797903831@163.com> Date: Sat, 18 May 2019 11:54:04 +0800 Subject: [PATCH 4/5] =?UTF-8?q?=E5=A2=9E=E5=8A=A0=E4=BA=86=E7=BC=93?= =?UTF-8?q?=E5=AD=98=E4=BD=8D=E7=BD=AE=E5=8F=8A=E7=BC=93=E5=AD=98=E9=97=AE?= =?UTF-8?q?=E9=A2=98=E7=9B=B8=E5=85=B3=E7=A4=BA=E4=BE=8B?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/notes/缓存.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/docs/notes/缓存.md b/docs/notes/缓存.md index 57e54403..314176c3 100644 --- a/docs/notes/缓存.md +++ b/docs/notes/缓存.md @@ -258,7 +258,7 @@ CDN 主要有以下优点： - 优化批量数据操作命令； - 减少网络通信次数； -- 降低接入成本，使用长连/连接池,NIO 等。 +- 降低接入成本，使用长连/连接池，NIO 等。 # 六、数据分布 From c5794c99446bd2543406d0f234dc24f09cf4fa20 Mon Sep 17 00:00:00 2001 From: imhuster <14797903831@163.com> Date: Sun, 19 May 2019 10:11:03 +0800 Subject: [PATCH 5/5] =?UTF-8?q?=E8=A7=A3=E5=86=B3=E5=86=B2=E7=AA=81?= MIME-Version: 1.0 Content-Type: text/plain; charset=UTF-8 Content-Transfer-Encoding: 8bit --- docs/notes/缓存.md | 21 +++++++++++++++------ 1 file changed, 15 insertions(+), 6 deletions(-) diff --git a/docs/notes/缓存.md b/docs/notes/缓存.md index 314176c3..9187dba9 100644 --- a/docs/notes/缓存.md +++ b/docs/notes/缓存.md @@ -1,5 +1,4 @@ -* [点击阅读面试进阶指南 ](https://github.com/CyC2018/Backend-Interview-Guide) - + * [一、缓存特征](#一缓存特征) * [二、LRU](#二lru) * [三、缓存位置](#三缓存位置) @@ -8,7 +7,7 @@ * [六、数据分布](#六数据分布) * [七、一致性哈希](#七一致性哈希) * [参考资料](#参考资料) - + # 一、缓存特征 @@ -31,6 +30,8 @@ - LRU（Least Recently Used）：最近最久未使用策略，优先淘汰最久未使用的数据，也就是上次被访问时间距离现在最久的数据。该策略可以保证内存中的数据都是热点数据，也就是经常被访问的数据，从而保证缓存命中率。 +- LFU（Least Frequently Used）：最不经常使用策略，优先淘汰一段时间内使用次数最少的数据。 + # 二、LRU 以下是基于 双向链表 + HashMap 的 LRU 算法实现，对算法的解释如下： @@ -211,7 +212,7 @@ CDN 主要有以下优点： - 通过部署多台服务器，从而提高系统整体的带宽性能； - 多台服务器可以看成是一种冗余机制，从而具有高可用性。 -

+

# 五、缓存问题 @@ -260,6 +261,8 @@ CDN 主要有以下优点： - 减少网络通信次数； - 降低接入成本，使用长连/连接池，NIO 等。 + + # 六、数据分布 ## 哈希分布 @@ -285,11 +288,11 @@ Distributed Hash Table（DHT） 是一种哈希分布方式，其目的是为了 将哈希空间 [0, 2n-1] 看成一个哈希环，每个服务器节点都配置到哈希环上。每个数据对象通过哈希取模得到哈希值之后，存放到哈希环中顺时针方向第一个大于等于该哈希值的节点上。 -

+

一致性哈希在增加或者删除节点时只会影响到哈希环中相邻的节点，例如下图中新增节点 X，只需要将它前一个节点 C 上的数据重新进行分布即可，对于节点 A、B、D 都没有影响。 -

+

## 虚拟节点 @@ -306,3 +309,9 @@ Distributed Hash Table（DHT） 是一种哈希分布方式，其目的是为了 - [一致性哈希算法](https://my.oschina.net/jayhu/blog/732849) - [内容分发网络](https://zh.wikipedia.org/wiki/%E5%85%A7%E5%AE%B9%E5%82%B3%E9%81%9E%E7%B6%B2%E8%B7%AF) - [How Aspiration CDN helps to improve your website loading speed?](https://www.aspirationhosting.com/aspiration-cdn/) + + + + +
💡

更多精彩内容将发布在公众号 **CyC2018**，公众号提供了该项目的离线阅读版本，后台回复"下载" 即可领取。也提供了一份技术面试复习思维导图，不仅系统整理了面试知识点，而且标注了各个知识点的重要程度，从而帮你理清多而杂的面试知识点，后台回复"资料" 即可领取。我基本是按照这个思维导图来进行复习的，对我拿到了 BAT 头条等 Offer 起到很大的帮助。你们完全可以和我一样根据思维导图上列的知识点来进行复习，就不用看很多不重要的内容，也可以知道哪些内容很重要从而多安排一些复习时间。

+