JVM 垃圾回收算法及垃圾回收器详解

发表于

简介

Java与C++之间有一堵由内存动态分配和垃圾回收技术所围成的”高墙”，墙外的人想进去，墙里面的人想出来。
— 摘自《深入理解Java虚拟机》

垃圾回收（Garbags Collection，GC），大部分人说起GC，第一反应都是想到Java吧。其实GC技术的历史比Java悠久，1960年诞生于MIT的Lisp是第一门真正使用内存动态分配和垃圾回收技术的语言。GC需要完成的3件事：

  • 哪些内存需要回收？
  • 什么时候回收？
  • 如何回收？

之前介绍过Java内存运行时区域的各个部分，其中程序计数器、虚拟机栈、本地方法栈这3个区域随线程而生，随线程而亡；栈中的栈帧随着方法的进入和退出而有条不紊的执行着进栈和出栈操作。每一个栈帧中分配多少内存基本上实在类结构确定下来就已知的(尽管在运行期间JIT编译器进行一些优化，但大体上可以认为在编译期可知的。)，因此这几个区域的内存分配和回收都具备确定性，在这几个区域内不需要过多考虑回收的问题，因为方法结束或者线程结束时，内存也自然跟着回收了。而Java堆和方法区则不一样，一个接口中的多个实现类需要的内存可能不一样，一个方法中的多个分支需要的内存也可能不一样。我们只有在程序处于运行期间才能知道会创建哪些对象，这部分内存的分配和回收都是动态的，垃圾收集器所关注的是这部分内存。后续所指的内存分配和回收也仅指这一部分内存。

垃圾回收算法

在堆里面存放着Java世界中几乎所有的对象实例，垃圾收集器在对堆进行回收前，第一件事就是确定哪些对象还”存活”着，哪些已经”死去”(既不可能再被任何途径使用)。

引用计数算法(Reference Counting)

原理：给对象添加一个引用计数器，每当有一个地方引用它时，计数器的值+1，当引用失效时，计数器的值-1；任何时候计数器未0的对象就是不可能再被使用的。于是引用计数算法通知GC收集器来回收它们。

客观地说，引用计数算法的实现简单，判定效率也很高，在大部分情况下它都是一个不错的算法，也有一些比较著名的案例，比如微软的COM技术、使用AS3的FlashPlayer、Python语言和在游戏脚本领域被广泛使用的Squirrel中都使用引用计数算法来进行内存管理。但是，主流的JVM里面没有选用引用计数算法来管理内存，其中最重要的原因就是它很难解决对象循环引用的问题。

一个简单的循环引用问题描述如下：有对象A和对象B，对象A中含有对象B的引用，对象B中含有对象A的引用。此时，对象A和对象B的引用计数都不为0。但是在系统中却不存在第三个对象引用了A或B，A和B是应该被回收的垃圾对象，但由于垃圾对象的相互引用，从而使得垃圾回收期无法识别，引起内存泄露。

标记-清除算法(Mark-Sweep)

最基础的回收算法，后续的收集算法都是基于它的思路并对其不足进行改进而得到的。如同它的名字一样，算法分为”标记“和”清除“2个阶段。
标记阶段：在标记阶段首先通过根节点，标记所有从根节点开始的较大对象。因此，未被标记的对象就是未被引用的对象。
清除阶段：回收所有未被标记的对象。
标记-清除算法的执行过程如下图所示。
标记-清除算法的执行过程
然而，它有2个不足的地方：
一个是效率问题，标记和清除两个过程的效率都不高；
二是空间问题，标记清除之后会产生大量不连续空间的内存碎片，空间碎片太多会导致以后在程序运行过程中需要分配较大对象的时候，无法找到足够的连续内存而不得不提前触发另一次垃圾收集动作。

复制算法(Coping)

为了解决效率问题，一种称为”复制”的收集算法出现了，它将可用内存按容量分为大小相等的两块。每次只使用其中的一块。当这一块的内存用完了，就将存活的对象复制到另外一块内存上，然后再把已使用的这一块内存一次清理掉。这样使得每次都是对整个半区进行内存回收，内存分配也就不用考虑内存碎片等复杂情况，只要移动堆顶指针，按顺序分配内存即可，实现简单，运行高效。复制算法的执行过程如图。
复制算法示意图
然而，这种算法的代价是将内存缩小未原来的一半，代价未免太高了。

现在的商业JVM都采用这种收集算法来回收新生代。 IBM公司的专门研究表明，新生代中的对象98%是”朝生夕死”的，所以不需要按照1：1比例来划分内存空间，而是将内存分为一块较大的Eden空间和两块较小的Survivor空间，每次使用Eden和其中一块Survivor。当回收时，将Eden和Survivor还存活着的对象一次性地复制到另外一块Survivor空间上，最后清理掉Eden和刚才用过的Survivor空间。HotSpot虚拟机默认Eden和Survivor的大小比例是8：1，也就是每次新生代中可用内存空间为整个新生代容量的80%+10%，只有10%的内存会被”浪费”。当然，98%的对象可回收只是一般场景下的数据，我们没有办法保证每次回收都只有不多于10%的对象存活，当Survior空间不够用时，需要依赖其他内存（这里指老年代）进行分配担保（Handle Promotion）。

标记-压缩算法(Mark-Compact)

复制收集算法在对象存活率较高的时候进行较多的复制操作，效率将会变低。更关键的是，如果不想浪费50%的空间，就需要有额外的空间进行分配担保，以应对被使用的内存中所有对象都100%存活的极端情况，所以在老年代不能直接选用这种算法。

根据老年代的特点，”标记-压缩”算法出现了，标记过程依然与”标记-清除”算法一样，但后续步骤不是直接对可回收对象进行回收，而是让所有存活对象都向一端移动，然后直接清理掉边界以外的内存。标记-压缩算法示意图如下。
标记-压缩算法示意图

分代收集算法(Generational Collection)

当前商业虚拟机的垃圾手机都采用”分代收集”算法，这种算法并没有什么新的思想，只是根据对象存活周期的不同将内存区域划分为几块。一般是把Java堆氛围新生代和老年代，这样 就可以根据各个年代的特点采用最适当的收集算法，在新生代中每次垃圾收集时都会有大批的对象死去，只有少量存活，所以选用复制算法，只需要付出少量存活对象的复制成本就可以完成收集。而老年代中因为对象的存活率高、没有额外空间对它进行分配担保，就必须使用”标记-清理”或者”标记-压缩”算法来进行回收。

JVM 垃圾回收器分类

如果说回收算法是内存回收的方法论，那么垃圾回收器就是内存回收的具体实现。JVM规范中对垃圾回收器应该如何实现并没有任何规定，因此不同厂商，不同版本的虚拟机所提供的垃圾回收器都可能有很大区别，并且一般都会提供参数供用户根据自己的特点和要求组合出各个年代所使用的回收器。HotSpot虚拟机所包含的所有回收器如图。（G1是在JDK1.7 Update14之后才正式商用，之前都是实验状态。）
HotSpot虚拟机的垃圾回收器

上图展示的7种不同分代的回收器，如果2个收集器之间存在连线，就说明它们可以搭配使用。虚拟机所处的区域，则表示它是属于新
生代回收器还是老年代回收器。

在介绍这些收集器各自的特性前，我们需要明确一个观点：虽然我们实在对各个收集器进行比较，但并非为了挑选出一个最好的收集器。因为直到目前为止仍然还没有最好的回收器，更加没有万能的回收器，所以我们选择的只是具体应用场景下最合适的回收器。不然，HotSpot虚拟机就没必要实现那么多不同的回收器了。

Serial回收器

Serial回收器是最基本、发展历史最悠久的回收器。曾经(JDK1.3前)是虚拟机新生代回收的唯一选择。看名字就知道，这个回收器是一个单线程的回收器，但它的”单线程”的意义并不仅仅说明它只会使用一个CPU或者一条回收线程去完成垃圾回收的工作，更重要的是它在进行垃圾回收的过程中，必须暂停所以其他的工作县城，直到它回收结束。”Stop The World”这个名字听起来或许很酷，但这项工作实际上是有虚拟机在后台自动发起和自动完成的，在用户完全不可见的情况下把用户正常工作的线程全部停掉，这对很多应用来说都是难以接受的。Serial/Serial Old回收器的运行过程如下。
Serial/Serial Old回收器运行示意图

写到这里，Serial看起来被描述成了一个”老而无用”的鸡肋了，但实际上到目前为止，它依然是虚拟机运行在Client模式下的默认新生代回收器。它也有优于其他回收器的地方：简单而高效(与其他回收器的单线程比)。

ParNew回收器

ParNew回收器其实就是Serial回收器的多线程版本，除了使用多条线程进行垃圾回收之外，其他行为包括Serial回收器可用的所有控制参数(例如：-XX:SurvivorRation、-XX:PretenureSizeThreshold、-XX:HandlePromotionFailue等)、回收算法、Stop The World、对象分配规则、回收策略等都与Serial回收器完全一样。在实现上，这2中回收器也共用了很多代码。ParNew回收器的工作流程如图。
ParNew回收器的工作流程

ParNew回收器除了多线程回收之外，其他与Serial回收器相比并没有太多创新之处，但它却是许多运行在Server模式下的虚拟机中首选的新生代回收器，其中有一个与性能无关但很重要的原因是，除了Serial回收器外，目前只有它能与CMS回收器配合工作。在JDK1.5时期，HotSpot推出了一款在强交互应用中几乎可认为有划时代意义的垃圾回收器-CMS回收器(Concurrent Mark Sweep)，这款回收器是HotSpot虚拟机中第一款真正意义上的并发(Concurrent)回收器，它第一次实现了让回收器回收线程和用户线程（基本上）同时工作。

不幸的是，CMS作为老年代的回收器，却无法与JDK1.4中已经存在的新生代回收器Parallel Scavenge回收器配合工作(Parallel Scavenge回收器及后面提到的G1回收器都没有使用传统的GC回收器代码框架，而另外独立实现，其余几种回收器则共用了部分的框架的代码)。所以在JDK 1.5 中使用CMS来回收老年代的时候，新生代只能选择Serial或者ParNew中的一个。ParNew回收器也是使用-XX:+UseConcMarkSweepGC选项后的默认新生代回收器，也可以使用-XX:UseParNewGC选项来强制指定它。

从ParNew回收器开始，后面还会接触到几款并发和并行的回收器，有必要先解释下这2个名词。它们都是并发编程中的概念，在讨论垃圾回收器的上下文语境中，它们可以解释如下：

  • 并行（Parallel）：指多条垃圾回收线程并行工作，但此时用户线程仍然处于等待状态。
  • 并发（Concurrent）：指用户线程和垃圾回收线程同时执行（但不一定是并行，可能会交替进行），用户程序继续运行，而垃圾回收程序运行在另一个CPU上。

Parallel Scavenge回收器

PS回收器是一个新生代回收器，它也是使用复制算法的回收器，又是并行的多线程回收器….看上去和PerNew回收器都一样，那它们有什么不同之处呢？

PS回收器的特点是它的关注点和其他回收器不同，CMS等回收器的关注点是尽可能缩短垃圾回收时用户线程的等待时间，而PS回收器的目标则是达到一个可控制的吞吐量（Throughput）（=运行用户/(用户线程时间+垃圾回收时间)）。

停顿时间越短就越适合需要与用户交互的程序，良好的响应时间能提升用户体验，而高吞吐量则可以高效率利用cpu时间，尽快完成程序的运算任务，主要适合在后台运行而不需要太多交互的任务。

PS回收器提供了2个参数用于精确控制吞吐量，分别是控制最大垃圾回收停顿时间的-XX:MaxGCPauseMillis以及设置吞吐量大小的-XX:GCTimeRatio参数。MaxGCPauseMillis参数允许的值是一个大于0的毫秒数，回收器将尽可能保证内存回收花费的时间不超过设定值。GCTimeRatio参数的值是一个大于0且小于100的数，也就是垃圾回收时间占总时间的比率，相当于吞吐率的倒数，默认值是99，就是允许最大1%（即1/(1+99)）的垃圾回收时间。

由于PS回收器与吞吐量关系密切，因此也被称为”吞吐量优先”的回收器。除上述2个参数外，PS回收器还有一个参数：-XX:UseAdaptiveSizePolicy值得关注。这是一个开关参数，当这个参数打开以后，就不需要手动指定新生代的大小-Xmn、Eden与Survivor的比例-XX:SurvivorRadio、晋升老年代对象年龄-XX:PretenureSizeThreshold等细节参数了，虚拟机会根据当前系统的运行情况收集性能监控信息，动态调整这些参数以提供最合适的停顿时间或最大的吞吐量。这种调节方式成为GC自适应的调节策略(GC Ergonmics)。自适应调节也是PS回收器与PerNew回收器的一个重要区别。

Serial Old 回收器

Serial Old是Serial的回收器的老年代版本，同样是一个单线程回收器，使用”标记-压缩”算法。

这个回收器的主要意义也是在给Client模式下的虚拟机使用。如果在Server模式下，主要有2大用途：一是在JDK 1.5 以及之前的版本中与PS回收器配合使用；二是作为CMS回收器的后备方案，在并发回收发生Concurrent Mode Failure时使用。Serial Old的工作过程如图。

Parallel Old回收器

PO回收器是PS回收器的老年代版本，使用”标记-压缩”算法。这个回收器是在jdk 1.6 才开始提供的，在此之前，新生代的PS回收器一直处于比较尴尬的地位。原因是，如果新生代选择了PS回收器，老年代除了Serial Old回收器外别无选择。由于老年代Serial Old回收器在服务器应用性能上的”拖累”，使用了PS回收器也未必能在整体上获得吞吐量最大化的效果。

直到PO回收器的出现，“吞吐量优先”回收器终于有了比较名副其实的应用组合，在注重吞吐量以及CPU资源敏感的场合，都可以优先考虑PS+PO回收器。PO回收器的工作流程如下图。

CMS 回收器

CMS（Concurrent Mark Sweep）回收器是一种以获取最短停顿时间为目标的回收器。 目前很大一部分的Java应用集中在互联网或者B/S系统的服务端上，这类应用尤其重视服务的响应速度，希望系统的停顿时间最短，以给用户较好的体验。CMS回收器就非常符合这类应用的需求。

从名字就可以看出，CMS回收器是基于“标记-清除”算法实现的，它的运作过程相对于前面几种回收器来说更复杂些。整个过程分为4个步骤，包括：

  • 初始标记CMS initial mark
  • 并发标记CMS concurrent mark
  • 重新标记CMS remark
  • 并发清除CMS concurrent sweep

其中初始标记和重新标记都需要“stop the world”。初始标记仅仅只是标记一下GC Roots能关联到的对象，速度很快；并发标记阶段就是进行GC Roots Tracing的过程；而重新标记则是为了修正并发标记期间因用户程序继续运作而导致标记产生变动的那一部分对象的标记记录，这个阶段的停顿会比初始标记稍长，但远比并发标记的时间短。

由于整个过程中耗时最长的并发标记和并发清除都可以和用户进程一齐工作，所以总体来说，CMS回收器的内存回收工作是与用户线程一齐并发执行的。由下图可以清楚地看到CMS回收器的运作步骤中并发和需要停顿的时间。

3个明显的缺点：

  1. CMS回收器对CPU资源非常敏感。
  2. CMS回收器无法处理浮动垃圾，可能出现“Concurrent Mode Failure”失败而导致另一次Full GC出现。
  3. 基于“标记-清除”算法带来的内存碎片。

G1 回收器

G1（Garbage-First）是一款面向服务端应用的垃圾回收器，在JDK 1.7的HotSpot虚拟机中正式商用。HotSpot开发团队赋予它的使命是（在比较长期的）未来可以替换掉JDK1.5中发布的CMS垃圾回收器。与其他GC回收器相比，G1具备如下特点：

  • 并行与并发：G1能充分利用多CPU、多核环境下的硬件优势，以此来缩短Stop-The-World停顿时间，部分回收器原本需要停顿Java线程执行的GC操作，G1可以通过并发的方式让Java程序继续运行。
  • 分代回收：与其他回收器一样，分代概念在G1中依然得以保留。虽然G1可以不需要其他回收器就能独立管理整个GC堆，但它能够采用不同的方式去处理新创建的对象和已经存活一段时间、熬过多次GC的旧对象以取得更好的收集效果。
  • 空间整合：与CMS回收器的标记-清理算法不同，G1从整体上看是基于标记-压缩算法实现的回收器，从局部（两个Region之间）上看是基于复制算法实现的，但无论如何，这两种算法都意味着G1运行期间不会产生内存空间碎片，回收后能提供完整的可用内存。这种特性有利于程序长时间运行，分配大对象时不会因为无法找到连续空间而提前触发下一次GC。
  • 可预测的停顿：这个G1相对于CMS的另一大优势，降低停顿时间是G1和CMS共同的关注点，但G1除了追求低停顿之外，还能建立可预测的停顿时间模型，能让使用者明确指定在一个长度未M毫秒的时间片段内，消耗在垃圾回收上的时间不得超过N毫秒，这几乎是实时Java（RTSJ）的垃圾回收器的特征了。

在G1之前的其他回收器进行回收的范围都是整个新生代或者老年代，而G1不再是这样。使用G1回收器时，Java堆的内存布局就与其他回收器有很大区别，它将整个Java堆划分为多个大小相等的独立区域（Region），虽然还保留有新生代和老年代的概念，但新生代和老年代不再是物理隔离的了，它们都是一部分Region（不需要连续）的集合。

G1回收器之所以能建立可预测的停顿时间模型，是因为它可以有计划地避免在整个Java堆中进行全区域的垃圾回收。G1跟踪各个Region里面的垃圾堆积的价值大小（回收所获得的空间大小以及回收所需时间的经验值），在后台维护一个优先列表，每次根据允许的回收时间，优先回收价值大的Region（这也就是Garbage-First名称的由来）。这种使用Region划分内存以及有优先级的区域回收方式，保证了G1回收器在有限的时间内可以获取尽可能高的收集效率。

在G1回收器中，Region之间的对象引用以及其他回收器中的新生代与老年代之间的对象引用，虚拟机都是使用Remembered Set来避免全堆扫描的。G1中每个Region都有一个与之对应的Remembered Set，虚拟机发现程序在对Reference类型的数据进行写操作时，会产生一个Write Barrier暂时中断写操作，检查Reference引用的对象是否处于不同的Region之中（在分代的例子中就是检查老年代中的对象引用了新生代的对象），如果是，便通过CardTable把相关引用信息记录到被引用对象所属的Region的Remembered Set即可保证不对全堆扫描也不会有遗漏。

如果不计算维护Remembered Set的操作，G1回收器的运作大致可划分为一下几个步骤：

  • 初始标记 Initial Marking
  • 并发标记 Concurrent Marking
  • 最终标记 Final Marking
  • 筛选回收 Live Date Counting and Evacuation

我们可以发现，G1的前几个步骤的运作过程和CMS有很多相似之处。初始标记阶段只是标记一下GC Roots能直接关联到的对象，并且修改TAMS(Next Top at Mark Start)的值，让下阶段用户程序并发运行时，能在正确可用的Region中创建新对象，这阶段需要停顿线程，但耗时很短。并发标记阶段是从GC Roots开始对堆中对象进行可达性分析，找出存活对象，这阶段耗时长，但可以与用户程序并发执行。最终标记阶段则是为了修正在并发标记期间因用户程序继续运作而导致标记产生变动那一部分标记记录，虚拟机将这段时间对象变化记录到线程Remembered Set Logs中。然后需要把Remembered Set Logs的数据合并到Remembered Set中，这阶段需要停顿操作，但是可以并发执行。最后在筛选阶段首先对各个Region的回收价值和成本进行排序，根据用户所期望的GC停顿时间来指定回收计划，但是因为只回收一部分Region，时间是用户可控制的，而且停顿用户线程将大幅提高效率。G1回收器的运作步骤中并发和需要的停顿的阶段如图：

垃圾回收的时机

通过上面的学习，我们已经堆垃圾回收机制有了一个比较全面的了解。下面堆垃圾回收的时机总结一下。

  • 对象优先分配在Eden区，当Eden区没有足够的空间时，虚拟机将发生一次Minor GC。因为大部分在Eden区的对象都是“朝生夕亡”，所以Minor GC执行非常频繁，而且速度也很快。
  • 当老年代没有足够的空间时及时发生Full GC，发生Full GC的时候一般都会有一次Minor GC。大对象直接进入老年代，如很长的字符串数组，虚拟机提供一个-XX:PretenureSizeThreadhold来使得大于这个参数值的对象直接在老年代中分配内存，避免在Eden区和Survivor区发生大量的内存拷贝。
  • 发生Minor GC的时候，虚拟机会检测之前每次晋升到老年代的平均大小是否大于当前老年代的剩余大小，如果大于，说明老年代可能不够空间，所以会先执行一次Full GC；如果小于，则查看HandlePromotionFailure是否允许担保失败，如果允许则只进行Minor GC，如果不允许，则改为进行一次Full GC。

垃圾回收器参数总结

HotSpot虚拟机的垃圾回收器

参数 描述
UseSerialGC 虚拟机运行在Client模式下的默认值，打开此开关后，使用Serial+Serial Old的回收器组合进行内存回收。
UseParNewGC 打开此开关后，使用ParNew+CMS+Serial Old的回收器组合进行内存回收。
UseConcMarkSweepGC 打开此开关后，使用ParNew+CMS+Serial Old组合进行内存回收。Serial Old 讲作为CMS出现Concurrent Mode Failure失败后的后备回收器。
UseParallelGC 虚拟机运行在Server模式下的默认值，打开此开关后，使用Parallel Scavenge+Serial Old组合。
UseParallelOldGC 打开此开关，使用Parallel Scavenge+Parallel Old组合。
SurvivorRation 新生代中Eden区域与Survivor区域的容量比值，默认为8，代表Eden：Survivor=8：1。
PretenureSizeThreshold 直接晋升到老年代的对象大小，设置这个参数后，大于这个参数的对象将直接在老年代分配。
MaxTenuringThreshold 直接晋升到老年代的对象年龄。每个对象在坚持过一次Minor GC之后，年龄就+1，当超过这个参数值就进入老年代。
UseAdaptiveSizePolicy 动态调整Java堆中各个区域的大小以及进入老年代的年龄。
HandlePromotionFailure 是否允许分配担保失败，即老年代的剩余空间不足以应对新生代的整个Eden和Survivor区的所有对象都存活的极端情况。
ParallelGCThreads 设置并行GC时进行内存回收的线程数。
GCTimeRatio GC时间占总时间的比率，默认值是99，即允许1%的GC时间。仅在使用Parallel Scavenge回收器生效。
MaxGCPauseMillis 设置GC的最大停顿时间。仅在使用Parallel Scavenge回收器时生效。
CMSInitiatingOccupancyFraction 设置CMS回收器在老年代空间被使用多少后触发GC。默认值为68%，仅在使用CMS回收器生效。
UseCMSCompactAtFullCollection 设置CMS回收器在完成GC后是否要进行一次内存碎片整理。仅在使用CMS生效。
CMSFullGCBeforeCompaction 设置CMS回收器在进行若干次GC后再启动一次内存碎片整理。仅在使用CMS生效。

参考文档