堆的核心概述
堆与进程
1 堆针对一个JVM进程来说是唯一的,一个进程只有一个JVM实例,一个JVM实例中就有一个·运行时数据区,一个运行时数据区只有一个推和一个方法区。
2进程包含多个进程,他们是共享一个堆空间的。
3Java堆在JVM启动的时候就被创建,其中空间大小也被确定了,堆是JVM管理的最大一块的内存空间,堆内存可以调节的。
4堆可以处于物理上不连续的内存空间中,但在逻辑上它应该被视为连续的。
5所有的线程共享Java堆,在这里还可以划分线程私有的缓冲区(Thread Local Allocation Buffer,TLAB)
6 所有的对象的实例以及数组都应该分配在堆空间中。在栈上分配(逃逸分析 标量替换)
7数组和对象可能永远不会存储在栈上(不一定),因为栈帧中保存引用,这个引用指向对象或者数组在堆中的位置、
-
在方法结束后,堆中的对象不会马上被移除,仅仅在垃圾收集的时候才会被移除。
- 也就是触发了GC的时候,才会进行回收
- 如果堆中对象马上被回收,那么用户线程就会收到影响,因为有stop the word
-
在方法结束后,堆中的对象不会马上被移除,仅仅在垃圾收集的时候才会被移除。
- 也就是触发了GC的时候,才会进行回收
- 如果堆中对象马上被回收,那么用户线程就会收到影响,因为有stop the word
- 堆,是GC(Garbage Collection,垃圾收集器)执行垃圾回收的重点区域。
堆内存细分
现代垃圾收集器大部分都基于分代收集理论设计,堆空间细分为:
- Java7 及之前堆内存逻辑上分为三部分:新生区+养老区+永久区
- Young Generation Space 新生区 Young/New
- 又被划分为Eden区和Survivor区
- Old generation space 养老区 Old/Tenure
- Permanent Space 永久区 Perm
- Young Generation Space 新生区 Young/New
- Java 8及之后堆内存逻辑上分为三部分:新生区+养老区+元空间
- Young Generation Space 新生区,又被划分为Eden区和Survivor区
- Old generation space 养老区
- Meta Space 元空间 Meta
约定:新生区 <–> 新生代 <–> 年轻代 、 养老区 <–> 老年区 <–> 老年代、 永久区 <–> 永久代
设置堆空间大小与OOM
-Xms 堆空间的起始内存 物理电脑内存大小/64
-Xmx 堆空间的最大内存 超过这个报OOM异常 :物理电脑内存大小/4
-
通常会将-Xms和-Xmx两个参数配置相同的值
-
原因:假设两个不一样,初始内存小,最大内存大。在运行期间如果堆内存不够用了,会一直扩容直到最大内存。如果内存够用且多了,也会不断的缩容释放。频繁的扩容和释放造成不必要的压力,避免在GC之后调整堆内存给服务器带来压力。
- 如果两个设置一样的就少了频繁扩容和缩容的步骤。内存不够了就直接报OOM
使用jps/jstat -gc 进程的ID -XX:+PrintGCDetails
SOC: S0区总共容量 S1C: S1区总共容量 S0U: S0区使用的量 S1U: S1区使用的量 EC: 伊甸园区总共容量 EU: 伊甸园区使用的量 OC: 老年代总共容量 OU: 老年代使用的量
年轻代与老年代
配置新生代与老年代 默认 1 :2 在新生代中:eden :survivor 8 :1 :1(6:1:1)
-XX:NewRation = 2 -XX:SurvivorRtion = 8
-
绝大部分的Java对象的销毁都在新生代进行了(有些大的对象在Eden区无法存储时候,将直接进入老年代),IBM公司的专门研究表明,新生代中80%的对象都是“朝生夕死”的。
-
可以使用选项"-Xmn"设置新生代最大内存大小,但这个参数一般使用默认值就可以了。
对象分配过程
具体过程
- new的对象先放伊甸园区。此区有大小限制。
- 当伊甸园的空间填满时,程序又需要创建对象,JVM的垃圾回收器将对伊甸园区进行垃圾回收(MinorGC),将伊甸园区中的不再被其他对象所引用的对象进行销毁。再加载新的对象放到伊甸园区。
- 然后将伊甸园中的剩余对象移动到幸存者0区。
- 如果再次触发垃圾回收,此时上次幸存下来的放到幸存者0区的,如果没有回收,就会放到幸存者1区。
- 如果再次经历垃圾回收,此时会重新放回幸存者0区,接着再去幸存者1区。
- 啥时候能去养老区呢?可以设置次数。默认是15次。可以设置新生区进入养老区的年龄限制,设置 JVM 参数:-XX:MaxTenuringThreshold=N 进行设置
- 在养老区,相对悠闲。当养老区内存不足时,再次触发GC:Major GC,进行养老区的内存清理
- 若养老区执行了Major GC之后,发现依然无法进行对象的保存,就会产生OOM异常。
特殊情况
- 如果来了一个新对象,先看看 Eden 是否放的下?
- 如果 Eden 放得下,则直接放到 Eden 区
- 如果 Eden 放不下,则触发 YGC ,执行垃圾回收,看看还能不能放下?
- 将对象放到老年区又有两种情况:
- 如果 Eden 执行了 YGC 还是无法放不下该对象,那没得办法,只能说明是超大对象,只能直接放到老年代
- 那万一老年代都放不下,则先触发FullGC ,再看看能不能放下,放得下最好,但如果还是放不下,那只能报 OOM
- 如果 Eden 区满了,将对象往幸存区拷贝时,发现幸存区放不下啦,那只能便宜了某些新对象,让他们直接晋升至老年区
初看GC
分类:
-
我们都知道,JVM的调优的一个环节,也就是垃圾收集,我们需要尽量的避免垃圾回收,因为在垃圾回收的过程中,容易出现STW(Stop the World)的问题,而 Major GC 和 Full GC出现STW的时间,是Minor GC的10倍以上
-
JVM在进行GC时,并非每次都对上面三个内存区域一起回收的,大部分时候回收的都是指新生代。针对Hotspot VM的实现,它里面的GC按照回收区域又分为两大种类型:一种是部分收集(Partial GC),一种是整堆收集(FullGC)
-
部分收集:不是完整收集整个Java堆的垃圾收集。其中又分为:
- 新生代收集(Minor GC/Young GC):只是新生代(Eden,s0,s1)的垃圾收集
- 老年代收集(Major GC/Old GC):只是老年代的圾收集。
- 目前,只有CMS GC会有单独收集老年代的行为。
- 注意,很多时候Major GC会和Full GC混淆使用,需要具体分辨是老年代回收还是整堆回收。
- 混合收集(Mixed GC):收集整个新生代以及部分老年代的垃圾收集。目前,只有G1 GC会有这种行为
-
整堆收集(Full GC):收集整个java堆和方法区的垃圾收集。
Young GC
年轻代 GC(Minor GC)触发机制
-
当年轻代空间不足时,就会触发Minor GC,这里的年轻代满指的是Eden代满。Survivor满不会主动引发GC,在Eden区满的时候,会顺带触发s0区的GC,也就是被动触发GC(每次Minor GC会清理年轻代的内存)
-
因为Java对象大多都具备朝生夕灭的特性,所以Minor GC非常频繁,一般回收速度也比较快。这一定义既清晰又易于理解。
-
Minor GC会引发STW(Stop The World),暂停其它用户的线程,等垃圾回收结束,用户线程才恢复运行
Major/Full GC
老年代GC(MajorGC)触发机制
-
指发生在老年代的GC,对象从老年代消失时,我们说 “Major Gc” 或 “Full GC” 发生了
-
出现了MajorGc,经常会伴随至少一次的Minor GC。(但非绝对的,在Parallel Scavenge收集器的收集策略里就有直接进行MajorGC的策略选择过程)
- 也就是在老年代空间不足时,会先尝试触发Minor GC,如果之后空间还不足,则触发Major GC
-
Major GC的速度一般会比Minor GC慢10倍以上,STW的时间更长。
-
如果Major GC后,内存还不足,就报OOM了
Full GC 触发机制
触发Full GC执行的情况有如下五种:
- 调用System.gc()时,系统建议执行FullGC,但是不必然执行
- 老年代空间不足
- 方法区空间不足
- 通过Minor GC后进入老年代的平均大小大于老年代的可用内存
- 由Eden区、survivor space0(From Space)区向survivor space1(To Space)区复制时,对象大小大于To Space可用内存,则把该对象转存到老年代,且老年代的可用内存小于该对象大小
说明:Full GC 是开发或调优中尽量要避免的。这样STW时间会短一些
堆空间分代思想
- 新生代:有Eden、两块大小相同的survivor(又称为from/to或s0/s1)构成,to总为空。
- 老年代:存放新生代中经历多次GC仍然存活的对象。
其实不分代完全可以,分代的唯一理由就是优化GC性能。
- 如果没有分代,那所有的对象都在一块,就如同把一个学校的人都关在一个教室。GC的时候要找到哪些对象没用,这样就会对堆的所有区域进行扫描。(性能低)
- 而很多对象都是朝生夕死的,如果分代的话,把新创建的对象放到某一地方,当GC的时候先把这块存储“朝生夕死”对象的区域进行回收,这样就会腾出很大的空间出来。(多回收新生代,少回收老年代,性能会提高很多)
对象分配策略
- 如果对象在Eden出生并经过第一次Minor GC后仍然存活,并且能被Survivor容纳的话,将被移动到Survivor空间中,并将对象年龄设为1。
- 对象在Survivor区中每熬过一次MinorGC,年龄就增加1岁,当它的年龄增加到一定程度(默认为15岁,其实每个JVM、每个GC都有所不同)时,就会被晋升到老年代
- 对象晋升老年代的年龄阀值,可以通过选项**-XX:MaxTenuringThreshold**来设置
针对不同年龄段的对象分配原则如下所示:
- 优先分配到Eden:开发中比较长的字符串或者数组,会直接存在老年代,但是因为新创建的对象都是朝生夕死的,所以这个大对象可能也很快被回收,但是因为老年代触发Major GC的次数比 Minor GC要更少,因此可能回收起来就会比较慢
- 大对象直接分配到老年代:尽量避免程序中出现过多的大对象
- 长期存活的对象分配到老年代
- 动态对象年龄判断:如果Survivor区中相同年龄的所有对象大小的总和大于Survivor空间的一半,年龄大于或等于该年龄的对象可以直接进入老年代,无须等到MaxTenuringThreshold中要求的年龄。
- 空间分配担保: -XX:HandlePromotionFailur
TLAB为对象分配内存(保证线程安全)
什么是TLAB(Thread Local Allocation Buffer)
- 从内存模型而不是垃圾收集的角度,对Eden区域继续进行划分,JVM为每个线程分配了一个私有缓存区域,它包含在Eden空间内。
- 多线程同时分配内存时,使用TLAB可以避免一系列的非线程安全问题,同时还能够提升内存分配的吞吐量,因此我们可以将这种内存分配方式称之为快速分配策略。
- 据我所知所有OpenJDK衍生出来的JVM都提供了TLAB的设计。
TLAB再说明
-
尽管不是所有的对象实例都能够在TLAB中成功分配内存,但JVM确实是将TLAB作为内存分配的首选。
-
在程序中,开发人员可以通过选项“-XX:UseTLAB”设置是否开启TLAB空间。
-
默认情况下,TLAB空间的内存非常小,仅占有整个Eden空间的1%,当然我们可以通过选项“-XX:TLABWasteTargetPercent”设置TLAB空间所占用Eden空间的百分比大小。
-
一旦对象在TLAB空间分配内存失败时,JVM就会尝试着通过使用加锁机制确保数据操作的原子性,从而直接在Eden空间中分配内存。
1、哪个线程要分配内存,就在哪个线程的本地缓冲区中分配,只有本地缓冲区用完 了,分配新的缓存区时才需要同步锁定 ----这是《深入理解JVM》--第三版里说的
2、和这里讲的有点不同。我猜测说的意思是某一次分配,如果TLAB用完了,那么这一次先在Eden区直接分配。空闲下来后再加锁分配新的TLAB(TLAB内存较大,分配时间应该较长)
TLAB的分配过程
在 Java 虚拟机中,当线程需要分配 TLAB 内存空间时,它会向 Java 虚拟机发出一个内存请求。Java 虚拟机会根据线程的栈大小和执行需要,决定是否分配 TLAB 内存空间。
如果 Java 虚拟机决定分配 TLAB 内存空间,它会首先检查是否已经在 TLAB 中分配了足够的内存空间。如果已经在 TLAB 中分配了足够的内存空间,Java 虚拟机将直接返回成功响应,线程可以使用分配的内存空间。
如果 Java 虚拟机需要在 TLAB 中分配内存空间,它通常会通过以下步骤进行内存分配:
-
Java 虚拟机计算出需要分配的内存大小,通常会包括线程的局部变量表、栈帧数据、方法区数据等。
-
Java 虚拟机向堆栈中分配内存空间,用于存储需要分配的内存空间。
-
Java 虚拟机将需要分配的内存空间复制到 TLAB 中,并更新 TLAB 的标记,以指示内存已经被分配。
-
如果 TLAB 中的空间不足以存储需要分配的内存空间,Java 虚拟机将抛出一个内存泄漏异常。
在 Java 虚拟机中,TLAB 分配内存的过程涉及到堆栈、堆、方法区等多个内存区域,需要综合考虑线程的栈大小、执行需要、内存分配策略等因素,以最优的方式分配内存空间。
堆空间的参数设置
/*** 测试堆空间常用的jvm参数:* -XX:+PrintFlagsInitial : 查看所有的参数的默认初始值* -XX:+PrintFlagsFinal :查看所有的参数的最终值(可能会存在修改,不再是初始值)* 具体查看某个参数的指令: jps:查看当前运行中的进程* jinfo -flag SurvivorRatio 进程id** -Xms:初始堆空间内存 (默认为物理内存的1/64)* -Xmx:最大堆空间内存(默认为物理内存的1/4)* -Xmn:设置新生代的大小。(初始值及最大值)* -XX:NewRatio:配置新生代与老年代在堆结构的占比* -XX:SurvivorRatio:设置新生代中Eden和S0/S1空间的比例* -XX:MaxTenuringThreshold:设置新生代垃圾的最大年龄* -XX:+PrintGCDetails:输出详细的GC处理日志* 打印gc简要信息:① -XX:+PrintGC ② -verbose:gc* -XX:HandlePromotionFailure:是否设置空间分配担保*/
空间分配担保
1、在发生Minor GC之前,虚拟机会检查老年代最大可用的连续空间是否大于新生代所有对象的总空间。
- 如果大于,则此次Minor GC是安全的
- 如果小于,则虚拟机会查看-XX:HandlePromotionFailure设置值是否允担保失败。
- 如果HandlePromotionFailure=true,那么会继续检查老年代最大可用连续空间是否大于历次晋升到老年代的对象的平均大小。
- 如果大于,则尝试进行一次Minor GC,但这次Minor GC依然是有风险的;
- 如果小于,则进行一次Full GC。
- 如果HandlePromotionFailure=false,则进行一次Full GC。
- 如果HandlePromotionFailure=true,那么会继续检查老年代最大可用连续空间是否大于历次晋升到老年代的对象的平均大小。
历史版本
- 在JDK6 Update 24之后,HandlePromotionFailure参数不会再影响到虚拟机的空间分配担保策略,观察openJDK中的源码变化,虽然源码中还定义了HandlePromotionFailure参数,但是在代码中已经不会再使用它。
- JDK6 Update 24之后的规则变为只要老年代的连续空间大于新生代对象总大小或者历次晋升的平均大小就会进行Minor GC,否则将进行Full GC。即 HandlePromotionFailure=true
堆是分配对象的唯一选择么?
在《深入理解Java虚拟机》中关于Java堆内存有这样一段描述:
-
随着JIT编译期的发展与逃逸分析技术逐渐成熟,栈上分配、标量替换优化技术将会导致一些微妙的变化,所有的对象都分配到堆上也渐渐变得不那么“绝对”了。
-
在Java虚拟机中,对象是在Java堆中分配内存的,这是一个普遍的常识。但是,有一种特殊情况,那就是如果经过逃逸分析(Escape Analysis)后发现,一个对象并没有逃逸出方法的话,那么就可能被优化成栈上分配。这样就无需在堆上分配内存,也无须进行垃圾回收了。这也是最常见的堆外存储技术。
-
此外,前面提到的基于OpenJDK深度定制的TaoBao VM,其中创新的GCIH(GC invisible heap)技术实现off-heap,将生命周期较长的Java对象从heap中移至heap外,并且GC不能管理GCIH内部的Java对象,以此达到降低GC的回收频率和提升GC的回收效率的目的。
逃逸分析
- 如何将堆上的对象分配到栈,需要使用逃逸分析手段。
- 这是一种可以有效减少Java程序中同步负载和内存堆分配压力的跨函数全局数据流分析算法。
- 通过逃逸分析,Java Hotspot编译器能够分析出一个新的对象的引用的使用范围从而决定是否要将这个对象分配到堆上。
- 逃逸分析的基本行为就是分析对象动态作用域:
- 当一个对象在方法中被定义后,对象只在方法内部使用,则认为没有发生逃逸。
- 当一个对象在方法中被定义后,它被外部方法所引用,则认为发生逃逸。例如作为调用参数传递到其他地方中。
1、没有发生逃逸的对象,则可以分配到栈(无线程安全问题)上,随着方法执行的结束,栈空间就被移除(也就无需GC)
public void my_method() {V v = new V();// use v// ....v = null;
}
2、下面代码中的 StringBuffer sb 发生了逃逸,不能在栈上分配
public static StringBuffer createStringBuffer(String s1, String s2) {StringBuffer sb = new StringBuffer();sb.append(s1);sb.append(s2);return sb;
}
3、如果想要StringBuffer sb不发生逃逸,可以这样写
public static String createStringBuffer(String s1, String s2) {StringBuffer sb = new StringBuffer();sb.append(s1);sb.append(s2);return sb.toString();
}
/*** 逃逸分析** 如何快速的判断是否发生了逃逸分析,大家就看new的对象实体是否有可能在方法外被调用。*/
public class EscapeAnalysis {public EscapeAnalysis obj;/*方法返回EscapeAnalysis对象,发生逃逸*/public EscapeAnalysis getInstance(){return obj == null? new EscapeAnalysis() : obj;}/*为成员属性赋值,发生逃逸*/public void setObj(){this.obj = new EscapeAnalysis();}//思考:如果当前的obj引用声明为static的?仍然会发生逃逸。/*对象的作用域仅在当前方法中有效,没有发生逃逸*/public void useEscapeAnalysis(){EscapeAnalysis e = new EscapeAnalysis();}/*引用成员变量的值,发生逃逸*/public void useEscapeAnalysis1(){EscapeAnalysis e = getInstance();//getInstance().xxx()同样会发生逃逸}
}
逃逸分析参数设置
-
在JDK 1.7 版本之后,HotSpot中默认就已经开启了逃逸分析
-
如果使用的是较早的版本,开发人员则可以通过:
- 选项“-XX:+DoEscapeAnalysis"显式开启逃逸分析
- 通过选项“-XX:+PrintEscapeAnalysis"查看逃逸分析的筛选结果
总结:开发中能使用局部变量的,就不要使用在方法外定义。
代码优化
使用逃逸分析,编译器可以对代码做如下优化:
- 栈上分配:将堆分配转化为栈分配。如果一个对象在子程序中被分配,要使指向该对象的指针永远不会发生逃逸,对象可能是栈上分配的候选,而不是堆上分配
- 同步省略(同步消除):如果一个对象被发现只有一个线程被访问到,那么对于这个对象的操作可以不考虑同步。同步省略操作是在解释运行时发生的(自己加的锁没有用)
- 分离对象或标量替换:有的对象可能不需要作为一个连续的内存结构存在也可以被访问到,那么对象的部分(或全部)可以不存储在内存,而是存储在CPU寄存器中。
栈上分配
- JIT编译器在编译期间根据逃逸分析的结果,发现如果一个对象并没有逃逸出方法的话,就可能被优化成栈上分配。分配完成后,继续在调用栈内执行,最后线程结束,栈空间被回收,局部变量对象也被回收。这样就无须进行垃圾回收了。
- 常见的栈上分配的场景:在逃逸分析中,已经说明了,分别是给成员变量赋值、方法返回值、实例引用传递。
标量替换
-
标量(scalar)是指一个无法再分解成更小的数据的数据。Java中的原始数据类型就是标量。
-
相对的,那些还可以分解的数据叫做聚合量(Aggregate),Java中的对象就是聚合量,因为他可以分解成其他聚合量和标量。
-
在JIT阶段,如果经过逃逸分析,发现一个对象不会被外界访问的话,那么经过JIT优化,就会把这个对象拆解成若干个其中包含的若干个成员变量来代替。这个过程就是标量替换。
分析:
- 可以看到,Point这个聚合量经过逃逸分析后,发现他并没有逃逸,就被替换成两个聚合量了。
- 那么标量替换有什么好处呢?就是可以大大减少堆内存的占用。因为一旦不需要创建对象了,那么就不再需要分配堆内存了。
- 标量替换为栈上分配提供了很好的基础。
参数设置参 -XX:+ElimilnateAllocations:开启了标量替换(默认打开),允许将对象打散分配在栈上。
逃逸分析的不足
- 关于逃逸分析的论文在1999年就已经发表了,但直到JDK1.6才有实现,而且这项技术到如今也并不是十分成熟的。
- 其根本原因就是无法保证逃逸分析的性能消耗一定能高于他的消耗。虽然经过逃逸分析可以做标量替换、栈上分配、和锁消除。但是逃逸分析自身也是需要进行一系列复杂的分析的,这其实也是一个相对耗时的过程。
- 一个极端的例子,就是经过逃逸分析之后,发现没有一个对象是不逃逸的。那这个逃逸分析的过程就白白浪费掉了。
- 虽然这项技术并不十分成熟,但是它也是即时编译器优化技术中一个十分重要的手段。
- 注意到有一些观点,认为通过逃逸分析,JVM会在栈上分配那些不会逃逸的对象,这在理论上是可行的,但是取决于JVM设计者的选择。Oracle Hotspot JVM中并未这么做(HotSpot实现了标量替换),这一点在逃逸分析相关的文档里已经说明,所以可以明确在HotSpot虚拟机上,所有的对象实例都是创建在堆上。
- 目前很多书籍还是基于JDK7以前的版本,JDK已经发生了很大变化,intern字符串的缓存和静态变量曾经都被分配在永久代上,而永久代已经被元数据区取代。但是intern字符串缓存和静态变量并不是被转移到元数据区,而是直接在堆上分配,所以这一点同样符合前面一点的结论:对象实例都是分配在堆上。