你好,游客 登录 注册 搜索
背景:
阅读新闻

JDBC连接mysql,查大数据集报:java.lang.OutOfMemoryError:

[日期:2015-01-06] 来源:爱程序网  作者: [字体: ]

JDBC连接mysql,查大数据集报:java.lang.OutOfMemoryError: Java heap spa,有需要的朋友可以参考下。

问题描述:

在项目中需要连接mysql,查询上千上万的记录,每个字段都挺大。结果在Eclipse中报如下错误:

java.lang.OutOfMemoryError: Java heap space

原因分析:

mysql会将查询到的记录全部发送到java端保存,而JVM中如果98%的时间是用于GC,且可用的Heap size 不足2%的时候将抛出此异常信息。JVM堆的设置是指java程序运行过程中JVM可以调配使用的内存空间的设置.JVM在启动的时候会自动设置Heap size的值,其初始空间(即-Xms)是物理内存的1/64,最大空间(-Xmx)是物理内存的1/4。可以利用JVM提供的-Xmn -Xms -Xmx等选项可进行设置。

解决方案记录如下:
方案一:
eclipse 有启动参数里设置jvm大小,因为eclipse运行时自己也需要jvm,所以eclipse.ini里设置的jvm大小不是具体某个程序运行时所用jvm的大小,这和具体程序运行的jvm大小无关。
那么怎么才能设置某个程序的jvm大小呢?
(当然控制台运行的话不会存在这个问题,如:java -Xms256m -Xmx1024m classname,这样就可以把当前程序的jvm大小给设定)
因为eclipse里默认的一个程序的jvm配置为:-Xms8m -Xmx128m,所以我们的处理耗内存比较大时需要手动调整一下,以便不会内存溢出。
具体的设置方法为:
选中被运行的类,点击菜单‘run->run configurations’,选择(x)=Argument标签页下的vm arguments框里输入
-Xms128m-Xmx512m(根据你物理内存的大小调整), 保存运行就ok了


方案二:
这个问题的根源是jvm虚拟机的默认Heap大小是64M,可以通过设置其最大和最小值来实现.设置的方法主要是几个.
1.可以在windows 更改系统环境变量加上JAVA_OPTS=-Xms64m -Xmx512m
2.如果用的tomcat,在windows下,可以在C:\tomcat5.5.9\bin\catalina.bat 中加上:
set JAVA_OPTS=-Xms64m -Xmx256m
位置在: rem Guess CATALINA_HOME if not defined 这行的下面加合适.
3.如果是linux系统
Linux 在{tomcat_home}/bin/catalina.sh的前面,加
set JAVA_OPTS='-Xms64 -Xmx512

方案三(通用性强):

 

采用PreparedStatement:

 

1、当PreparedStatement设置以下属性时,采用的是流数据接收方式,每次只从服务器接收部分数据,直到所有数据处理完毕,不会发生JVM OOM。
setResultSetType(ResultSet.TYPE_FORWARD_ONLY);
setFetchSize(Integer.MIN_VALUE);
2、调用statement的enableStreamingResults方法,实际上enableStreamingResults方法内部封装的就是第1种方式。
3、设置连接属性useCursorFetch=true (5.0版驱动开始支持),statement以TYPE_FORWARD_ONLY打开,再设置fetch size参数,表示采用服务器端游标,每次从服务器取fetch_size条数据。

 

package com.seven.dbTools.DBTools;

import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.PreparedStatement;
import java.sql.ResultSet;
import java.sql.SQLException;
import java.sql.Statement;
import java.util.ArrayList;

public class JdbcHandleMySQLBigResultSet {

	public static long importData(String sql){
		String url = "jdbc:mysql://ipaddress:3306/test?user=username&password=password";
		try {
			Class.forName("com.mysql.jdbc.Driver");
		} catch (ClassNotFoundException e1) {
			e1.printStackTrace();
		}
		long allStart = System.currentTimeMillis();
		long count =0;

		Connection con = null;
		PreparedStatement ps = null;
		Statement st = null;
		ResultSet rs = null;
		try {
			con = DriverManager.getConnection(url);
			
			ps = (PreparedStatement) con.prepareStatement(sql,ResultSet.TYPE_FORWARD_ONLY,
		              ResultSet.CONCUR_READ_ONLY);
					  
			ps.setFetchSize(Integer.MIN_VALUE);
			
			ps.setFetchDirection(ResultSet.FETCH_REVERSE);

			rs = ps.executeQuery();


			while (rs.next()) {
				
				//此处处理业务逻辑
				count++;
				if(count%600000==0){
					System.out.println(" 写入到第  "+(count/600000)+" 个文件中!");
					long end = System.currentTimeMillis();
				}
				
			}
			System.out.println("取回数据量为  "+count+" 行!");
		} catch (SQLException e) {
			e.printStackTrace();
		} finally {
			try {
				if(rs!=null){
					rs.close();
				}
			} catch (SQLException e) {
				e.printStackTrace();
			}
			try {
				if(ps!=null){
					ps.close();
				}
			} catch (SQLException e) {
				e.printStackTrace();
			}
			try {
				if(con!=null){
					con.close();
				}
			} catch (SQLException e) {
				e.printStackTrace();
			}
		}
		return count;

	}

	public static void main(String[] args) throws InterruptedException {

		String sql = "select * from test.bigTable ";
		importData(sql);

	}

}

 





收藏 推荐 打印 | 录入:Cstor | 阅读:
本文评论   查看全部评论 (0)
表情: 表情 姓名: 字数
点评:
       
评论声明
  • 尊重网上道德,遵守中华人民共和国的各项有关法律法规
  • 承担一切因您的行为而直接或间接导致的民事或刑事法律责任
  • 本站管理人员有权保留或删除其管辖留言中的任意内容
  • 本站有权在网站内转载或引用您的评论
  • 参与本评论即表明您已经阅读并接受上述条款