Spring Batch JdbcCursorItemReader导致内存不足问题
我正在使用Spring Batch框架进行数据迁移。我使用的读取器是JdbcCursorItemReader。我将块大小设置为500,并将读取器获取大小设置为1000。但是,当使用Spring Batch运行该服务时,它似乎只读取了内存中的所有数据一次,然后就耗尽了内存。然后抛出内存不足的问题。下面是我对读者的定义:
private JdbcCursorItemReader<Map<String, Object>> buildItemReader(final DataSource dataSource, String tableName,String tenant) {
String tenantName = tenantHelper.determineTenant(tableName);
JdbcCursorItemReader<Map<String, Object>> itemReader = new JdbcCursorItemReader<>();
itemReader.setDataSource(dataSource);
itemReader.setSql("select * from " + tableName + " where " + tenantName + " ='" + tenant + "'");
itemReader.setRowMapper(new ColumnMapRowMapper());
itemReader.setFetchSize(100);
return itemReader;
}
另外,从Spring Batch文档here应该可以通过使用jdbcCursorItemReader来避免内存问题
解决方案
通过使用jdbcPagingItemReader解决了这个问题。游标读取器消耗大量内存的根本原因是,它只是将所有数据读入内存,然后进行处理,JVM会将其视为一个大对象,直接分配到老一代中,直到整个过程完成后才能收集。
相关文章