Spring Batch JdbcCursorItemReader导致内存不足问题

2022-02-28 00:00:00 java spring-batch

我正在使用Spring Batch框架进行数据迁移。我使用的读取器是JdbcCursorItemReader。我将块大小设置为500,并将读取器获取大小设置为1000。但是,当使用Spring Batch运行该服务时,它似乎只读取了内存中的所有数据一次,然后就耗尽了内存。然后抛出内存不足的问题。下面是我对读者的定义:

   private JdbcCursorItemReader<Map<String, Object>> buildItemReader(final DataSource dataSource, String tableName,String tenant) {
        String tenantName = tenantHelper.determineTenant(tableName);
        JdbcCursorItemReader<Map<String, Object>> itemReader = new JdbcCursorItemReader<>();
        itemReader.setDataSource(dataSource);
        itemReader.setSql("select * from " + tableName + " where " + tenantName + " ='" + tenant + "'");
        itemReader.setRowMapper(new ColumnMapRowMapper());
        itemReader.setFetchSize(100);
        return itemReader;
    }

另外,从Spring Batch文档here应该可以通过使用jdbcCursorItemReader来避免内存问题


解决方案

通过使用jdbcPagingItemReader解决了这个问题。游标读取器消耗大量内存的根本原因是,它只是将所有数据读入内存,然后进行处理,JVM会将其视为一个大对象,直接分配到老一代中,直到整个过程完成后才能收集。

相关文章