ItemWriter的Spring Boot多线程
我有一个Spring Boot批处理作业,它包含两个主要步骤,第一个步骤从电子表格中读取一串行。第二个写入数据库。现在,它已设置为串行写入数据库
public CompositeItemWriter<SoftLayerData> compositeSoftlayerDataWriter(
JpaItemWriter<SoftLayerData> softlayerDataWriter) {
CompositeItemWriter<SoftLayerData> compositeWriter = new CompositeItemWriter<>();
compositeWriter.setDelegates(asList(softlayerDataWriter));
return compositeWriter;
}
问题是体积太大。既然没有理由维持任何秩序,我希望有多个作家。我尝试过这个:
final int writerCount = 10;
List<ItemWriter<? super SoftLayerData>> writers = new ArrayList<>(writerCount);
for(int counter=0;counter<writerCount;counter++) {
writers.add(new JpaItemWriter<SoftLayerData>());
}
CompositeItemWriter<SoftLayerData> result = new CompositeItemWriter<>();
result.setDelegates(writers);
return result;
但是我收到一个IllegalArgumentException: No EntityManagerFactory specified
。
我喜欢这种方法,但我怀疑我必须遵循一些非常复杂的Spring Boot方法。处理多个写入者的最佳方法是什么?
谢谢, 伐木工
解决方案
CompositeItemWriter
调用委托编写器是顺序的,而不是并行的。因此,在复合编写器中创建10个JpaItemWriter
作为委派不会使您的步骤成为多线程。
如果希望该步骤成为多线程,则需要向其添加TaskExecutor
,类似于:
@Bean
public TaskExecutor taskExecutor() {
return new SimpleAsyncTaskExecutor("spring_batch");
}
@Bean
public Step sampleStep(TaskExecutor taskExecutor) {
return this.stepBuilderFactory.get("sampleStep")
.<String, String>chunk(10)
.reader(itemReader())
.writer(itemWriter())
.taskExecutor(taskExecutor)
.build();
}
请参考Multi-Threaded step。
现在您的问题是使用new
运算符创建JpaItemWriter
,因此Spring不会调用afterPropertiesSet
方法来检查强制属性。您需要在此编写器上设置EntityManagerFactory
。
相关文章