Spring batch批處理框架

spring batch框架的簡(jiǎn)介

批處理任務(wù)是大多數(shù)IT項(xiàng)目的一個(gè)重要組成部分，批處理在業(yè)務(wù)系統(tǒng)中負(fù)責(zé)處理海量的數(shù)據(jù)，無(wú)須人工干預(yù)就能夠自動(dòng)高效的進(jìn)行復(fù)雜的數(shù)據(jù)分析和處理。批處理會(huì)定期讀入批量數(shù)據(jù)，經(jīng)過(guò)相應(yīng)的業(yè)務(wù)處理進(jìn)行歸檔的業(yè)務(wù)操作，批處理的特征是自動(dòng)執(zhí)行，處理的數(shù)據(jù)量大，定時(shí)執(zhí)行。將整個(gè)批處理的流程按邏輯劃分可以分為讀數(shù)據(jù)，處理數(shù)據(jù)和寫(xiě)數(shù)據(jù)。

spring batch對(duì)批處理本身的特性進(jìn)行了抽象，將批處理作業(yè)抽象為job和job step，將批處理的處理過(guò)程分解為數(shù)據(jù)讀，數(shù)據(jù)處理和數(shù)據(jù)寫(xiě)。

將異常處理機(jī)制分為跳過(guò)，重啟和重試。將作業(yè)的分區(qū)分為多線程，并行遠(yuǎn)程和分區(qū)。

spring batch不是一個(gè)調(diào)度框架，但需要調(diào)度框架來(lái)配合完成批處理任務(wù)，它只關(guān)注批處理相關(guān)的任務(wù)問(wèn)題，但沒(méi)有提供相應(yīng)的調(diào)度功能，如果需要使用調(diào)度功能，需要使用調(diào)度框架，這里介紹一個(gè)比較常用的調(diào)度框架quartz，可以配合spring batch完成批處理的任務(wù)調(diào)度。

spring batch的架構(gòu)分為三層：基礎(chǔ)架構(gòu)層，核心層和應(yīng)用層。應(yīng)用層包含所有的批處理作業(yè)，核心層主要提供JobLauncher、Job和step，基礎(chǔ)架構(gòu)層主要提供通用的讀(ItemReader)、寫(xiě)(ItemWriter)和服務(wù)處理(如：RetryTemplate重試模板；RepeatTemplate:重復(fù)模板),Spring

batch的三層架構(gòu)體系使得Spring batch框架可以在不同的層級(jí)進(jìn)行擴(kuò)展，避免不同層級(jí)之間的相互影響。

job的介紹

批處理的作業(yè)是由一組step組成，同時(shí)job本身也是配置文件的頂級(jí)元素。每個(gè)作業(yè)都有自己的名字，可以定義step的執(zhí)行順序，以及定義作業(yè)是否可以重啟。job執(zhí)行的時(shí)候會(huì)生成一個(gè)job instance(作業(yè)實(shí)例)和一個(gè)job execution(作業(yè)執(zhí)行器)。job instance包含執(zhí)行job期間產(chǎn)生的數(shù)據(jù)以及job執(zhí)行的狀態(tài)信息；1個(gè)job可以對(duì)應(yīng)多個(gè)job instance，1個(gè)job instance可以對(duì)應(yīng)多個(gè)job execution。

job的配置的主要屬性有id(作業(yè)的唯一標(biāo)識(shí))、job-repository(定義作業(yè)倉(cāng)庫(kù))、incrementer(作業(yè)參數(shù)遞增器)、restartable(作業(yè)是否重啟)、parent(指定該作業(yè)的父作業(yè))、abstract(定義作業(yè)是否抽象)。

step的介紹

step表示作業(yè)中一個(gè)完整的步驟，一個(gè)job可以由一個(gè)或者多個(gè)step組成，step主要負(fù)責(zé)批處理運(yùn)行過(guò)程中的主要業(yè)務(wù)邏輯的實(shí)現(xiàn)。每次step執(zhí)行的時(shí)候會(huì)生成一個(gè)或者多個(gè)job execution，每次任務(wù)執(zhí)行失敗的時(shí)候，等到下次重新執(zhí)行該任務(wù)的時(shí)候就會(huì)為該任務(wù)的step重新生成一個(gè)step execution。

step可以配置tasklet、partition、job、flow。

step一般主要配置itemReader、itemProcess和itemWriter來(lái)完成批處理的業(yè)務(wù)邏輯處理。

job repository的介紹

job repository主要用來(lái)存儲(chǔ)job運(yùn)行期間的元數(shù)據(jù)(這些元數(shù)據(jù)包括job instance、job execution、job parameters、step execution、execution context等數(shù)據(jù))。

spring batch框架進(jìn)行元數(shù)據(jù)管理的時(shí)候共有9張表，其中有3張表(后綴是SEQ)用來(lái)分配主鍵的，這9張表分別是

BATCH_JOB_INSTANCE：作業(yè)實(shí)例表

BATCH_JOB_EXECUTION：作業(yè)執(zhí)行器表

BATCH_JOB_EXECUTION_PARAMS：作業(yè)參數(shù)表

BATCH_STEP_EXECUTION：作業(yè)步執(zhí)行器表

BATCH_JOB_EXECUTION_CONTEXT：作業(yè)執(zhí)行上下文表

BATCH_STEP_EXECUTION_CONTEXT：作業(yè)步執(zhí)行上下文表

BATCH_JOB_EXECUTION_SEQ：作業(yè)執(zhí)行器序列表

BATCH_STEP_EXECUTION_SEQ：作業(yè)步序列表

BATCH_JOB_SEQ：作業(yè)序列表

itemReader的介紹

itemReader是Step中對(duì)資源的讀處理，Spring batch框架提供了大量的直接可用的讀組件可以快速的完成批處理應(yīng)用的開(kāi)發(fā)和構(gòu)建，同時(shí)框架也提供了較好的復(fù)用和擴(kuò)展組件，開(kāi)發(fā)者可以自定義實(shí)現(xiàn)。

ListItemReader：讀取List數(shù)據(jù)，只能讀一次。

ItemReaderAdapter：ItemReader適配器，可以復(fù)用現(xiàn)有的讀操作。

FlatFileItemReader：讀Flat類型文件。

StaxEventItemReader：讀XML類型文件。

JdbcCursorItemReader：基于JDBC游標(biāo)方式讀數(shù)據(jù)庫(kù)。

HibernateCursorItemReader：基于hibernate游標(biāo)方式讀取數(shù)據(jù)庫(kù)。

StoredProcedureItemReader：基于存儲(chǔ)過(guò)程讀取數(shù)據(jù)庫(kù)。

IbatisPagingItemReader：基于Ibatis分頁(yè)讀取數(shù)據(jù)庫(kù)。

JpaPagingItemReader：基于jpa方式分頁(yè)讀取數(shù)據(jù)庫(kù)。

JdbcPagingItemReader：基于jdbc方式分頁(yè)讀取數(shù)據(jù)庫(kù)。

HibernatePagingItemReader：基于Hibernate方式分頁(yè)讀取數(shù)據(jù)庫(kù)。

JmsItemReader：讀取jms隊(duì)列。

IteratorItemReader：迭代方式的讀組件。

MultiResourceItemReader：多文件讀取組件。

MongoItemReader：基于分布式存儲(chǔ)MongoDB讀組件。

Neo4jItemReader：面向網(wǎng)格數(shù)據(jù)庫(kù)Neo4j讀組件。

ResourcesItemReader：基于批量資源的讀組件。

AmqpItemReader：讀取AMQP隊(duì)列組件。

RepositoryItemReader：基于Spring Data的讀組件。

itemProcess的介紹

itemProcess階段表示對(duì)讀取數(shù)據(jù)進(jìn)行處理，開(kāi)發(fā)者可以在這里面實(shí)現(xiàn)自己的業(yè)務(wù)操作。

CompositeItemProcessor：組合處理器，可以封裝多個(gè)業(yè)務(wù)處理服務(wù)。

ItemProcessorAdapter：適配器，可以復(fù)用現(xiàn)有的業(yè)務(wù)處理服務(wù)。

PassThroughItemProcessor：不做業(yè)務(wù)處理，直接返回讀取數(shù)據(jù)。

ValidatingItemProcessor：數(shù)據(jù)校驗(yàn)處理器，支持對(duì)數(shù)據(jù)的校驗(yàn)，如果校驗(yàn)不通過(guò)可以進(jìn)行過(guò)濾或者跳過(guò)skip的方式來(lái)處理記錄。

itemWriter的介紹

itemWriter是step中對(duì)資源的寫(xiě)處理，Spring batch框架提供了大量的直接可用的寫(xiě)組件可以快速的完成批處理應(yīng)用的開(kāi)發(fā)和構(gòu)建，同時(shí)框架也提供了較好的復(fù)用和擴(kuò)展組件，開(kāi)發(fā)者可以自定義實(shí)現(xiàn)。

FlatFileItemWriter：寫(xiě)flat類型文件。

MultiResourceItemWriter：多文件寫(xiě)組件。

StaxEventItemWriter：寫(xiě)XML類型文件。

AmqpItemWriter：寫(xiě)AMQP類型消息。

ClassifierCompositeItemWriter：根據(jù)Classifier路由不同的Item到特定的ItemWriter處理。

HibernateItemWriter：基于Hibernate方式寫(xiě)數(shù)據(jù)庫(kù)。

IbatisBatchItemWriter：基于Ibatis方式寫(xiě)數(shù)據(jù)庫(kù)。

ItemWriterAdapter：適配器，可以復(fù)用現(xiàn)有的寫(xiě)服務(wù)。

JdbcBatchItemWriter：基于JDBC方式寫(xiě)數(shù)據(jù)庫(kù)。

JmsItemWriter：寫(xiě)JMS隊(duì)列。

JpaItemWriter：基于jpa方式寫(xiě)數(shù)據(jù)庫(kù)。

GemfireItemWriter：基于分布式數(shù)據(jù)庫(kù)Gemfire的寫(xiě)組件。

SpELMappingGemfireItemWriter：基于spring表達(dá)式語(yǔ)言寫(xiě)分布式數(shù)據(jù)庫(kù)Gemfire的組件。

MimeMessageItemWriter：發(fā)送郵件的寫(xiě)組件。

MongoItemWriter：基于分布式文件存儲(chǔ)數(shù)據(jù)庫(kù)MongoDB寫(xiě)組件。

Neo4jItemWriter：面向網(wǎng)絡(luò)數(shù)據(jù)庫(kù)Neo4j的讀組件。

PropertyExtractingDelegatingItemWriter：屬性抽取代理寫(xiě)組件。

RepositoryItemWriter：基于Spring Data的寫(xiě)組件。

SimpleMailMessageItemWriter：發(fā)送郵件的寫(xiě)組件。

CompositeItemWriter：條目寫(xiě)的組合模式，支持組裝多個(gè)ItemWriter。

以上就是本文的全部?jī)?nèi)容，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的幫助，同時(shí)也希望多多支持億速云！