您好,登錄后才能下訂單哦!
1、Spring 中集成camel-ftp
近期項目中涉及到定期獲取讀取并解析ftp服務器上的文件,自己實現(xiàn)ftp-client的有些復雜,因此考慮集成camel-ftp的方式來解決ftp文件的下載問題。自己則專注于文件的解析工作.
demo: https://github.com/LuckyDL/ftp-camel-demo
1.1、POM引用
<dependency> <groupId>org.apache.camel</groupId> <artifactId>camel-spring-boot-starter</artifactId> <version>2.22.1</version> </dependency> <dependency> <groupId>org.apache.camel</groupId> <artifactId>camel-ftp</artifactId> <version>2.22.1</version> </dependency>
注意:在選擇版本的時候,如果SpringBoot版本是1.5.10.RELEASE的話,那么camel的版本最高只能使用2.21.2,使用2.22版本將會報錯。經(jīng)測試的配套關(guān)系如下:
SrpingBoot | Camel |
---|---|
1.5 | <=2.21.2 |
2.0 | >=2.22.x |
其他情況都會出現(xiàn)錯誤.
1.2、SpringBoot application.yml配置
ftp: addr: 172.18.18.19:21 # ftp地址、端口 name: ftpuser password: ftp2018 options: password=${ftp.password}&readLock=rename&delay=10s&binary=true&filter=#zipFileFilter&noop=true&recursive=true url: ftp://${ftp.name}@${ftp.addr}/?${ftp.options} # 本地下載目錄 local-dir: /var/data # 后臺運行進程 camel: springboot: main-run-controller: true management: endpoint: camelroutes: enabled: true read-only: true
配置說明:
更多參數(shù)配置見官方手冊
1.3、配置路由
要配置從遠端服務器下載文件到本地,格式如下,from內(nèi)部為我們在上面配置的url,to為本地文件路徑。
@Component public class DownloadRoute extends RouteBuilder { /** logger */ private static final Logger logger = LoggerFactory.getLogger(DownloadRoute.class); @Value("${ftp.server.info}") private String sftpServer; @Value("${ftp.local.dir}") private String downloadLocation; @Autowired private DataProcessor dataProcessor; @Override public void configure() throws Exception{ from(sftpServer) .to(downloadLocation) .process(dataProcessor) .log(LoggingLevel.INFO, logger, "Download file ${file:name} complete."); } }
說明:
若將from配置為本地地址,to配置為遠端地址,則可以實現(xiàn)向遠端服務器上傳文件
process是數(shù)據(jù)處理器,如果僅僅是下載文件到本地,那么就不需要該配置。
也可以配置多條路由也處理不同的業(yè)務:
@Override public void configure() throws Exception{ // route1 from(sftpServer) .to(downloadLocation) .process(dataProcessor) .log(LoggingLevel.INFO, logger, "Download file ${file:name} complete."); // route2 from(xxx).to(xxxx); // route3 from(xxxx).to(xxx).process(xxx); }
1.4、配置文件過濾
如果ftp服務器上有很多文件,但是我們需要的只是其中的一種,全部下載下來,有業(yè)務層來實現(xiàn)過濾肯定不合適,我們可以使用camel-ftp的文件過濾器,通過url中的filter來指定,如“filter=#zipFileFilter”,
用戶需要實現(xiàn)GenericFileFilter接口的accept方法。
例如我們只需要下載后綴名為.zip的壓縮包到本地,過濾器的編寫方法如下,因為我要遞歸掃描子目錄,因此類型為目錄的文件也需要允許通過。
/** * camel ftp zip文件過濾器 */ @Component public class ZipFileFilter implements GenericFileFilter { @Override public boolean accept(GenericFile file) { return file.getFileName().endsWith(".zip") || file.isDirectory(); } }
1.5、文件處理器
文件處理器就是我們對下載到本地的文件進行處理的操作,比如我們可能需要對下載的文件重新規(guī)劃目錄;或者解析文件并進行入庫操作等。這就需要通過實現(xiàn)Processer的process方法。
本文中的demo就是通過processor來解析zip包中的文件內(nèi)容:
@Component public class DataProcessor implements Processor { /** logger */ private static final Logger logger = LoggerFactory.getLogger(DataProcessor.class); @Value("${ftp.local-dir}") private String fileDir; @Override public void process(Exchange exchange) throws Exception { GenericFileMessage<RandomAccessFile> inFileMessage = (GenericFileMessage<RandomAccessFile>) exchange.getIn(); String fileName = inFileMessage.getGenericFile().getFileName(); String file_path = fileDir + '/' + fileName; readZip(file_path); } ... // 省略數(shù)據(jù)處理方法 }
2、參考資料
關(guān)于camel ftp的各個參數(shù)配置,參見官方手冊:http://camel.apache.org/ftp2.html
此處需要注意的是,camel ftp手冊里面只寫了ftp獨有的一些配置項,camel-ftp組件繼承自camel-file,手冊里面有說明,就一句話,不注意就可能忽略了,筆者就是沒注意,被遞歸掃描子目錄的問題折騰了2天(閱讀要細心o(╥﹏╥)o)。。。因此有一些參數(shù)配置項可能在camel-ftp手冊里面找不到,請移步至:http://camel.apache.org/file2.html
以上就是本文的全部內(nèi)容,希望對大家的學習有所幫助,也希望大家多多支持億速云。
免責聲明:本站發(fā)布的內(nèi)容(圖片、視頻和文字)以原創(chuàng)、轉(zhuǎn)載和分享為主,文章觀點不代表本網(wǎng)站立場,如果涉及侵權(quán)請聯(lián)系站長郵箱:is@yisu.com進行舉報,并提供相關(guān)證據(jù),一經(jīng)查實,將立刻刪除涉嫌侵權(quán)內(nèi)容。