低代碼平臺(tái)數(shù)據(jù)集成能力——ETL工具（低代碼erp）

現(xiàn)代的企業(yè)做數(shù)字化轉(zhuǎn)型一定已經(jīng)存在大量的應(yīng)用和數(shù)據(jù)，作為新一代的開(kāi)發(fā)工具必須要有數(shù)據(jù)集成能力，這樣才可以整合寶貴的歷史數(shù)據(jù)。江蘇南大先騰信息產(chǎn)業(yè)有限公司-樂(lè)扣低代碼平臺(tái) 是如何做數(shù)據(jù)整合的呢？

數(shù)據(jù)資源定義

用戶需要在資源管理中配置已有系統(tǒng)的數(shù)據(jù)和服務(wù)，包括各種關(guān)系數(shù)據(jù)庫(kù)、非關(guān)系數(shù)據(jù)庫(kù)、消息中間件和restful服務(wù)。

租戶數(shù)據(jù)資源管理

用戶可以將現(xiàn)有所有業(yè)務(wù)系統(tǒng)中的數(shù)據(jù)和服務(wù)都配置到這個(gè)資源列表中。

定義ETL步驟

用戶可以通過(guò)API配置工具來(lái)定義ETL的步驟，下圖是以一個(gè)交易數(shù)據(jù)匯總整合為例來(lái)展示ETL的步驟的。

定義ETL數(shù)據(jù)抽取轉(zhuǎn)換邏輯

步驟如下：

1. 獲取線上交易數(shù)據(jù)，并對(duì)數(shù)據(jù)進(jìn)行過(guò)濾，過(guò)濾掉無(wú)用的數(shù)據(jù)。
2. 獲取線下交易數(shù)據(jù)，可能和線上交易數(shù)據(jù)不在一個(gè)庫(kù)中，并先對(duì)數(shù)據(jù)進(jìn)行整理（計(jì)算）在進(jìn)行過(guò)濾。
3. 匯總線上和線下交易數(shù)據(jù)。
4. 寫(xiě)入到目標(biāo)數(shù)據(jù)庫(kù)（數(shù)據(jù)中心）中。

執(zhí)行數(shù)據(jù)轉(zhuǎn)換

ETL事務(wù)一般是在后臺(tái)運(yùn)行的，可以通過(guò)定時(shí)任務(wù)來(lái)執(zhí)行也可以通過(guò)消息機(jī)制來(lái)出發(fā)。

ETL事務(wù)出發(fā)機(jī)制

總結(jié)

樂(lè)扣低代碼平臺(tái)沒(méi)有專(zhuān)門(mén)設(shè)計(jì)一個(gè)ETL工具而是通過(guò)給api接口添加觸發(fā)機(jī)制（定時(shí)任務(wù)或者消息訂閱）來(lái)達(dá)到ETL的功能。