為什么要用etl工具?自己手動寫指令碼然後執行不是也可以么

2023-02-12 01:15:35 字數 3947 閱讀 3459

1樓:匿名使用者

成品etl工具與手工寫指令碼之比較:

一、靈活性來講:etl工具比較靈活,需要在此平臺上設定規則定義,前期是需要工具先前必須已有支援功能,如果需要擴充套件,要etl工具源廠商開發。而自己寫指令碼只需先前好好調研需求,自己寫能實現的功能即可。

俗話說得好“求人不如求己”哈哈哈!

二、難易度:etl工具相對上手比較容易,工程師只需具備兩個必要條件:1 、對資料庫熟悉 2、對客戶的業務邏輯瞭解。

手動寫指令碼呢?不僅要具備操作etl工具的條件,還要必須有一定技術水平。

三、後期管理與維護:etl工具非常容易,這點上是用工具的最給力的優勢。可能也是etl工具誕生的緣由吧!

原因:人力少不說,如有新的需求,只需稍加改動,圖形配置定義即可。而手工編碼呢?

較難。需要重又開發寫程式,隨著資料資訊的日積月累,每日資料的遞增,更新。開發的速度趕不上需求的更新,嚴重到先前開發架構不合理甚至於有可能推倒重來的風險。

如果取中間,既有圖形配置有兼具指令碼開發功能,有款中國的beeload/ beedi

四、效能和效率:這方面取決於多方面如:1、硬體:

伺服器 cpu 記憶體 2、資料庫型別 資料型別 3、網路狀況 4 、etl 工具的配置 設計。。。。。整體來說 工具屬於較高範疇,各家成熟etl 不一致、各有千秋。手工寫指令碼就要看程式設計者的水平啦!

因人而異,如果直接在資料庫上寫儲存過興許比任何一家成品工具高得多。在效能上,工具當屬老美的informatica ibm 的ds

五、開發週期:工具只需操作上源廠商負責培訓,再把客戶目前需求瞭解透徹,週期很短,上線見效快。手工編碼不僅需要把客戶(當前)需求瞭解透徹,未來需求也要有所**,再進行開發。

這樣週期就不得而知了。

六、工作量:從上述些顯然保守點得出:etl工具屬中等,手工編碼屬較重。

寫好程式還需大量測試工具,不斷修正bug 與完善。成熟工具已把這些工具先前做過了,即使有,也是可以容忍個別,源廠商可以分擔修正。

七、投入成本**:etl工具前期成本投入較多,鈔票先付。後期維護成本相對低。

編寫指令碼,先期投入人力(工程師的工薪)中期大量測試人力,後期維護人力(工程師的工薪)看似相對較低。貌似不要票子的開源滴etl工具 kettle,後期才付費(服務費與培訓費)

總之不管是用工具還是自己寫指令碼,要全盤考慮,根據各自專案大小,成本,願意付出哪部分,適合的才是最佳滴!

2樓:匿名使用者

首先要理解 "etl" ,"etl工具" ,"etl排程工具" 這三者的概念區別

"指令碼"對應的是etl領域中的"任務"例項

"etl工具"通常對應的是對etl領域中"任務排程"的工具

也有一些工具,比如微軟的ssis也自稱為etl工具,事實上在國內大型etl專案中:如銀行專案,是不會採用ssis來做專案的,通常是國外專業的etl排程工具提供商,如control-m ,datastage等.

當然,國內也有優秀的排程產品 "taskctl" ,可以瞭解下!它提出了幾個新的概念:

從根本上解決了現今市場etl排程產品中"流程監控表達困難"的窘境!

同時它是無資料庫的產品.從部署實踐角度來說,顯得非常方便.降低了部署執行環境的難度(在某些etl排程產品,部署執行環境困難也是一個很惱火的事情)

首次採用了流程"程式設計概念",實現了排程流程的快速開發.(在某些etl排程產品中,都是採用設定的方法來配置流程的.也許幾十幾百個可以慢慢配置.

但是如果涉及到上千上萬個任務,就顯得捉襟見肘了)

為什麼要用etl工具?就相當於上面舉taskctl這個例子,是從"量變到質變"的過程!

3樓:匿名使用者

其實的確是不一定要使用etl工具的。如果是比較規範的資料,自己用指令碼語言寫etl比使用工具要迅速與容易維護得多。特別是可以python/perl等寫個針對自己公司的etl庫包,後面完成新的etl其實是很容易的。

etl工具,說白了,主要是給不那麼熟悉程式設計的人用的

4樓:匿名使用者

etl工具可以跑批排程設定管理和監控,設定排程作業所對應的處理指令碼

用sql指令碼寫etl

5樓:匿名使用者

學好sql就行了,dml/ddl. etl可以用很多工具來實現,比如shell, perl, informatica, ab initio等等, sql本身的邏輯和處理工作就是etl的過程. 如果是用sql來實現etl排程管理,可以先建立資料庫表,然後,通過sql實現insert/update/delete來控制etl指令碼的被排程。

6樓:匿名使用者

參考這個**

etl工具主流產品有哪些?

7樓:匿名使用者

etl一般都是和商業智慧打包銷售的,換句話說,有etl需求的有可能都會用到bi。

推薦樓主試用一下finebi,挺不錯的一款軟體!

8樓:韓信

學生可以使用microsoft sql 2005的ssis工具,其他適合企業的有owb(oracle warehouse builder)、odi(oracle data integrator)、informatic powercenter、aicloudetl、datastage、repository explorer、beeload、kettle、dataspider

9樓:景琪家園

主流etl產品:ascential公司的datastage(datastage在2023年被ibm收購)、informatica公司的powercenter、 ncr teradata公司的etl automation(一套etl框架、主要關注“抽取”)。

etl工具有:owb(oracle warehouse builder)、odi(oracle data integrator)、informatic powercenter(informatica公司)、aicloudetl、

datastage(ascential公司)、repository explorer、beeload、kettle、dataspider、etl automation(ncr teradata公司)、

data integrator(business objects公司)、decisionstream(cognos公司)

10樓:匿名使用者

北京靈蜂縱橫軟體**** 的 etl工具 beeload / beedi

開源etl工具比較,kettle和talend,都有什麼優勢和劣勢

常用的etl工具有哪些

11樓:匿名使用者

開源的代表是kettle,效能比較強大,關鍵是免費

國外的主流產品有informatica、talend

國內有haohedi(這個工具部署在雲端,在他們的公司官網可以實操體驗)

12樓:匿名使用者

北京靈蜂縱橫軟體****

只做國產etl工具原廠商 10年有餘

請教一下高手,同步資料為什麼不用dblink而要用etl工具呢?

13樓:匿名使用者

etletl即資料抽取(extract)、轉換(transform)、裝載(load)的過程。它是構建資料倉儲的重要環節。資料倉儲是面向主題 的、整合的、穩定的且隨時間不斷變化的資料集合,用以支援經營管理中的決策制定過程。

資料倉儲系統中有可能存在著大量的

dblink,etl

etletl即資料抽取(extract)、轉換(transform)、裝載(load)的過程。它是構建資料倉儲的重要環節。資料倉儲是面向主題 的、整合的、穩定的且隨時間不斷變化的資料集合,用以支援經營管理中的決策制定過程。

資料倉儲系統中有可能存在著大量的

鍵盤換軸要用什么工具,鍵盤換軸要用什麼工具

1.購買如下物品 電烙鐵 刀形 松香芯焊錫絲 吸錫器和軸 需要根據鍵盤自身的腳位進行對比,有的是3腳,有的是4腳 以下用通過的3腳cherry軸為例。2.用螺絲刀取出機械鍵盤螺絲,拆下外殼,取出內板 之後拔下需要更換按鍵周邊 的鍵帽,如圖。3.之後,板子稍立起,烙鐵加熱後,加錫,把燈的兩隻腳燙熔,右...

鋇餐為什么要用硫酸鋇,鋇餐為什麼要用硫酸鋇

硫酸鋇溶解度低於0.01,不易被人體吸收,且不與氯氫酸反應 硝酸鋇和氯化鋇極易溶於水,極易被人體吸收 碳酸鋇遇到胃酸會產生這個反應 baco3 2hcl bacl2 co2 h2o 生成了氯化鋇,鋇是重金屬,被人吸收會引起重金屬中毒。所以要用硫酸鋇。你好,因為硫酸鋇不溶於酸,可以很好的幫助醫生檢驗病...

為什么我家的寬貸是手動連線各位哥哥姐姐教教下下怎么自動連線 555可憐下下

方法一 在很多人都使用包月的寬頻,特別是上網較多的網蟲,都想一開機就能自動進行寬頻連線。要實現這個想法必須滿足以下條件 1.你已經建立了寬頻連線並能正常連線上網。2.連線時不用提示使用者名稱 密碼和證書等。3.將寬頻連線新增到啟動組。方法如下 點選 開始 指向 所有程式 附件 通訊 網路連線,點選 ...