一直擔心sql server 2005的ssis性能問題,一位仁兄對其進行了測試,值得借鑒。
項目中存在一部分數據遷移的工作,說白了就是從老的系統中將數據倒換的新的系統模型中,老系統的數據來源比較復雜多樣,新的自然是Oracle9.2。
本來這也就是一次性工作,用SQL自然是最快的方式,不論是開發還是數據傳輸的速度。可是甲方偏偏要看到界面,希望這是一個成型的工具,沒辦法,甲方就是上帝。
公司原來也有一個遷移工具,可是只能適用於表對表的倒換,復雜一些無能為力,而且數據還巨慢,用過的人都是對它無語。
從新開發,不說花費和效果,光是時間也不行。沒辦法,只好看看現在流行的ETL的工具。
市場前列毋庸置疑,肯定是Informatia 和 DataStage.
Informatia沒有,只好看看DataStage是否能適應現在的功能要求。不想,雖然是圖形界面,可使用起來一點也不容易,而且安裝後,Windows下居然不能脫離域環境,而且不是Server版本的Windows還不能運行Paralle Job。郁悶無比。
試了兩天後,暫時放下。Microsoft的易用性比功能強大更吸引我。試試SQL Server 2005中的SSIS,號稱企業級的ETL。
一用之後呢,沒想還真有點喜歡上了它,從介紹的和界面上看一點也不比DataStage的功能少,性能,哈,下面就是我要說得了。
ETL工具最慢的部分都是L這一部分,按照一般的說法能占到總體時間的五分之四,所以這是關鍵。
測試也不算復雜,就是同樣的數據抽取、轉化、然後加載用不同的驅動分別跑一遍,目的庫已經確定是Oracle,所以也沒有太大的余地了。
在SSIS中,有兩個驅動可以連接Oracle數據庫,一個是Microsoft OLEDB Provider for Oracle,另外一個是Oracle Provider for OLEDB
不測不知道,還真長了不少見識。