數(shù)據(jù)對于任何一個企業(yè)來說都是非常重要的，為了保證數(shù)據(jù) ETL 流程的質(zhì)量及效率，很多公司都會引入 ETL 工具。目前 ETL 工具有很多，但是針對 ETL 測試的測試工具在業(yè)界卻比較少見。這是為什么呢？

主要是因為在日常 ETL 測試過程中會遇到很多問題，特別是 Hive SQL 類測試的問題：

（1）測試以手動測試為主，缺少自動化工具；

（2）缺少與數(shù)據(jù)質(zhì)量相關(guān)的分析工具；

（3）測試中需要重復(fù)編寫SQL語句，效率較低；

（4）運行SQL語句耗時太長，嚴(yán)重拖慢測試進(jìn)度；

（5）shell窗口中的查詢結(jié)果不易保存，HUE的查詢結(jié)果易過期且需要手動操作保存；

（6）數(shù)據(jù)同步場景及ETL場景下，需要對比源表和目標(biāo)表一致性，缺少對比工具；

（7）實時數(shù)據(jù)處理場景對數(shù)據(jù)時效性要求高，測試時場景難以模擬，問題難以復(fù)現(xiàn)；

（8）常用測試場景下的用例重復(fù)，例如，對拉鏈表測試、MapReduce腳本的測試缺少通用的測試覆蓋用例；

（9）缺少Hive與HBase一致性對比工具。

總的來說，大數(shù)據(jù)測試存在門檻高、測試效率較低、測試覆蓋不全、測試場景不易復(fù)現(xiàn)、 測試問題難以定位等問題，今天異步君就給大家介紹一款可以解決上述問題的超好用大數(shù)據(jù)測試工具——easy_data_test。

easy_data_test

easy_data_test 是用Python編寫的，目前它的主要功能有：

（1）支持單表數(shù)據(jù)量、列空值數(shù)據(jù)量、列非空值數(shù)據(jù)量、列最大值、列最小值、列不同值、不同值數(shù)據(jù)量查詢，支持對表結(jié)構(gòu)、任意 select 語句的查詢，支持表基本信息查詢、值域分析、異常值分析、手機(jī)號合規(guī)性分析、ID 合規(guī)性分析。

（2）支持雙表數(shù)據(jù)量對比、列空值數(shù)據(jù)量對比、列非空值數(shù)據(jù)量對比、表結(jié)構(gòu)對比、Hive 雙表一致性對比、Hive 與 HBase 一致性對比。

（3）支持查看主備集群及庫切換、庫表集群信息。

（4）支持實時查看歷史執(zhí)行命令及結(jié)果，以 HTML 頁面展示全表分析，以 HTML 頁面展示值域，以 HTML 頁面展示 Hive 雙表一致性分析結(jié)果。

（5）支持拉鏈表通用測試（判斷拉鏈表是否斷鏈，判斷拉鏈表日期正確性，對比拉鏈表與臨時表數(shù)據(jù)量、數(shù)值）

easy_data_test功能如此強(qiáng)大，是如何實現(xiàn)的呢？異步君拿到了獨家資料，從這個工具的模塊設(shè)計到技術(shù)選型、再到代碼實現(xiàn)通通都有，干貨滿滿！下面就讓我們來詳細(xì)看看吧。

模塊設(shè)計

話不多說，直接上圖：

easy_data_test 模塊設(shè)計

如圖所示，用戶運行 easy_data_test 工具后，可以通過 ./easy_data_test –help 命令查看所有非交互式命令，使用 stdin.readline() 來獲取用戶輸入的語句。

如果沒有指定 -f 或者 -e 就會進(jìn)入交互式命令行模式。進(jìn)入交互式模式后，程序通過 raw_input 函數(shù)獲取用戶輸入的命令，并根據(jù)命令的首個關(guān)鍵字執(zhí)行對應(yīng)的函數(shù)。函數(shù)中封裝了一條或多條 SQL 語句，通過 Presto 讀取 Hive 元數(shù)據(jù)，或通過 pyHive 的 Hive 模塊連接 Hive。

部分執(zhí)行結(jié)果展示在終端頁面，并存儲在查詢歷史命令及結(jié)果文件中。部分命令執(zhí)行完畢后會生成 url，通過瀏覽器可以查看相應(yīng)命令的執(zhí)行結(jié)果。

不同的首個關(guān)鍵字對應(yīng)不同的功能模塊，通常每個功能模塊包含多個執(zhí)行函數(shù)。

技術(shù)選型

業(yè)內(nèi)常用的 Python 連接 Hive 的工具有 Presto、pyHive、impala 及 pyhs2 等。設(shè)計人員在經(jīng)過執(zhí)行效率及公司現(xiàn)有環(huán)境綜合比較后，最終選擇了 Presto 作為查詢主要工具。

Presto 是由 Facebook 公司開發(fā)的、一個運行在多臺服務(wù)器上的分布式查詢引擎。本身雖然并不存儲數(shù)據(jù)，但是可以接入多種數(shù)據(jù)源（Hive、HBase、Oracle、MySQL、Kafka、Redis 等），并且支持跨數(shù)據(jù)源的級聯(lián)查詢。

Presto 所使用的執(zhí)行模式與 Hive 有根本的不同，大部分場景下 Presto 比 Hive 快一個數(shù)量級。Presto 接受請求后，立即執(zhí)行，全內(nèi)存并行計算；Hive 需要用 Yarn 做資源調(diào)度，為了接受查詢，需要先申請資源，啟動進(jìn)程，并且采用 MapReduce 計算模型，中間結(jié)果會保存在磁盤上，所以速度就相對較慢。

使用 easy_data_test 過程中，有時會發(fā)現(xiàn) Presto 存在部分 HiveQL 不兼容問題，例如，show tables like a* 命令無法執(zhí)行，表結(jié)構(gòu)查詢與預(yù)期不符，執(zhí)行切換庫操作報錯時不拋出異常等。

考慮到 Presto 部分功能缺失帶來的問題，于是設(shè)計人員選擇 pyHive 作為功能彌補(bǔ)工具，在執(zhí)行特定 SQL 語句時會切換到 pyHive 去連接 Hive 執(zhí)行。

區(qū)別于 Hive，需要格外注意的是，Presto 不支持隱式轉(zhuǎn)換。例如，Hive 會成功執(zhí)行以下語句：

select count(1) from sample_label where label <> ";

但是使用 Presto 執(zhí)行就會報告以下錯誤；

PrestoUserError(type=USER_ERROR, name=SYNTAX_ERROR, message="line 1:83: '<>' cannot be applied to integer, varchar(0)", query_id=20191106_024551_ 01370_8ukjc)

報錯原因是，label 列定義的類型為 integer，在使用 Presto 時直接將該列與空字符做比較，Presto 不支持隱式轉(zhuǎn)換。對于該類問題，使用時只需將 label 顯式轉(zhuǎn)換為 string 或者 varchar 類型即可解決。

select count(1) from sample_label where cast(label as string) <> ";

從以上內(nèi)容已經(jīng)不難看出研發(fā)人員的匠心，最后我們直接來看一看 easy_data_test 的模塊代碼。

模塊代碼

入口函數(shù)如下：

1 def main(options, hostname, port): 2 setup_cqlruleset(options.cqlmodule) 3 setup_cqldocs(options.cqlmodule) 4 # 初始化歷史執(zhí)行命令及結(jié)果文件 5 init_history() 6 if options.file is None: 7 stdin = None 8 else: 9 try:10 encoding, bom_size = get_file_encoding_bomsize(options.file) 11 stdin = codecs.open(options.file, 'r', encoding) 12 stdin.seek(bom_size) 13 except IOError, e: 14 sys.exit("Can't open %r: %s" % (options.file, e)) 15 16 try: 17 # 初始化Shell，該類繼承自cmd.Cmd 18 shell = Shell(hostname,19 port, 20 database=options.database, 21 username=options.username, 22 password=options.password, 23 stdin=stdin, 24 tty=options.tty, 25 completekey=options.completekey, 26 single_statement=options.execute, 27 connect_timeout=DEFAULT_CONNECT_TIMEOUT_SECONDS) 28 except KeyboardInterrupt: 29 sys.exit('Connection aborted.') 30 except Exception, e: 31 sys.exit('Connection error: %s' % (e,)) 32 if options.debug: 33 shell.debug = True 34 35 # 通過交互式命令循環(huán)處理 36 shell.cmdloop() 37 batch_mode = options.file or options.execute 38 if batch_mode and shell.statement_error: 39 sys.exit(2) 40 41 42 if __name__ == '__main__': 43 main(*read_options(sys.argv[1:], os.environ))

通過 Presto 連接 Hive 的代碼如下：

1 import prestodb 2 conn=prestodb.dbapi.connect( 3 host= ip, 4 port=8443, 5 user='username', 6 catalog='hive', 7 schema='default', 8 http_scheme='https', 9 auth=prestodb.auth.BasicAuthentication("username", "username的密碼"), 10 ) 11 conn._http_session.verify = './presto.pem' #身份認(rèn)證相關(guān)文件 12 cur = conn.cursor() 13 cur.execute('SELECT * FROM system.runtime.nodes') 14 rows = cur.fetchall() 15 print rows

為了使用 Hive 查詢?nèi)頂?shù)據(jù)量，需要執(zhí)行 SQL 語句 select count(*) from tablename。使用工具代碼封裝后，查詢表數(shù)據(jù)只需要使用 count tablename 即可實現(xiàn)，且查詢效率比使用原生 Hive 快一個數(shù)量級。查詢結(jié)果保存在歷史文件中，可以使用相關(guān)命令查看。

關(guān)于單表模塊的命令有多個，count 命令的代碼如下：

1 class SigleTableAnalysis(cmd.Cmd): 2 # count table，查詢表數(shù)據(jù)量，支持傳入where條件 3 @classmethod 4 def do_count(self, parsed, print_command=True, print_res=True): 5 try: 6 table_name = parsed.split(' ')[1].strip(';') 7 statement = 'select count(1) from %s' % table_name 8 if len(parsed.split(' ')) >=3 and parsed.split(' ')[2].strip() == 'where': 9 wherecondition = ' '.join(parsed.split(' ')[3:]) 10 statement = statement  ' where '   wherecondition 11 status, res = perform_simple_statement(statement, detail=False, print_  command=print_command, print_res=print_res) 12 if not print_res: 13 return status, res 14 except IndexError as e: 15 print('please check whether your command is right') 16 except Exception as e: 17 import traceback18 print('%s detail: %s' % (str(e), traceback.format_exc()))

其他模塊的代碼與 count 命令的代碼相似，雙表查詢模塊、拉鏈表測試模塊、數(shù)據(jù)質(zhì)量分析模塊會在單表模塊的基礎(chǔ)上進(jìn)行封裝，所以設(shè)計會更復(fù)雜一些，由于篇幅有限，異步君沒法在這里為大家更多地展示了。想要深入了解的小伙伴，推薦閱讀《機(jī)器學(xué)習(xí)測試入門與實踐》。

機(jī)器學(xué)習(xí)測試入門與實踐

作者：艾輝

內(nèi)容簡介：

本書全面且系統(tǒng)地介紹了機(jī)器學(xué)習(xí)測試技術(shù)與質(zhì)量體系建設(shè)，能夠幫助讀者了解機(jī)器學(xué)習(xí)是如何工作的，了解機(jī)器學(xué)習(xí)的質(zhì)量保障是如何進(jìn)行的。

工程開發(fā)人員和測試工程師通過閱讀本書，可以系統(tǒng)化地了解大數(shù)據(jù)測試、特征測試及模型評估等知識；算法工程師通過閱讀本書，可以學(xué)習(xí)模型評測的方法和拓寬模型工程實踐的思路；技術(shù)專家和技術(shù)管理者通過閱讀本書，可以了解機(jī)器學(xué)習(xí)質(zhì)量保障與工程效能的建設(shè)方案。