- 相關(guān)推薦
移動通信數(shù)據(jù)倉庫接口與ETL2設(shè)計(jì)論文
摘要：針對地市級移動通信的實(shí)際需求，數(shù)據(jù)集市的接口需要進(jìn)行數(shù)據(jù)倉庫接口設(shè)計(jì)和ETL2設(shè)計(jì)。數(shù)據(jù)倉庫接口設(shè)計(jì)通過用戶接口、業(yè)務(wù)量接口、帳務(wù)接口等設(shè)計(jì)來實(shí)現(xiàn)，ETL2設(shè)計(jì)通過抽取、FTP、清除和加載過程來實(shí)現(xiàn)。研究表明，該設(shè)計(jì)能夠減少對數(shù)據(jù)倉庫的影響和壓力，并可以作為數(shù)據(jù)倉庫擴(kuò)展的重要補(bǔ)充。
關(guān)鍵詞：移動通信；數(shù)據(jù)倉庫；接口；ETL2；
中圖分類號:TP303 文獻(xiàn)標(biāo)識碼:A DOI：10.3969/j.issn.1003-6970.2015.12.050
0引言
在地市級移動通信數(shù)據(jù)集市的建設(shè)中，數(shù)據(jù)集市的接口設(shè)計(jì)主要通過數(shù)據(jù)倉庫接口和ETL2設(shè)計(jì)來實(shí)現(xiàn)。數(shù)據(jù)倉庫的接口由用戶接口、業(yè)務(wù)量接口、帳務(wù)接口、新業(yè)務(wù)接口、大客戶接口和競爭接口組成，并通過對相關(guān)表的設(shè)計(jì)具體實(shí)現(xiàn)。
1實(shí)驗(yàn)方法
在數(shù)據(jù)集市ETL的設(shè)計(jì)中，有兩種思路：一是庫到庫的直接傳輸，不經(jīng)過文件，直接從數(shù)據(jù)倉庫的表中，把對應(yīng)的記錄插入到對應(yīng)地市的數(shù)據(jù)集市的表中；二是從數(shù)據(jù)倉庫生成各個地市文件，分別插入到對應(yīng)地市數(shù)據(jù)集市的表中[1]。第一種方法，可以采用數(shù)據(jù)倉庫工具來輔助完成；第二種方法，通過ETL過程來實(shí)現(xiàn)，生成各個地市文件，然后FTP到數(shù)據(jù)集市的服務(wù)器里，再進(jìn)行加載，本文主要討論第二種方法的設(shè)計(jì)。
2數(shù)據(jù)倉庫接口
2.1用戶接口設(shè)計(jì)
2.1.1月表設(shè)計(jì)（1）DMD_PRODUCT_EXTFAMILYNO_YYYYMM：本表定義GSM語音服務(wù)用戶的親情號碼，最多允許定義5個親情號碼，對應(yīng)于用戶狀態(tài)為當(dāng)前有效的GSM語音用戶；（2）DMD_PRODUCT_EXPIP_YYYYMM：為IP直通車用戶綁定固定電話用戶附屬屬性表；（3）DMD_PRODUCT_EXTFUNC_YYYYMM：為用戶功能產(chǎn)品信息，包括用戶的主服務(wù)；（4）DMD_PRODUCT_EXTFUNCNEXT_MS：為DWD層用戶程控功能產(chǎn)品信息下周期生效表；（5）DMD_PRODUCT_EXTGPS_YYYYMM：本表定義每個用戶使用GPS所對應(yīng)的附屬屬性信息表；（6）DMD_PRODUCT_PROMOTION_YYYYMM：本表定義每個用戶對應(yīng)的促銷信息，一個用戶可以有多個促銷；2.1.2日表設(shè)計(jì)（1）DMD_PRODUCT_YYYYMMDD：為用戶資料的日全量表，只存放到本日為止在網(wǎng)的所有用戶資料，每日全量抽取在網(wǎng)用戶資料。（2）DM_PRODUCT_YYYYMMDD：為用戶日寬表，包括到本日為止所有在網(wǎng)用戶和本月初到本日為止的離網(wǎng)用戶。（3）DWD_PRODUCT_EXTFUNC_YYYYMMDD：為用戶程控功能產(chǎn)品信息日表，保存一日數(shù)據(jù)，每日全量抽取。
2.2業(yè)務(wù)量接口設(shè)計(jì)
（1）詳單相關(guān)表：主要包括語音詳單、漫入詳單以及相對應(yīng)的滯后詳單。語音詳單表（CDR_CALL_XX_YYYYMMDD），本表按照“日+地市”的分表原則在數(shù)據(jù)倉庫中存放，同時開放到數(shù)據(jù)集市；滯后語音詳單表（CDR_LATER_CALL_XX_YYYYMM），存放每日滯后的語音詳單；漫入詳單表（CDR_CALL_ROAMIN_YYYYMMDD），記錄其它省用戶漫入到本省的詳單；（2）業(yè)務(wù)量級別相關(guān)數(shù)據(jù)表：主要包括兩類數(shù)據(jù)表，一類是業(yè)務(wù)量明細(xì)表，主要記錄用戶業(yè)務(wù)量級的數(shù)據(jù)，例如用戶的長途漫游等情況的明細(xì)數(shù)據(jù)，是一個用戶一天存放多條記錄的信息表，包括語音話單用戶業(yè)務(wù)量日統(tǒng)計(jì)表（DM_CALL_XX_YYYYMMDD）和語音話單用戶業(yè)務(wù)量月統(tǒng)計(jì)表（DM_CALL_XX_YYYYMM）。另一類是呼轉(zhuǎn)明細(xì)表，主要記錄詳單分離出來的和呼轉(zhuǎn)相關(guān)的明細(xì)數(shù)據(jù)信息，包括用戶呼轉(zhuǎn)日明細(xì)表（DM_PRODUCT_CALLFW_YYYYMMDD）和用戶呼轉(zhuǎn)月表（DM_PRODUCT_CALLFW_YYYYMM）；（3）用戶級業(yè)務(wù)量相關(guān)表：主要記錄用戶的業(yè)務(wù)量，一個用戶一條記錄，包含用戶業(yè)務(wù)量日明細(xì)及累計(jì)表（DM_PRODUCT_CALL_YYYYMMDD）和用戶業(yè)務(wù)量月明細(xì)表（DM_PRODUCT_CALL_YYYYMM）；
2.3帳務(wù)接口設(shè)計(jì)
2.3.1三級賬單表（1）當(dāng)前月帳單表：是指當(dāng)月出帳、抵銷預(yù)存后剛形成的帳單，本帳單等待用戶在下個繳費(fèi)周期繳費(fèi)單，因此后付費(fèi)用戶不算在欠費(fèi)用戶中，同時由于本帳單和歷史帳單的意義不同而單獨(dú)存放，以便于數(shù)據(jù)處理和查詢。包括帳戶當(dāng)前月帳單表（Dmd_Acct_Bill_yyyymm）、用戶當(dāng)前月帳單表（Dmd_Acct_Userbill_yyyymm）和用戶明細(xì)當(dāng)前月帳單表（Dmd_Acct_UserbillItem_yyyymm）。（2）歷史月帳單表：是指除當(dāng)前出帳月的帳單之外的其它月的帳單，本部分帳單是后付費(fèi)用戶欠費(fèi)計(jì)算的主要來源表。包括帳戶當(dāng)前月帳單表（Dmd_Acct_Bill_H_yyyymm）、用戶當(dāng)前月帳單表（Dmd_Acct_Userbill_H_yyyymm）、用戶明細(xì)當(dāng)前月帳單表（Dmd_Acct_UserbillItem_H_yyyymm）。（3）預(yù)付費(fèi)用戶帳單表：是指全球通預(yù)付費(fèi)用戶的帳單，由于全球通預(yù)付費(fèi)用戶是實(shí)時扣費(fèi)的，因此本部分帳單和預(yù)付費(fèi)用戶的帳單分開存放。包括預(yù)付費(fèi)用戶帳戶當(dāng)前月帳單表（Dmd_Acct_PreBill_yyyymm）、用戶當(dāng)前月帳單表（Dmd_Acct_UserPrebill_yyyymm）、用戶明細(xì)當(dāng)前月帳單表（Dmd_Acct_UserPrebillItem_yyyymm）。2.3.2帳務(wù)繳費(fèi)表帳務(wù)繳費(fèi)表主要包括繳費(fèi)信息表、銀行繳費(fèi)信息表和用戶資金平衡記錄表。（1）繳費(fèi)信息表由兩張主表構(gòu)成，一張是繳費(fèi)記錄表，記錄用戶繳費(fèi)時的記錄信息，一筆繳費(fèi)一條記錄；另一張是繳費(fèi)明細(xì)表，記錄具體沖賬的記錄明細(xì)表。例如一個客戶為三部手機(jī)繳納3個月的欠費(fèi)，那么在本表則記錄9條記錄信息，包括用戶繳費(fèi)記錄表（DMD_ACCT_BUSIREC_YYYYMM）和用戶繳費(fèi)明細(xì)表（DMD_ACCT_BUSIFEE_YYYYMM）；（2）銀行繳費(fèi)信息表（DMD_ACCT_BANKREC_YYYYMM），本表同時在繳費(fèi)記錄表中有相應(yīng)的記載；（3）用戶資金平衡記錄表（DMD_ACCT_BALANCEREC_YYYYMM），本表記錄用戶每筆帳務(wù)資金的變化情況，包括每筆繳費(fèi)以及每一筆的充銷情況。2.3.3帳戶相關(guān)信息表帳戶相關(guān)信息表包括全部帳戶和個人賬戶的相關(guān)信息表。具體指：（1）帳戶資料信息表，本表記錄全部帳戶包括個人和公用帳戶的資料信息表（DMD_ACCT_MSG_YYYYMM）；（2）非公用資金信息表，記錄個人賬戶的全部資金信息，包括預(yù)付費(fèi)和后付費(fèi)的個人預(yù)存信息（DMD_ACCT_PREPAY_YYYYMM）；（3）個人賬戶沉淀資金表，記錄個人賬戶在離網(wǎng)或者其它異常離網(wǎng)情況下的帳戶資金情況。2.3.4銷賬相關(guān)信息表銷賬子模塊記錄帳務(wù)銷賬單相關(guān)信息表，主要包括：一是帳戶銷賬信息表（DMD_ACCT_DERREC_YYYYMM），記錄全部銷帳戶帳單的數(shù)據(jù)信息。二是用戶銷賬信息表（DMD_ACCT_DERITEM_YYYYMM），記錄全部銷用戶帳單的數(shù)據(jù)信息。
2.4新業(yè)務(wù)接口設(shè)計(jì)
�。�1）IP記帳卡業(yè)務(wù)：IP記帳卡業(yè)務(wù)詳單表（DR_IP_XX），包括IP直通車業(yè)務(wù)，用來統(tǒng)計(jì)IP記賬卡用戶每日使用情況[2]。包括CDR_IP_YYYYMMDD、CDR_LATER_IP_YYYYMM、DM_NEWBUSI_IP_YYYYMMDD和DM_NEWBUSI_IP_YYYYMM。（2）智能網(wǎng)IP業(yè)務(wù)：包括CDR_PIP_YYYYMMDD、CDR_LATER_PIP_YYYYMM、DM_NEWBUSI_PIP_YYYYMMDD和DM_NEWBUSI_PIP_YYYYMM。（3）企業(yè)PBXVOIP業(yè)務(wù)，包括CDR_PBX_YYYYMMDD、CDR_LATER_PBX_YYYYMM、DM_NEWBUSI_PBX_YYYYMMDD和DM_NEWBUSI_PBX_YYYYMM。
2.5大客戶接口設(shè)計(jì)
�。�1）DMD_VIP_CUST_DM_YYYYMM：大客戶流水日表，保留當(dāng)前月的大客戶新增、流失和所有到目前為止的在網(wǎng)大客戶。（2）DMD_VIP_INFO_YYYYMM：存放所有大客戶卡信息，包括歷史、在用、注銷。（3）DMD_VIP_MANAGER_YYYYMM：記錄大客戶和客戶經(jīng)理的對應(yīng)關(guān)系。
2.6競爭接口設(shè)計(jì)
（1）競爭對手相關(guān)資料表：主要記錄競爭對手客戶及大客戶的相關(guān)信息資料，包括競爭對手客戶月表（DM_COMP_CUST_YYYYMM）和競爭對手大客戶資料月表（DM_COMP_VIPCUST_YYYYMM），以存放每月競爭對手的大客戶資料。（2）競爭對手網(wǎng)間互通相關(guān)信息表：主要包括網(wǎng)間互通月表（DM_COMP_OPPOSITE_YYYYMM）和競爭對手日業(yè)務(wù)量信息表（DM_COMP_ALL_YYYYMMDD）。
3ETL2設(shè)計(jì)過程
ETL2通過抽取、FTP、清除和加載過程[3]，從數(shù)據(jù)倉庫中抽取DMD明細(xì)數(shù)據(jù)和DM綜合查詢數(shù)據(jù)，生成分地市的數(shù)據(jù)文件，F(xiàn)TP到指定的服務(wù)器，然后裝載入數(shù)據(jù)倉庫中。對于詳單文件，直接加載到數(shù)據(jù)集市中。
3.1抽取（Extract）
�。�1）功能描述支持讀取表名和地市代碼配置文件功能；支持表名和地市代碼參數(shù)傳入功能，根據(jù)參數(shù)指定的表名和地市代碼抽取數(shù)據(jù)；支持批量抽取，可根據(jù)配置文件一次分別抽取多個表、多個地市的數(shù)據(jù)；后臺數(shù)據(jù)庫支持oracle和db2；支持表名自動匹配功能，例如配置文件或參數(shù)，如果表名帶yyyymmdd或yyyymm，程序?qū)⒏鶕?jù)傳入的帳務(wù)周期做自動替換；地市參數(shù)值為999或?yàn)榭諘r，抽取目標(biāo)表全表的數(shù)據(jù)。（2）程序設(shè)計(jì)①抽取oracle數(shù)據(jù)庫設(shè)計(jì)[4]。改造現(xiàn)有的e_extract程序，并包裝為extract_mart.tcl，抽取oracle數(shù)據(jù)時，調(diào)用e_extract程序。目前的e_extract抽取程序不支持分地市抽取，需要對現(xiàn)在的程序改造和包裝以支持分地市抽取機(jī)制，并根據(jù)不同的地市生成不同的地市目標(biāo)文件。調(diào)用方式如下：其中-ccityid參數(shù)是傳入的地市代碼信息，-oconfig_file參數(shù)是指抽取表的配置信息文件，文件內(nèi)容為抽取數(shù)據(jù)的sql語句。調(diào)用e_extract命令抽取生成的文件命名為table_name.cityid.yyyymmdd.mmddhh，與以前添加了cityid信息和程序的-c參數(shù)一致。②抽取db2數(shù)據(jù)時，有兩種方法支持[5]。一是直接調(diào)用db2的抽取工具export，生成的數(shù)據(jù)文件命名為table_name.cityid.yyyymmdd.mmddhh。二是調(diào)用db2版本的extract程序，同時抽取生成多個地市文件。其設(shè)計(jì)思路和調(diào)用方法與oracle類似。（3）抽取方法批量抽取多個表、多個地市的數(shù)據(jù)①配置環(huán)境變量：MART_DATADIR為生成的數(shù)據(jù)文件的存放目錄，MART_TRACEDIR為日志文件目錄②配置參數(shù)文件，缺省為data_mart.cfg文件格式：settable_nocitylist"user_rightuser_user"settable_list""setcity_list"9990"其中：city_list是需要抽取數(shù)據(jù)的地市代碼列表table_list是需要抽取數(shù)據(jù)的表名列表，如果表是按照賬務(wù)周期分表，如dw_call_detail_201201，則在配置文件中表名配置為dw_call_detail_YYYYMMtable_nocitylist：是沒有city_id字段的表③調(diào)用程序extract_mart.tcl抽取數(shù)據(jù)extract_mart.tcl-d[connstring]-t[op_time]-p[timestamp]–f[file_name]-u[ddh]-v[rwh]如果不指定-f[file_name]參數(shù)，直接讀取data_mart.cfg3.2FTP與清除（1）功能描述用于在兩個服務(wù)器之間的文件傳輸功能，對抽取出的文件，直接傳給目的服務(wù)器。定期FTP源目錄下的所有文件到指定機(jī)器上的目的路徑下[6-7]。FTP前根據(jù)配置文件檢查數(shù)據(jù)文件是否完整（文件是否存在、文件大小是否不為零），對缺失的文件或不完整的文件，記錄錯誤日志。FTP完成后，記錄FTP成功日志和錯誤日志。根據(jù)FTP成功情況，刪除源目錄下的文件。（2）流程設(shè)計(jì)FTP與清除流程如圖1所示。（3）程序設(shè)計(jì)指定源路徑和目的路徑，文件傳輸；傳輸文件前檢查文件個數(shù)和大小，大小=0不傳輸，并記錄日志；刪除FTP成功的文件。
3.3加載（e_load）
數(shù)據(jù)從數(shù)據(jù)倉庫抽取成文件傳送到目標(biāo)服務(wù)器后，需要分別自動加載到數(shù)據(jù)集市的不同表中。數(shù)據(jù)集市的加載使用開發(fā)的ETL產(chǎn)品“e_load_ctl，”它支持Oracle8i、Oracle9i、DB27.2EEE、db28等，可以運(yùn)行在UNIX操作系統(tǒng)下，兼容IBMAIX、SUNSolaris、HP-UX等系統(tǒng)。在經(jīng)過完整的ETL2過程后，數(shù)據(jù)集市的數(shù)據(jù)倉庫就建好了，接下來就是在數(shù)據(jù)倉庫中做數(shù)據(jù)挖掘、數(shù)據(jù)分析的過程[8]。
4結(jié)語
地市級移動通信數(shù)據(jù)集市的接口設(shè)計(jì)是一個復(fù)雜的過程，本設(shè)計(jì)通過數(shù)據(jù)倉庫的接口和ETL2設(shè)計(jì)，初步完成了數(shù)據(jù)集市系統(tǒng)的接口設(shè)計(jì)。其優(yōu)勢體現(xiàn)為：第一，對數(shù)據(jù)集市各地市詳單的加載，采用特殊處理，從清理完的詳單文件進(jìn)行分地市拆分后直接入庫，這樣減少了對數(shù)據(jù)倉庫的影響和壓力；第二，在數(shù)據(jù)倉庫中生成的支持?jǐn)?shù)據(jù)集市綜合查詢的數(shù)據(jù)層（DM層），由數(shù)據(jù)倉庫完成，并作為數(shù)據(jù)倉庫擴(kuò)展的重要補(bǔ)充。當(dāng)然，隨著數(shù)據(jù)量的日益增加，對數(shù)據(jù)集市的深層信息還需要進(jìn)一步的數(shù)據(jù)挖掘和分析。因此，數(shù)據(jù)集市的接口設(shè)計(jì)需要不斷地完善，以滿足用戶日益變化的需要。
參考文獻(xiàn)
[1]王亮.數(shù)據(jù)集市在電信客戶關(guān)懷系統(tǒng)中的應(yīng)用研究[D].西安：西北大學(xué)，2008.
[2]林登奎.計(jì)算機(jī)網(wǎng)絡(luò)及防范技術(shù)研究[J].軟件，2013，34（1）：144-145.
【移動通信數(shù)據(jù)倉庫接口與ETL2設(shè)計(jì)論文】相關(guān)文章：
K接口在光纖通信的應(yīng)用論文10-11
移動通信傳輸工程設(shè)計(jì)特點(diǎn)分析論文06-06
串行通信接口可靠性的研究論文06-12
移動通信基站布局規(guī)劃研究論文06-24
關(guān)于物聯(lián)網(wǎng)移動通信技術(shù)論文10-25
5G移動通信技術(shù)論文08-07