A)數(shù)據(jù)源要求:
1、結(jié)構(gòu)化數(shù)據(jù)需覆蓋公司現(xiàn)有以及目前可預(yù)見的所有業(yè)務(wù),并涵蓋各全資子公司以及控股子公司相關(guān)業(yè)務(wù),同時也包含公司日常運營數(shù)據(jù)。
2、半結(jié)構(gòu)化、非結(jié)構(gòu)化數(shù)據(jù)。大數(shù)據(jù)平臺整合手機App、微信、客服等各渠道客戶數(shù)據(jù),提供完整的客戶行為分析,為系統(tǒng)優(yōu)化、產(chǎn)品設(shè)計、營銷提供更好的建議。
B)數(shù)據(jù)倉庫模型要求:
1、數(shù)據(jù)倉庫模型作為本項目的重要交付內(nèi)容,設(shè)計應(yīng)結(jié)合本公司實際情況,須滿足以下要求:
可擴展性:在涵蓋公司全部業(yè)務(wù)的基礎(chǔ)上,對因由公司發(fā)展而產(chǎn)生的新業(yè)務(wù)以及業(yè)務(wù)變化具有可擴展性,以滿足實際業(yè)務(wù)需要。
穩(wěn)定性:能在5-7年內(nèi)保持核心模型的相對穩(wěn)定,不能因業(yè)務(wù)要求或業(yè)務(wù)發(fā)展產(chǎn)生顛覆性調(diào)整。
開放性:模型對本公司項目組人員具有開放性,本公司IT人員能熟練掌握模型的設(shè)計理念并參與設(shè)計以及二次開發(fā)。
規(guī)范性:模型設(shè)計、管理、調(diào)整等具有規(guī)范化流程,并使用規(guī)范化語言,便于IT人員理解,同時便于其與業(yè)務(wù)部門人員溝通。
前瞻性:本次數(shù)據(jù)倉庫建設(shè)將最終為數(shù)據(jù)挖掘、數(shù)據(jù)分析以及建設(shè)公司級公共數(shù)據(jù)服務(wù)平臺打下基礎(chǔ),故模型設(shè)計需具有一定的前瞻性。
2、數(shù)據(jù)倉庫模型設(shè)計應(yīng)以主題為各業(yè)務(wù)線的支撐,該體系不因職能部門調(diào)整以及業(yè)務(wù)擴展而輕易改變,主題舉例如下:
①當事人及當事人角色②協(xié)議③產(chǎn)品④內(nèi)部機構(gòu)⑤事件⑥渠道⑦財務(wù)⑧資產(chǎn)⑨位置⑩營銷等。
3、數(shù)據(jù)倉庫應(yīng)用要求:
①建立一個統(tǒng)一的門戶,能夠提供豐富的、靈活的應(yīng)用集成、配置功能,支持將多種類型的應(yīng)用集成到統(tǒng)一的門戶中,為使用者提供統(tǒng)一的、公共的訪問入口。
②統(tǒng)一門戶能夠集成主流 BI 工具開發(fā)的應(yīng)用,包括菜單管理等集成功能,簡單配置,就可實現(xiàn)外部應(yīng)用掛載。
③統(tǒng)一門戶管理人員能夠經(jīng)過簡單的配置就可以實現(xiàn)用戶的管理以及用戶訪問權(quán)限的控制。通過對于訪問菜單權(quán)限和數(shù)據(jù)權(quán)限獨立配置管理的方式,使菜單和數(shù)據(jù)訪問權(quán)限的控制更加靈活和簡潔。
④統(tǒng)一門戶具有審計功能。系統(tǒng)在運行過程中,能夠記錄下操作人員的詳細操作軌跡,包括操作人員的登錄 IP 地址、登錄時間、退出時間、駐留系統(tǒng)時間、瀏覽過的菜單內(nèi)容、操作過的內(nèi)容等,同時也提供日志查詢功能。
4、數(shù)據(jù)倉庫平臺架構(gòu)。
數(shù)據(jù)倉庫架構(gòu)應(yīng)確保靈活及可擴展性,保證能夠滿足未來數(shù)據(jù)范圍、系統(tǒng)功能的不斷增加要求,具體要求如下:
(1)、數(shù)據(jù)倉庫數(shù)據(jù)存儲應(yīng)有明確的結(jié)構(gòu)層次,可分為:
①貼源層是EDW層模型基礎(chǔ);提供原始數(shù)據(jù)共享以及重用;原始歷史數(shù)據(jù)保留;支持原始查詢核心層。
②數(shù)據(jù)倉庫核心層,提供最細粒度的明細數(shù)據(jù)查詢;解決信息孤島問題,完成數(shù)據(jù)標準化;為其他應(yīng)用提供明細標準化統(tǒng)一數(shù)據(jù),形成相對獨立于業(yè)務(wù)的數(shù)據(jù)模型。
③通用指標層,按證券行業(yè)通用維度匯總,形成指標化數(shù)據(jù);構(gòu)建客戶、營業(yè)部等統(tǒng)一視圖;提供口徑一致的基礎(chǔ)數(shù)據(jù)。
④業(yè)務(wù)指標層,按公司業(yè)務(wù)中具有公用的指標匯總數(shù)據(jù),形成專項業(yè)務(wù)指標,可在此基礎(chǔ)上構(gòu)建報表、KPI等應(yīng)用集市,并為其他應(yīng)用提供業(yè)務(wù)基礎(chǔ)數(shù)據(jù)。
(2)、ETL數(shù)據(jù)處理要求:
數(shù)據(jù)加載采用成熟穩(wěn)定的ETL工具,數(shù)據(jù)倉庫各層次間清理、轉(zhuǎn)換、匯總、計算可采用庫內(nèi)轉(zhuǎn)換也可以利用ETL工具,整個處理流程時間控制在3小時內(nèi)。我公司開發(fā)人員深度參與ETL實施過程。
(3)、統(tǒng)一監(jiān)控管理以及調(diào)度等要求:
①監(jiān)控管理:具有對數(shù)據(jù)倉庫日常管理、監(jiān)控、故障處理、日志分析功能。
②備份管理以及應(yīng)急機制:具有完整的系統(tǒng)備份、災(zāi)備、應(yīng)急方案。
③數(shù)據(jù)轉(zhuǎn)儲:隨著數(shù)據(jù)量不斷增加以及本身數(shù)據(jù)倉庫平臺的限制,需設(shè)定轉(zhuǎn)儲機制將歷史數(shù)據(jù)以及長時間閑置數(shù)據(jù)進行轉(zhuǎn)存。
④調(diào)度管理:具有完善的調(diào)度機制,具有常用的串行、并行、前置條件等常用設(shè)置以及日、月、年等控制,能對整個數(shù)據(jù)處理過程加以嚴格控制。
⑤數(shù)據(jù)質(zhì)量管理:在數(shù)據(jù)的傳輸、轉(zhuǎn)換和處理,要確保數(shù)據(jù)倉庫的數(shù)據(jù)質(zhì)量,確保數(shù)據(jù)的正確性、完整性、一致性、完備性等。有著相關(guān)數(shù)據(jù)質(zhì)量監(jiān)控、數(shù)據(jù)質(zhì)量管理等功能,并且能夠形成數(shù)據(jù)質(zhì)量知識庫。
(4)、支持統(tǒng)一數(shù)據(jù)訪問以及服務(wù)要求:
①應(yīng)用系統(tǒng)支持固定報表、即席查詢、多維分析、儀表盤、統(tǒng)計分析等方式。
②應(yīng)用系統(tǒng)建設(shè)中如采用第三方BI工具的,請在方案中注明所使用工具,如:Cognos、BO、BIEE等,在應(yīng)用系統(tǒng)中的使用范圍,是否具有代理資格。
③通過智能分析平臺,業(yè)務(wù)人員如同使用Office Excel 一樣,能方便的在線對數(shù)據(jù)進行分析。同時分析結(jié)果能發(fā)布到數(shù)據(jù)門戶或者嵌入其他業(yè)務(wù)系統(tǒng)(如CRM、呼叫中心)中,以方便一線的人員(如客服人員、投資顧問)使用。
④支持不同報表類型,可定制化報表,提供多方位的信息視圖。
(5)、統(tǒng)一數(shù)據(jù)管控要求:
①在項目建設(shè)中,應(yīng)結(jié)合本公司情況,明確數(shù)據(jù)質(zhì)量管理的方法以及相應(yīng)工具。定義數(shù)據(jù)質(zhì)量的規(guī)則,進行數(shù)據(jù)質(zhì)量的評估、監(jiān)控并形成報告,不斷提升數(shù)據(jù)的一致性和準確性。
②通過數(shù)據(jù)質(zhì)量管理能有效地預(yù)防、發(fā)現(xiàn)、控制問題,進行及時解決,并通過不斷統(tǒng)計、分析,加強數(shù)據(jù)質(zhì)量控制。
(6)、大數(shù)據(jù)架構(gòu)支持要求:
數(shù)據(jù)倉庫架構(gòu)能有效支持大數(shù)據(jù)平臺架構(gòu)的擴展或融合,需要將現(xiàn)有結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)及相關(guān)存儲和處理技術(shù)、平臺有機融合在一起,形成證券公司新一代全結(jié)構(gòu)數(shù)據(jù)的采集、處理、存儲、分析和發(fā)布平臺。
|