您的位置:首頁»數碼科技»正文

數說海納:助力企業突破技術瓶頸,實現高效大資料管理與處理

傳統企業在走向數位化平臺建設後為什麼有如此痛不欲生的境遇?

1、引進資料大牛人才進企業, 因某些行業知識缺失, 與企業發展的適配性差難以適應傳統行業。 最終水土不服, 導致大資料平臺建設後“形同虛設”;

2、企業缺乏大資料團隊, 外聘專業大資料公司搞定基礎建設後, 自有團隊無法接續, 前期的大資料成果在閒置中荒廢, 企業在付出巨額酬勞後還是無法做好資料轉型;

3、傳統企業沒有大資料團隊建設經驗, 直接照搬複製, 卻沒有考慮行業屬性特點, 組織架構、管理方式、行銷模式也有很大的區別,

導致大資料團隊建設走上失敗。

什麼是數說海納?

數說海納的名字來源 (海納百川, 如果我們將每個資料來源形成的資料流程比作一條河流, 則最終這些資料流程都將彙聚於海納, 形成一片資料的大海)

DataStory旗下產品---數說海納, 就是一款説明企業進行資料管理分析、作業任務調度的應用平臺。 旨在為企業提供一個零門檻介入的資料管理分析及作業調度工具, 設定大量資料處理分析通用流程, 提供簡單易用的視覺化操作介面, 使企業繞過大資料處理的技術瓶頸, 更專注於業務資料的管理和分析工作。

資料倉庫管理及任務調度的功能描述:

1. 融合多種資料來源。 數說海納通過將企業內部各類資料庫打通,

以全域統一的方式對資料進行展示及管理。

2. 支援HiveSQL交互查詢。 分析人員只需要會寫SQL語句, 就可通過數說海納執行上億資料量的大資料查詢分析操作。

3. 完善的許可權管理。 可以為使用者指定各個資料庫的讀、寫、管理許可權。

如下圖所示, 數說海納通過彙聚企業在資料獲取、資料加工、資料分析、資料應用等階段產生的資料, 將資料統一以HIVE庫表的形式整理在一起, 使用者通過統一的資料介面方式進行資料操作。

4. 多種通用資料作業流程。 系統預設多種類型的資料處理流程, 通過介面簡單操作即可應用在自己的作業中。

5. 狀態監聽跟蹤。 數說海納提供作業監控, 可設置消息訂閱郵箱, 及時通知作業運行的狀況。

數說海納產品功能展示:

在數說海納中, 可根據企業管理層級設定使用者資料操作許可權, 在使用一個指定的資料庫之前, 首先要獲得對該資料庫的使用權限。 數說海納通過定制方式, 將系統的使用者許可權與資料庫使用者許可權打通。 使用者通過數說海納許可權管理介面進行庫表管理, 不僅僅是在海納自身的介面管理中生效, 許可權也同步到了HIVE, 即使通過介面方式訪問HIVE, 也需要通過許可權認證。

用戶可以通過數說海納的交互查詢功能, 對資料庫表進行HiveSql查詢, 查詢會在返回結果後以表的形式呈現在系統頁面中。

在維護資料的過程中, 數說海納提供了通用的資料作業流程任務, 使用者只需要通過簡單的配置, 就可以將資料同步、資料檢查、資料分析等作業以定時設定的方式自動運行起來。

數說海納自帶提供了以下集中任務類型, 説明使用者建立資料處理流程:

1. JAVA 調度JAVA型任務;

2. SHELL 調度SHELL腳本任務;

3. KETTLE 調度KETTLE ETL任務;

4. SQL 調度一個HiveSQL執行任務;

5. 表質檢 調度一個表資料品質檢查任務;

6. 標籤工廠 調度一個資料標籤任務;

7. 資料同步 調度一個RMDB,FTP,HIVE資料傳輸同步的任務;

作業可通過在頁面拓展各種任務功能, 以DAG(有向無環圖)進行依賴構建, 數說海納會自動檢測任務依賴, 按照依賴的先後循序執行任務。

任務啟動後, 使用者可以通過歷史日誌跟蹤作業查看狀態, 點擊相應的任務情況, 可以查看任務在運行期間輸出的運行日誌。 如果使用者設置了作業消息通知, 則作業無論是失敗還是成功,

都會發送郵件告知當前作業運行的結果。

隨著資訊系統建設的增加和管理的精細化, 越來越多的資料需要進行管理。 一方面是由於資料增長的速度;另一方面是資料交互和共用的需求, 尤其是大資料時代, 資料可能存在結構化和非結構化, 這些資料需要為企業在不同的業務領域提供管理支撐。 對於解決所有資料問題的途徑, 最根本的方法是建立整個資料規劃和管控體系。 而數說海納説明企業在大資料平臺建立後, 經歷從資訊化到數位化的轉變, 通過資料分析, 反向優化並顛覆傳統業務模式, 實現管理智慧化。

Next Article
喜欢就按个赞吧!!!
点击关闭提示