隨著互聯(lián)網(wǎng)、移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)和各種智能終端的快速發(fā)展,各種數(shù)據(jù)無時無刻地生成,新數(shù)據(jù)的產(chǎn)生成大爆炸趨勢,如此大數(shù)據(jù)量的實時查詢和分析能力已然成為企業(yè)報表分析系統(tǒng)的重要考量指標。
一、現(xiàn)狀分析
大數(shù)據(jù)的到來,給目前傳統(tǒng)的分析系統(tǒng)帶來了巨大挑戰(zhàn):
1、數(shù)據(jù)越來越多,超越了 I/O 極限。
眾所周知,I/O 能力一直都是傳統(tǒng)數(shù)據(jù)倉庫系統(tǒng)的瓶頸。大數(shù)據(jù)的到來,更加重了 I/O 瓶頸問題。
2、分析查詢性能低下。
查詢時間以數(shù)小時甚至數(shù)天計,有的分析算法甚至根本無法運行。
3、傳統(tǒng)分析系統(tǒng)都是基于數(shù)據(jù)概要的統(tǒng)計分析,無法滿足深度挖掘分析要求。
尚待挖掘的有價值的業(yè)務規(guī)律,往往隱藏在數(shù)據(jù)細節(jié)中。傳統(tǒng)基于數(shù)據(jù)概要的分析方法,阻礙了新的業(yè)務規(guī)律的發(fā)現(xiàn),大大降低了業(yè)務數(shù)據(jù)的分析價值。
4、傳統(tǒng)分析系統(tǒng)采用的批處理方式進行加載和匯總,無法滿足時效性要求。
需要分析的數(shù)據(jù)量越來越多,要匯總的業(yè)務也越來越多,留給數(shù)據(jù)批量加載和匯總的處理時間窗口越來越短,甚至根本無法完成。同時,批量加載方式使得數(shù)據(jù)的時效性得不到保障,重要的商業(yè)機會稍縱即逝。
二、方案概述
基于以上背景,數(shù)商云通過對用戶的數(shù)據(jù)進行采集、挖掘、展現(xiàn)、幫助企業(yè)商家建立自己的大數(shù)據(jù)分析平臺,它采用全新的無共享大規(guī)模并行架構(gòu)(MPP)、真正列式數(shù)據(jù)庫技術以及超強報表分析引擎,完美解決了傳統(tǒng)數(shù)據(jù)庫和分析系統(tǒng)在實時分析查詢性能慢和擴展性不足等方面的問題。
平臺具有強大的功能,可迅速、可靠地管理大量數(shù)據(jù),為您提供實時的業(yè)務智能以進行先進的大數(shù)據(jù)分析,從而將您的所有數(shù)據(jù)轉(zhuǎn)變?yōu)樾б?。在?zhí)行查詢方面,實時分析平臺的速度比傳統(tǒng)數(shù)據(jù)庫快 50 到 1000 倍,同時消耗的成本和占用的硬件僅是原來的幾分之一。
作為全新架構(gòu)的實時分析平臺,我們有很多的創(chuàng)新,最為突出特點包括:
1、列式存儲和計算
基于Vertica數(shù)據(jù)庫,通過列式計算和強大的主動數(shù)據(jù)壓縮,大幅降低成本高昂的磁盤 I/O(主要是傳統(tǒng)的以行為存儲單位的 SQL 數(shù)據(jù)庫使用),執(zhí)行查詢的速度可提升 50 到 1000 倍,存儲成本最高削減 90%。
2、無共享大規(guī)模并行處理
基于數(shù)據(jù)庫無共享的 MPP 架構(gòu),支持在線添加數(shù)量不限的工業(yè)標準服務器,可根據(jù)需求任意擴展解決方案。
3、實時秒級分析
通過Vertica內(nèi)存與磁盤混合存儲架構(gòu),支持數(shù)據(jù)實時裝載分析,再結(jié)合BI敏捷分析引擎以及全能分析引擎,實現(xiàn)百億數(shù)據(jù)秒級實時響應,給用戶帶來極致產(chǎn)品體驗,解決用戶TB甚至PB級超大數(shù)據(jù)量分析難題。
三、應用場景:
1、大數(shù)據(jù)實時分析
面向大數(shù)據(jù)的實時分析平臺,基于Vertica無共享MPP架構(gòu)和列式存儲能力,可完美解決用戶大數(shù)據(jù)量情況下數(shù)據(jù)實時分析問題,用戶可實時捕捉數(shù)據(jù)運行情況,如電商運營大屏等,幫助用戶實時決策,運營情況了然于胸。
2、報表查詢秒級響應
面向大數(shù)據(jù)的實時分析平臺,對于大數(shù)據(jù)量的明細數(shù)據(jù)、匯總數(shù)據(jù),都能達到查詢分析秒級響應,幫助各類報表用戶解決報表慢的難題。
3、拖拽分析秒級響應
面向大數(shù)據(jù)的實時分析平臺,滿足業(yè)務人員面向百億級明細數(shù)據(jù),實現(xiàn)高性能敏捷拖拽分析場景,數(shù)據(jù)加載后業(yè)務人員自助探索體驗可達到秒級響應,提升用戶操作和分析體驗。
4、可擴展,符合SQL的時間序列數(shù)據(jù)庫
現(xiàn)如今大部分數(shù)據(jù)都是時間序列數(shù)據(jù),無論是在查看物聯(lián)網(wǎng)數(shù)據(jù),金融服務數(shù)據(jù)還是來自IT基礎架構(gòu)的數(shù)據(jù),都可能會定期創(chuàng)建數(shù)據(jù)。面向大數(shù)據(jù)的實時分析平臺具有一整套內(nèi)置分析功能,包括時間序列,地理空間,模式匹配等。這些功能可以幫助實現(xiàn)不同類型的數(shù)據(jù)分析。
四、應用價值
1、性價比高,支持大規(guī)模擴展
支持全平臺部署:支持大規(guī)模節(jié)點擴展,性價比高于傳統(tǒng)數(shù)據(jù)庫。
2、高處理性能
能夠處理TB級大數(shù)據(jù)量,支撐大規(guī)模批量計算/高并發(fā)查詢/極端復雜的自主分析和查詢
3、高頻數(shù)據(jù)加載和實時分析
支持秒級數(shù)據(jù)實時加載和秒級甚至亞秒級的數(shù)據(jù)查詢響應能力
數(shù)商云全鏈數(shù)字化產(chǎn)品解決方案, 實現(xiàn)供應鏈上中下游資源整合管理
--------
SCM供應鏈 / SRM供應商 / B2B電商 / 采購管理 / DMS渠道商 / 經(jīng)銷商管理
SaaS多租戶 / S2B2C電商 / S2B2B電商
0 費 用 系 統(tǒng) 演 示
▼
<本文由數(shù)商云•云朵匠原創(chuàng),商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權,非商業(yè)轉(zhuǎn)載請標明:數(shù)商云原創(chuàng)>
作者:云朵匠 | 數(shù)商云(微信ID:shushangyun_com)
【數(shù)商云m.zhimaihui.cn】專注為企業(yè)提供電商大數(shù)據(jù)商城網(wǎng)站建設服務,長期為大中型企業(yè)打造數(shù)據(jù)化、商業(yè)化、智能化的大數(shù)據(jù)解決方案,為傳統(tǒng)企業(yè)搭建一站式大數(shù)據(jù)自動化營銷平臺閉環(huán)體系,實現(xiàn)商城系統(tǒng)大數(shù)據(jù)互通、全鏈融合,綜合提升平臺運營效率與平臺收益。
評論