1 BI系統(tǒng)介紹

1.1 什么是BI系統(tǒng)

BI的英文全拼是Business Intelligence，商業(yè)智能，簡稱BI。我們經(jīng)常能聽到企業(yè)說“上BI”、“建設(shè)BI系統(tǒng)”、“構(gòu)建BI決策平臺(tái)”等內(nèi)容。那么BI到底是什么呢？

(1) 最初起源于固定報(bào)表

在幾十年前，現(xiàn)代企業(yè)還沒BI的時(shí)候，就要固定出報(bào)表。

(2) 數(shù)據(jù)倉庫OLAP技術(shù)帶來的BI的發(fā)展

隨著企業(yè)的發(fā)展，只看財(cái)務(wù)、銷售固定報(bào)表，已經(jīng)不能滿足企業(yè)需要了，因?yàn)閱栴}越來越復(fù)雜，局勢越來越多變，固定報(bào)表很難看清業(yè)務(wù)狀況，對(duì)決策支持越來越有限，但從幾十張常用報(bào)表，到開發(fā)幾百、上千張報(bào)表，開發(fā)量實(shí)在太大。于是產(chǎn)生了OLAP這種技術(shù)平臺(tái)，來快速實(shí)現(xiàn)人們對(duì)指數(shù)級(jí)上升的報(bào)表需求。

而由于報(bào)表都是基于歷史數(shù)據(jù)，所以沒必要從業(yè)務(wù)系統(tǒng)直接取數(shù)，且過多報(bào)表生成要影響業(yè)務(wù)系統(tǒng)本身，于是數(shù)據(jù)倉庫應(yīng)運(yùn)而生。

(3) 定義

BI就是基于聯(lián)機(jī)事務(wù)處理（OLTP）產(chǎn)生的海量數(shù)據(jù)，將其從關(guān)系數(shù)據(jù)庫中提取出來，通過聯(lián)機(jī)分析處理（OLAP）或者數(shù)據(jù)挖掘等技術(shù)得出有價(jià)值的信息，為管理者提供決策支持。讓企業(yè)通過數(shù)據(jù)，客觀、有預(yù)見性地決策，實(shí)現(xiàn)智能的商務(wù)運(yùn)作。（BI是面向業(yè)務(wù)決策的）

(4) 補(bǔ)充

然而實(shí)際情況并非那么理想，無論傳統(tǒng)行業(yè)，還是互聯(lián)網(wǎng)，都在強(qiáng)調(diào)拿數(shù)據(jù)說話，但看數(shù)據(jù)，說數(shù)據(jù)，并不意味著你就“智能”了，OLAP分析不能實(shí)現(xiàn)智能、數(shù)據(jù)挖掘分析也難以實(shí)現(xiàn)智能，原因就是商業(yè)（業(yè)務(wù)）的復(fù)雜、多變性。這也是我們總是感覺好的BI產(chǎn)品那么少的原因。

1.2 BI系統(tǒng)的分類

(1) 報(bào)表式

報(bào)表式BI主要是指產(chǎn)品中有各類固定樣式的報(bào)表設(shè)計(jì)，通常用來呈現(xiàn)業(yè)務(wù)的明細(xì)數(shù)據(jù)和指標(biāo)匯總，支持的數(shù)據(jù)量相對(duì)不大。中國的報(bào)表有著復(fù)雜的表頭、類似Excel的格式，國內(nèi)報(bào)表工具帆軟FineReport，對(duì)于中國式報(bào)表支持較好。

(2) 看板式

看板式BI主要是數(shù)據(jù)看板、數(shù)據(jù)大屏、數(shù)據(jù)駕駛艙等，特點(diǎn)是看板中的數(shù)據(jù)指標(biāo)、展示形式基本固定，以可視化圖表為主，看板式BI對(duì)數(shù)據(jù)分析支持較少，并且由于固定指標(biāo)，所以業(yè)務(wù)變化后升級(jí)看板BI需要一段時(shí)間，因此敏捷性較弱。

(3) 平臺(tái)式

平臺(tái)式BI主要是BI自助分析平臺(tái)，特點(diǎn)是業(yè)務(wù)人員或者業(yè)務(wù)側(cè)數(shù)據(jù)分析師，通過前端簡單工具就可以自行配置需要的數(shù)據(jù)報(bào)表、數(shù)據(jù)看板，項(xiàng)目周期短、易于后期維護(hù)，隨著數(shù)據(jù)中臺(tái)概念的興起，BI平臺(tái)成為潮流，數(shù)據(jù)和技術(shù)部門回歸技術(shù)支持的本位——做好底層技術(shù)和數(shù)據(jù)的支撐，由業(yè)務(wù)人員自行探索數(shù)據(jù)價(jià)值。

(4) 總結(jié)

這三類BI產(chǎn)品并無優(yōu)劣之分，各有其適用場景，我們需要根據(jù)業(yè)務(wù)發(fā)展的特點(diǎn)和實(shí)際需求去選擇合適的BI產(chǎn)品。

舉例子：看板式比起報(bào)表式，雖然使用可視化讓數(shù)據(jù)更直觀、更生動(dòng)了，缺失了很多數(shù)據(jù)細(xì)節(jié)。

自助式比起看板式靈活了許多，但是有一定的使用門檻（比如可能需要使用SQL）、也會(huì)受到業(yè)務(wù)人員數(shù)據(jù)素養(yǎng)的高低的限制（比如是否能將業(yè)務(wù)思維轉(zhuǎn)化為數(shù)據(jù)分析思維）。

今天我們講的BI系統(tǒng)主要是報(bào)表式和看板式。

2 BI系統(tǒng)搭建的常見誤區(qū)

2.1 做了一大堆數(shù)據(jù)指標(biāo)：沒有區(qū)分出指標(biāo)的重要性

問題：當(dāng)你不是從0到1跟一個(gè)產(chǎn)品，那么此時(shí)你可能沒你們的運(yùn)營懂產(chǎn)品的各項(xiàng)數(shù)據(jù)，當(dāng)你問你們運(yùn)營問那些指標(biāo)是比較重要的，因?yàn)樗麄兯幍膷徫徊煌?，看事情的角度不同，最后你?huì)發(fā)現(xiàn)得到一個(gè)結(jié)果：一大堆的指標(biāo)，都重要。

解法：

① 可以問人事或者他們的部門負(fù)責(zé)人要一下部門的績效考核指標(biāo)，也許這些就是他們最重要的指標(biāo)。

② 可以和部門的負(fù)責(zé)人溝通，那些是他比較關(guān)注的指標(biāo)，那就應(yīng)該從這些指標(biāo)做起。

2.2 指標(biāo)做了但沒什么用：區(qū)分哪些是虛榮指標(biāo)

問題：做了很多常見的PV、UV、月活、總用戶數(shù)、總商品數(shù)等等，但是其實(shí)這些都是虛榮指標(biāo)，因?yàn)樗麩o法直接促進(jìn)交易額的增長。uv、月活再多有什么用，用戶就是不購買。

解法：產(chǎn)品經(jīng)理需要識(shí)別那些是虛榮指標(biāo)，那些是更有用的指標(biāo)（指標(biāo)對(duì)于商業(yè)目標(biāo)有直接的作用）。一般能直接促進(jìn)交易額、類似轉(zhuǎn)換率這種帶分子、分母的指標(biāo)都是非虛榮指標(biāo)。比如：

① 商行業(yè)的主路徑的轉(zhuǎn)化率，訪問-商品列表、商品列表-商品詳情、商品詳情-加購、加購-下單轉(zhuǎn)化率，這些都是降低流失就能提高交易額的。

② 用戶的次日留存、7日留存率（新用戶7日后是否再次訪問）、30日留存率等，這些能直接反應(yīng)用戶的質(zhì)量和運(yùn)營做的好壞。

③ 商品的動(dòng)銷率（銷售款數(shù)/上架款數(shù)），能直接反映這批商品的好壞。

2.3 難以兼顧各類用戶的需求：按主題進(jìn)行BI看板設(shè)置

問題：每個(gè)人關(guān)注的數(shù)據(jù)粒度不太一樣，老板關(guān)注的和部門領(lǐng)導(dǎo)關(guān)注的是有差別的、部門領(lǐng)導(dǎo)關(guān)注的和一線的執(zhí)行人員關(guān)注的還是有差別的。

解法：這種情況，不能把看板都做在一起。而是按照主題進(jìn)行區(qū)分。

在主題內(nèi)，按照一定的數(shù)據(jù)分析邏輯、數(shù)據(jù)查看邏輯建立起一定的故事體系，幫助用戶理解主題。

2.4 產(chǎn)品上線后老板對(duì)BI感受不深：如何體現(xiàn)出產(chǎn)品價(jià)值

問題：需要區(qū)分你的BI產(chǎn)品是面向哪類業(yè)務(wù)人員的，老板感受不深可能他并不是這個(gè)BI系統(tǒng)的核心用戶。

解法：BI產(chǎn)品上線后不是就結(jié)束項(xiàng)目了，而是要持續(xù)地進(jìn)行產(chǎn)品運(yùn)營：

① 進(jìn)行產(chǎn)品埋點(diǎn)，了解用戶的使用情況，好的產(chǎn)品一定能夠獲得業(yè)務(wù)人員的喜歡。

② 對(duì)業(yè)務(wù)人員進(jìn)行使用培訓(xùn)，多和他們溝通，不斷升級(jí)迭代，最終打造出一個(gè)有生命力的版本。

③ 日常運(yùn)維一定要做好，保證數(shù)據(jù)的及時(shí)、準(zhǔn)確，否則做了再多培訓(xùn)推廣，產(chǎn)品質(zhì)量不過關(guān)，也會(huì)沒有口碑。

3 BI系統(tǒng)體系搭建

3.1 BI系統(tǒng)包含哪些模塊

· 數(shù)據(jù)采集：內(nèi)部數(shù)據(jù)、外部數(shù)據(jù)

· 數(shù)據(jù)開發(fā)ETL：數(shù)據(jù)處理，數(shù)據(jù)放入數(shù)據(jù)倉庫，按照BI需求進(jìn)行應(yīng)用層數(shù)據(jù)開發(fā)。

· 數(shù)據(jù)算法/模型：數(shù)據(jù)挖掘算法，如預(yù)測、歸因……

· 前端應(yīng)用展示：前端可視化、實(shí)時(shí)更新、大數(shù)據(jù)量秒極查詢

· 權(quán)限管理：用戶訪問權(quán)限管理，一般到頁面、到按鈕。

· 監(jiān)控：數(shù)據(jù)異常報(bào)警、日常訪問情況統(tǒng)計(jì)。

3.2 BI系統(tǒng)搭建的業(yè)務(wù)調(diào)研：保證產(chǎn)品不走偏的前提

(1) 確定我們的業(yè)務(wù)用戶、產(chǎn)品目標(biāo)。

一般來講有兩種情況：

① 項(xiàng)目有發(fā)起方，那么和發(fā)起方的領(lǐng)導(dǎo)層去溝通了解發(fā)起B(yǎng)I系統(tǒng)項(xiàng)目的背景、要解決什么問題，明確產(chǎn)品大方向。

② 如果是技術(shù)部門自己驅(qū)動(dòng)的BI系統(tǒng)項(xiàng)目，則立項(xiàng)階段還需要做好公司內(nèi)部使用BI現(xiàn)狀（或者數(shù)據(jù)使用現(xiàn)狀）的調(diào)研。

(2) 用戶調(diào)研：用戶故事地圖

BI應(yīng)用是基于業(yè)務(wù)流程和數(shù)據(jù)的，IT測試人員僅能夠檢查計(jì)算結(jié)果是否準(zhǔn)確，但無法判斷分析圖表是否符合業(yè)務(wù)要求，數(shù)據(jù)結(jié)果是否有商業(yè)意義等。

用戶故事地圖是一種比較好的需求調(diào)研和需求梳理方法，能夠建立起團(tuán)隊(duì)對(duì)需求的全局把握，又不失細(xì)節(jié)。

因?yàn)槲覀兘裉觳皇侵v用戶調(diào)研，就不展開了，大家感興趣可以去找一些資料來看，我之前寫過一篇文章，歡迎閱讀：《教你用User Story設(shè)計(jì)BI駕駛艙》

(3) 決定產(chǎn)品規(guī)劃方案、選型

① 產(chǎn)品規(guī)劃方案：功能分組、分期（優(yōu)先級(jí)）

② 選型：報(bào)表式、看板式、平臺(tái)式

3.3 BI系統(tǒng)的設(shè)計(jì)原則

確定了產(chǎn)品方案和路線圖，接下來就需要進(jìn)行系統(tǒng)設(shè)計(jì)，這里分享幾個(gè)設(shè)計(jì)原則：

(1) 簡單易用、數(shù)據(jù)準(zhǔn)確

BI應(yīng)用是否符合用戶習(xí)慣，數(shù)據(jù)是否準(zhǔn)確及時(shí)，是BI能否活下來的關(guān)鍵。

① 報(bào)表式BI：如何將表格中的細(xì)節(jié)數(shù)據(jù)更加友好的展示；

② 看板式BI：注重核心指標(biāo)，指標(biāo)與指標(biāo)之間的故事性、分析思維；

③ 平臺(tái)式BI：盡可能考慮低代碼支持、可視化操作、所見即所得等，畢竟業(yè)務(wù)人員會(huì)SQL不多；

(2) 可以集成現(xiàn)有系統(tǒng)

能夠適配企業(yè)現(xiàn)有數(shù)據(jù)庫選型，能保證項(xiàng)目在數(shù)據(jù)采集/數(shù)據(jù)接入時(shí)能夠順利

(3) 考慮多場景支持

① PC和移動(dòng)兩類使用場景

盡量在架構(gòu)設(shè)計(jì)時(shí)就考慮未來移動(dòng)端、PC端兼容的方案，要知道任何BI系統(tǒng)最后都會(huì)面臨移動(dòng)化。

② 統(tǒng)一支持的數(shù)據(jù)分享方式

需要對(duì)數(shù)據(jù)下載、數(shù)據(jù)導(dǎo)出等數(shù)據(jù)分享方式進(jìn)行統(tǒng)一設(shè)計(jì)。

(4) 考慮引入算法、模型

不要僅僅把BI當(dāng)成一款『看數(shù)』工具，在產(chǎn)品設(shè)計(jì)時(shí)適當(dāng)考慮引入算法或者未來引入算法模塊的技術(shù)架構(gòu)，能夠提升產(chǎn)品的定位，有助于發(fā)揮更大的價(jià)值。

(5) 考慮數(shù)據(jù)監(jiān)控、權(quán)限

一定要在架構(gòu)上就考慮數(shù)據(jù)異常的監(jiān)控機(jī)制和權(quán)限管理，否則后期加起來很痛苦。權(quán)限上，要注意考慮數(shù)據(jù)權(quán)限的設(shè)計(jì)，要注意考慮數(shù)據(jù)權(quán)限的設(shè)計(jì)（同一個(gè)頁面不同的崗位看到的數(shù)據(jù)內(nèi)容范圍不同，比如華北區(qū)只能看到華北區(qū)的數(shù)據(jù)，這個(gè)就是數(shù)據(jù)權(quán)限）。

4 BI系統(tǒng)未來發(fā)展趨勢

4.1 分析時(shí)刻

分析時(shí)刻是Gartner定義的一種數(shù)據(jù)分析流程，通過對(duì)數(shù)據(jù)進(jìn)行可視化、探索和應(yīng)用算法，支持業(yè)務(wù)成果的交付，從而做出更好或更快的決策，實(shí)現(xiàn)業(yè)務(wù)流程的自動(dòng)化。

隨著數(shù)據(jù)使用門檻逐步降低，自助式、平臺(tái)式BI成為趨勢，數(shù)據(jù)分析的主動(dòng)權(quán)會(huì)逐步轉(zhuǎn)移到業(yè)務(wù)人員手中，數(shù)據(jù)分析直接由遇到業(yè)務(wù)問題的業(yè)務(wù)人員發(fā)起，業(yè)務(wù)人員可以使用數(shù)據(jù)分析工具/平臺(tái)完成數(shù)據(jù)分析內(nèi)容。

舉例：當(dāng)一名業(yè)務(wù)人員想知道某個(gè)商品的線上銷售預(yù)測，或者為什么購物車中的商品沒有被某些客戶轉(zhuǎn)化為購買，在過去，這名業(yè)務(wù)人員必須求助于IT部門的專業(yè)數(shù)據(jù)分析師（提取可能相關(guān)的數(shù)據(jù)，輸出特定分析報(bào)告）、數(shù)據(jù)科學(xué)家（建立預(yù)測模型），但是試想一下，如果BI系統(tǒng)中建立了常用的預(yù)測算法模型、歸因分析工具，可以方便的連接數(shù)據(jù)集，業(yè)務(wù)人員自主快速完成分析內(nèi)容，他通過自助分析很快就知道了這幾個(gè)數(shù)據(jù)結(jié)論或者問題原因，從而做出業(yè)務(wù)上的反饋。

4.2 增強(qiáng)分析

增強(qiáng)分析主要是指以機(jī)器學(xué)習(xí)為基礎(chǔ)的數(shù)據(jù)分析和BI功能，通過機(jī)器學(xué)習(xí)、人工智能等技術(shù)的應(yīng)用將常見通用的數(shù)據(jù)分析的場景沉淀為產(chǎn)品功能中，幫助普通用戶在沒有數(shù)據(jù)科學(xué)專家或 IT人員協(xié)助的情況下完成數(shù)據(jù)分析。

增強(qiáng)分析的底層理念是“簡單易用”，能夠支撐用戶在沒有專業(yè)知識(shí)背景下，完成數(shù)據(jù)的“收集-準(zhǔn)備-整合和分析”全過程。

增強(qiáng)分析包含增強(qiáng)數(shù)據(jù)準(zhǔn)備、增強(qiáng)機(jī)器學(xué)習(xí)、增強(qiáng)數(shù)據(jù)分析這些模塊。這里主要講在數(shù)據(jù)分析中的應(yīng)用趨勢。

(1) NLP和NLG的應(yīng)用

① 自然語言分析，無需寫SQL，通過語言和可視化來分析數(shù)據(jù)

舉例：ThoughtSpot使用搜索和NLP作為訪問數(shù)據(jù)的主要界面，用戶可以通過打字或者語音提出問題。

② 對(duì)話式數(shù)據(jù)分析，數(shù)據(jù)對(duì)話機(jī)器人

自然語言轉(zhuǎn)化成 SQL，再將 SQL 結(jié)果集轉(zhuǎn)化成可視化的圖形，形成了"NL2SQL2Graph"的完整鏈路。舉例：阿里小蜜（入口：淘寶）

③ NLG技術(shù)（自然語言生成），將機(jī)器分析出的觀點(diǎn)結(jié)論以語言形式展現(xiàn)給用戶。

舉例：tableau的explain Data功能，會(huì)自動(dòng)針對(duì)所選值提供由 AI 驅(qū)動(dòng)的解釋。此功能會(huì)在后臺(tái)檢查數(shù)百個(gè)可能的解釋，并呈現(xiàn)可能性最大的那些解釋。

(2) 自動(dòng)洞察和自動(dòng)可視化

① 自動(dòng)洞察( automated insights )

自動(dòng)洞察是指機(jī)器自動(dòng)地從數(shù)據(jù)中發(fā)現(xiàn)潛在信息和價(jià)值：發(fā)現(xiàn)數(shù)據(jù)之間的關(guān)聯(lián)、發(fā)現(xiàn)數(shù)據(jù)異常、自動(dòng)進(jìn)行聚類。

現(xiàn)在大部分的主流 BI 平臺(tái)都有自動(dòng)洞察的相關(guān)功能推出。

舉例：微軟的 PowerBI 的Quick Insights 功能能夠自動(dòng)對(duì)于源數(shù)據(jù)做出各種交叉的一階或者多階計(jì)算 ( 百分比，排序，同環(huán)比 )，從而挖掘數(shù)據(jù)內(nèi)部各種趨勢。

https://www.c-sharpcorner.com/article/quick-insights-and-power-bi/

②自動(dòng)可視化 ( automated visualization )

根據(jù)數(shù)據(jù)結(jié)果自動(dòng)的選擇可視化的方式進(jìn)行展示，以清晰的展現(xiàn)數(shù)據(jù)分析結(jié)果。

有2個(gè)方向：

· 自動(dòng)選擇圖表：當(dāng)查詢出數(shù)據(jù)集后，機(jī)器會(huì)根據(jù)數(shù)據(jù)特點(diǎn)，自動(dòng)生成合適的圖表。圖表自動(dòng)化現(xiàn)在主流的BI工具都已經(jīng)支持了，比如tableau，選擇好數(shù)據(jù)集后第一眼看到的不是數(shù)據(jù)，而是自動(dòng)的可視化圖表。

· 自動(dòng)生成報(bào)告：比自動(dòng)選擇圖表更高一層，自動(dòng)生成報(bào)表布局、配置控件、圖表聯(lián)動(dòng)等。

技術(shù)上有2種實(shí)現(xiàn)方法：

· 基于規(guī)則：預(yù)先設(shè)置好規(guī)則庫，根據(jù)規(guī)則生成圖表，規(guī)則庫的質(zhì)量是關(guān)鍵。

· 基于模型：將問題轉(zhuǎn)化為分類或者排序問題），數(shù)據(jù)本身的特征與可視化圖表的特征是關(guān)鍵。

4.3 嵌入式分析

將特定的數(shù)據(jù)分析方法集成到業(yè)務(wù)系統(tǒng)中。

BI系統(tǒng)的頁面可以用于嵌入到其他系統(tǒng)中，這樣對(duì)產(chǎn)品未來發(fā)展很有好處：

· 能夠擴(kuò)大BI的適用范圍，也便于未來產(chǎn)品規(guī)劃的升級(jí)

· 業(yè)務(wù)人員在產(chǎn)生數(shù)據(jù)的系統(tǒng)內(nèi)就能看到數(shù)據(jù)的分析結(jié)果，增加了體驗(yàn)，并且使用起來流程、體驗(yàn)都很順

4.4 預(yù)測和決策建議

通過大量人工業(yè)務(wù)分析總結(jié)出的業(yè)務(wù)經(jīng)驗(yàn)、再加上AI和機(jī)器學(xué)習(xí)技術(shù)的加持，讓機(jī)器一次性完成業(yè)務(wù)分析和行動(dòng)建議。比如：taobao的生意參謀。