我們是一群資料工程師與資料分析師，正從露天市集所累積的資料，洞悉銷售市場並積累電商的產品策略思維。提升公司在商業決策的準確性，更透過數據賦能打造貼近用戶所使用的完美服務。

在這樣的願景下集結了以數據為工作面向的團隊。有目標就會伴隨著重重的挑戰關卡，當溝通協作開始時團隊遇上了第一道難題：數據孤島。

數據孤島的浮現

企業隨著業務的增長，不僅組織人事上的擴增，數據量與複雜度也隨之增加。迅速的成長發展下，從數據的存儲到管理、從分析到挖掘，這些數據問題逐漸顯現且更為困難。

數據作為商業決策重要依據，數據孤島一詞變成各家企業的痛點。

數據孤島(data silo) 是指多個數據儲存系統或部門數據間無法相互交流且共享的情況。由於缺少適當的數據管理和整合，或是因組織部門間的隔閡而產生。這將限制企業對數據的利用和商業決策的準確性。需要透過數據治理等手段來解決數據孤島的問題，以提高數據的可用性和可靠性。

數據管理與整合

公司在數據管理隨著資訊領域技術的演進，也有數個版本的數據系統。從早期的windows native打造的ERP系統，分支出web介面方便公司同仁觀測數據，為了減少資料視覺化的開發流程而導入的kibana。

錯綜復雜的數據流和報表資料庫使得公司各部門的資訊有所落差。資料工程的翻新上達到公司運作最小的摩擦，是數據工程團隊首要的考量。我們透過數據中台的概念，先以統一的視覺化介面將使用者溝通間的報表一致。再透過系統能夠串接多種不同資料元的特性，慢慢的將零散的數據流做梳理。一邊盤點紀錄每項資料的邏輯並回收多餘的運算機器，將運算能量轉換到資料探勘。

Superset的導入

選用Superset作為視覺化介面統一的系統，讓公司在數據治理跨出了新的一步。一致的介面不僅降低了部門間溝通的落差，資料分析師在分析結果的交付上，不再只是簡報或一份excel檔。可以更敏捷的把分析需求透過Superset呈現，並減少了分析師例行的報表產出工作，讓分析能量更集中在資料探勘上。

Superset的革新帶了許多好處，也帶出下一個挑戰：數據流該如何解決管理痛點和提升可用性。

文章撰寫：Dan
責任編稿：忠編

那些年 我在露天學會的事

露天工程師：
數據治理之導入Superset