數據倉庫

GraphiteMergeTree該引擎用來對Graphite數據(圖數據)進行瘦身及匯總。對于想使用ClickHouse來存儲Graphite數據的開發者來說可能有用。 如果不需要對Graphite數據做匯總，那么可以使用任意的ClickHouse表引擎；但若需要，那就采用GraphiteMerg ... ?

MySQL 到 SelectDB 的實時數據同步技術，通過 NineData 的數據復制控制臺，僅需輕點鼠標，即可輕松完成 MySQL 到 SelectDB 的同步任務配置。NineData 采用先進的數據同步技術，確保數據實時同步到 SelectDB，極大地降低了數據延遲，讓您的決策基于最新數據。 ... ?

# 數據倉庫概覽 ## 1.基本概念 ### 1.數據倉庫架構 數據倉庫環境包括**操作型系統**和**數據倉庫系統**兩個部分。操作型系統的數據由各種形式的業務數據組成，這些數據經過**抽取**、**轉換**和**裝載（ETL）**過程進入數據倉庫系統。 ![img](https://img202 ... ?

摘要：隨著云計算的興起和滲透，云數倉成為了數倉技術演進的新階段，并且逐漸成為了眾多企業的共同選擇。 本文分享自華為云社區《從GaussDB(DWS)的技術演進，看數據倉庫的積淀與新生》，作者： 華為云頭條。 數據驅動著現代商業的發展 今天，無論在制造、零售、物流 還是在互聯網、金融等行業 數據都變得 ... ?

數據倉庫是數據庫的下一代產品形態 —— 如何對數字化轉型過程中涌現的數據集合進行有效的存儲、分析和利用，繼而幫忙企業進行運營決策優化甚至創造出新的獲客模式和商業模式形成競爭力，是企業主們亟需解決的問題。在數據價值爆發的時代背景中，數據倉庫在千行百業中都有著相應的應用場景。 ... ?

## SQL 1. 給一張城市和交易額表，一張城市對應省份表， 取出 省份 總 交易額大于 500 的 省份 的名字 ``` select max(tmp.province_name) from (select bt.city_num, bt.gmv, pt.province_num, pt.pro ... ?

數據管理知識體系之數據倉庫為企業數據中臺的關鍵部分，本篇先從數據建設規范入手，接著介紹數倉分層、主題域劃分原則，表處理規范和命名規范，最后說明指標定義、指標構成和指標 ... ?

在本文中，我們將深入研究ClickHouse索引。我們將對此進行詳細說明和討論： ClickHouse的索引與傳統的關系數據庫有何不同 ClickHouse是怎樣構建和使用主鍵稀疏索引的 ClickHouse索引的最佳實踐 這篇文章主要關注稀疏索引，clickhouse主鍵使用的就是稀疏索引。 數據 ... ?

更多技術交流、求職機會，歡迎關注字節跳動數據平臺微信公眾號，回復【1】進入官方交流群 物化視圖是指將視圖的計算結果存儲在數據庫中的一種技術。當用戶執行查詢時，數據庫會直接從已經預計算好的結果中獲取數據，而不需要重新計算視圖。具體來說，物化視圖是一種以表格形式存儲的結果集合。當創建一個物化視圖時，數據 ... ?

摘要：華為云EI DTSE技術布道師/華為云數倉GaussDB(DWS)首席架構師曾凱，針對數據倉庫的起源、演進過程、未來技術發展趨勢，與開發者和伙伴朋友們展開交流互動，幫助開發者快速了解數據倉庫相關信息與能力。 本文分享自華為云社區《直播回顧 | 從數倉發展史淺析數倉未來技術趨勢》，作者：胡辣湯。 ... ?

摘要：華為云EI DTSE技術布道師/華為云數倉GaussDB(DWS)首席架構師曾凱，針對數據倉庫的起源、演進過程、未來技術發展趨勢，與開發者和伙伴朋友們展開交流互動，幫助開發者快速了解數據倉庫相關信息與能力。 本文分享自華為云社區《直播回顧 | 從數倉發展史淺析數倉未來技術趨勢》，作者：胡辣湯。 ... ?

更多技術交流、求職機會，歡迎關注字節跳動數據平臺微信公眾號，回復【1】進入官方交流群 前言 社區版 ClickHouse 推出了MaterializedMySQL數據庫引擎，用于將 MySQL 中的表映射到 ClickHouse 中。ClickHouse 服務作為 MySQL 副本，讀取 Binlo ... ?

更多技術交流、求職機會，歡迎關注字節跳動數據平臺微信公眾號，回復【1】進入官方交流群 前言 社區版 ClickHouse 推出了MaterializedMySQL數據庫引擎，用于將 MySQL 中的表映射到 ClickHouse 中。ClickHouse 服務作為 MySQL 副本，讀取 Binlo ... ?

目錄 前言 正文 實戰案例 ORC數據格式 Parquet數據格式 TextFile數據格式 總結 前言 什么是Hive？ Apache Hive 數據倉庫軟件便于使用SQL讀取、寫入和管理駐留在分布式存儲中的大型數據集。結構可以投射到已存儲的數據上。提供了一個命令行工具和JDBC驅 ?

摘要：華為LakeFormation是企業級的一站式湖倉構建服務。 本文分享自華為云社區《華為云MRS支持LakeFormation能力,打造一站式湖倉，釋放數據價值】》，作者：breakDawn 。 1 背景 1.1 數倉和數據湖的概念 數據分析技術在2010~2019年間，以湖倉兩層架構技術作為 ... ?

本篇先通過Kylin對連接條件、維度和度量限制的示例弄清Kylin的使用注意事項，在此基礎上研究Kylin查詢引擎，并配置spark查詢下壓實現沒有cube的查詢；理解Cube的構建優化，通過官方提供RestAPI實現動態靈活查詢和cube構建，最后通過集成JDBC的Java代碼實現簡單查詢操作。 ?

再下一城又一個實時多維交互式分析數倉利器，了解其特性和架構組成，進一步闡述相關概念和其生態圈；介紹作為開發測試最快捷方式的Docker單機部署；也基于Hadoop環境一步步部署最新v4.0.3二進制并解決遇到的問題，最后通過一個讀取hive數據示例介紹kylin創建項目、選擇數據源、創建Model、... ... ?

AggregatingMergeTree引擎繼承自 MergeTree，并改變了數據片段的合并邏輯。ClickHouse會將一個數據片段內所有具有相同主鍵（準確的說是排序鍵）的行替換成一行，這一行會存儲一系列聚合函數的狀態。 可以使用AggregatingMergeTree表來做增量數據的聚合統計， ... ?

SummingMergeTree引擎繼承自MergeTree。區別在于，當合并SummingMergeTree表的數據片段時，ClickHouse會把所有具有相同主鍵的行合并為一行，該行包含了被合并的行中具有數值數據類型的列的匯總值。如果主鍵的組合方式使得單個鍵值對應于大量的行，則可以顯著的減少存儲 ... ?

更多技術交流、求職機會，歡迎關注字節跳動數據平臺微信公眾號，并進入官方交流群 實例 DAG 介紹 DataLeap 是火山引擎自研的一站式大數據中臺解決方案，集數據集成、開發、運維、治理、資產管理能力于一身的大數據研發治理套件。在平臺中，一個核心的功能為任務的調度，會根據任務設置的調度頻率（月級，日 ... ?