資料倉儲：修订间差异
删除的内容 添加的内容
Alexander Misel（留言 | 贡献） 小 →参见 |
小 清理跨語言連結星型模式成為內部連結:編輯摘要的紅色內部連結乃正常現象，經繁簡轉換後存在，非bot錯誤編輯 (本次機械人作業已完成91.1%) |
||
| （未显示12个用户的16个中间版本） | |||
| 第1行： | 第1行： | ||
{{noteTA |
{{noteTA |
||
|G1=IT |
| G1 = IT |
||
|1=zh-hans:数据挖掘; zh-hant:資料採礦; |
|||
}} |
}} |
||
{{distinguish|数据库}} |
{{distinguish|数据库}} |
||
| 第7行： | 第6行： | ||
[[File:Data warehouse overview.JPG|thumb|200px|数据仓库的总览。]] |
[[File:Data warehouse overview.JPG|thumb|200px|数据仓库的总览。]] |
||
在[[计算 (计算机科学)|计算机]]领域，'''数据仓库'''（{{lang-en|data warehouse}}，也称为'''企业数据仓库'''）是用于{{le|商业报告|Business reporting|报告}}和[[数据分析]]的系统，被认为是[[商业智能]]的核心组件 |
在[[计算 (计算机科学)|计算机]]领域，'''数据仓库'''（{{lang-en|data warehouse}}，也称为'''企业数据仓库'''）是用于{{le|商业报告|Business reporting|报告}}和[[数据分析]]的系统，被认为是[[商业智能]]的核心组件<ref>{{cite conference|last1=Dedić|first1=Nedim|last2=Stanier|first2=Clare|year=2016|editor1-last=Hammoudi|editor1-first=Slimane|editor2-last=Maciaszek|editor2-first=Leszek|editor3-last=Missikoff|editor3-first=Michele M. Missikoff|editor4-last=Camp|editor4-first=Olivier|editor5-last=Cordeiro|editor5-first=José|title=An Evaluation of the Challenges of Multilingualism in Data Warehouse Development|url=http://eprints.staffs.ac.uk/2770/|journal=Proceedings of the 18th International Conference on Enterprise Information Systems (ICEIS 2016)|publisher=SciTePress|volume=1|pages=196–206|conference=International Conference on Enterprise Information Systems, 25–28 April 2016, Rome, Italy|conferenceurl=https://eprints.staffs.ac.uk/2770/1/ICEIS_2016_Volume_1.pdf|doi=10.5220/0005858401960206|isbn=978-989-758-187-8|access-date=2019-05-19|archive-date=2021-04-27|archive-url=https://web.archive.org/web/20210427151959/http://eprints.staffs.ac.uk/2770/|dead-url=no}}</ref>。 数据仓库是来自一个或多个不同源的集成数据的中央存储库。数据仓库将当前和历史数据存储在一起<ref name="rjmetrics">{{cite web|url=https://blog.rjmetrics.com/2014/12/04/10-common-mistakes-when-building-a-data-warehouse/|publisher=blog.rjmetrics.com|title=9 Reasons Data Warehouse Projects Fail|accessdate=2017-04-30|archive-date=2021-04-27|archive-url=https://web.archive.org/web/20210427111218/https://blog.rjmetrics.com/2014/12/04/10-common-mistakes-when-building-a-data-warehouse/|dead-url=no}}</ref>，用于为整个企业的员工创建分析报告<ref name="spotlessdata">{{cite web|url=https://spotlessdata.com/blog/exploring-data-warehouses-and-data-quality|publisher=spotlessdata.com|title=Exploring Data Warehouses and Data Quality|accessdate=2017-04-30|archive-date=2018-07-26|archive-url=https://web.archive.org/web/20180726071809/https://spotlessdata.com/blog/exploring-data-warehouses-and-data-quality|dead-url=yes}}</ref>。 |
||
存储在仓库中的数据从{{le|运行系统|operational system}}（例如营销或销售）[[上傳]]。这些数据可能会通过一个[[ODS]]数据库，并且可能需要进行额外操作的[[数据清理]]<ref name="rjmetrics"/>，以确保{{le|数据质量|data quality}}，然后才能在数据仓库中用于报告。 |
存储在仓库中的数据从{{le|运行系统|operational system}}（例如营销或销售）[[上傳]]。这些数据可能会通过一个[[ODS]]数据库，并且可能需要进行额外操作的[[数据清理]]<ref name="rjmetrics"/>，以确保{{le|数据质量|data quality}}，然后才能在数据仓库中用于报告。 |
||
典型的基于[[ETL|提取、转换、加载]]（ETL）的数据仓库<ref name="spotlessdata2">{{cite web|url= |
典型的基于[[ETL|提取、转换、加载]]（ETL）的数据仓库<ref name="spotlessdata2">{{cite web|url=https://spotlessdata.com/what-big-data|publisher=spotlessdata.com|title=What is Big Data?|accessdate=2017-04-30|archive-date=2017-02-17|archive-url=https://web.archive.org/web/20170217144032/https://spotlessdata.com/what-big-data|dead-url=yes}}</ref>使用[[盤點 (資料)|分级]]、[[数据集成]]和访问层来存放其关键功能。分级层或分级数据库存储从每个不同的源数据系统中提取的原始数据。集成层通过转换来自分级层的数据，将不同的数据集合在一起，通常将转换后的数据存储在ODS数据库中。然后将集成的数据转移到另一个数据库（通常称为数据仓库数据库），在这个数据库中，数据被分为层次组（通常称为维度），并被分成事实和聚合事实。事实和维度的组合有时被称为[[星型模式]]。访问层帮助用户检索数据。<ref name=IJCA96Patil>{{cite journal |url=http://www.ijcaonline.org/proceedings/icwet/number9/2131-db195 |author1=Patil, Preeti S. |author2=Srikantha Rao |author3=Suryakant B. Patil |title=Optimization of Data Warehousing System: Simplification in Reporting and Analysis |work=IJCA Proceedings on International Conference and workshop on Emerging Trends in Technology (ICWET) |year=2011 |volume=9 |issue=6 |pages=33–37 |publisher=Foundation of Computer Science |journal= |access-date=2019-05-19 |archive-date=2021-04-28 |archive-url=https://web.archive.org/web/20210428064850/https://www.ijcaonline.org/proceedings/icwet/number9/2131-db195 |dead-url=no }}</ref> |
||
数据的主要来源被[[数据清理|清理]]、转换、分类，并提供给管理人员和其他商业专业人员用于[[数据挖掘]]、[[線上分析處理]]、[[市場調查|市场研究]]和[[决策支持系统|决策支持]] |
数据的主要来源被[[数据清理|清理]]、转换、分类，并提供给管理人员和其他商业专业人员用于[[数据挖掘]]、[[線上分析處理]]、[[市場調查|市场研究]]和[[决策支持系统|决策支持]]<ref>Marakas & O'Brien 2009</ref>。 然而，检索和分析数据、提取、转换和装载数据以及管理[[数据字典]]的方法也被认为是数据仓库系统的基本组成部分。许多数据仓库的文献都使用了这个更广泛的语境。因此，数据仓库的扩展定义包括{{le|商业智能工具|business intelligence tools}}、提取、转换和加载数据到存储库的工具，以及管理和检索[[元数据]]的工具。 |
||
==較簡易的解釋方式== |
==較簡易的解釋方式== |
||
| 第22行： | 第21行： | ||
==較學術的解釋方式== |
==較學術的解釋方式== |
||
'''資料倉儲''' ，由資料倉儲之父 |
'''資料倉儲''' ，由資料倉儲之父{{Tsl|en|Bill Inmon|比爾·英蒙}}於1990年提出，主要功能乃是將組織透過資訊系統之[[線上交易處理]]（OLTP）經年累月所累積的大量資料，透過'''資料倉儲'''理論所特有的資料儲存架構，作一有系統的分析整理，以利各種分析方法如[[線上分析處理]]（OLAP）、[[数据挖掘|資料探勘]]（Data Mining）之進行，並進而支援如[[決策支援系統]]（DSS）、[[主管資訊系統]]（EIS）之建立，幫助決策者能快速有效的自大量資料中，分析出有價值的資訊，以利決策擬定及快速回應外在環境變動，幫助建構[[商業智慧]]（BI）。 |
||
一般來說，'''資料倉儲'''可由[[關聯式資料庫]]，或專為資料倉儲開發的多維度資料庫建立，若由多維度資料庫建立而成，其架構可分為星狀及雪花狀架構，包含數個維度資料表，及一個事實資料表。 |
一般來說，'''資料倉儲'''可由[[關聯式資料庫]]，或專為資料倉儲開發的多維度資料庫建立，若由多維度資料庫建立而成，其架構可分為星狀及雪花狀架構，包含數個維度資料表，及一個事實資料表。 |
||
| 第29行： | 第28行： | ||
==資料倉儲的特性== |
==資料倉儲的特性== |
||
*主題導向 |
*主題導向（Subject-Oriented） |
||
:有別於一般OLTP系統，'''資料倉儲'''的[[資料模型]]設計，著重將資料按其意義歸類至相同的主題區 |
:有別於一般OLTP系統，'''資料倉儲'''的[[資料模型]]設計，著重將資料按其意義歸類至相同的主題區（subject area），因此稱為主題導向。舉例如Party、Arrangement、Event、Product等。 |
||
*整合性 |
*整合性（Integrated） |
||
:資料來自企業各OLTP系統，在'''資料倉儲'''中是整合過且一致的。 |
:資料來自企業各OLTP系統，在'''資料倉儲'''中是整合過且一致的。 |
||
*時間差異性 |
*時間差異性（Time-Variant） |
||
:資料的變動，在'''資料倉儲'''中是能夠被紀錄以及追蹤變化的，有助於能反映出能隨著時間變化的資料軌跡。 |
:資料的變動，在'''資料倉儲'''中是能夠被紀錄以及追蹤變化的，有助於能反映出能隨著時間變化的資料軌跡。 |
||
*不變動性 |
*不變動性（Nonvolatile） |
||
:資料一旦確認寫入後是不會被取代或刪除的，即使資料是錯誤的亦同。 |
:資料一旦確認寫入後是不會被取代或刪除的，即使資料是錯誤的亦同。（i.e.錯誤的後續修正，便可因上述'''時間差異性'''的特性而被追蹤） |
||
==ODS、資料倉儲和資料超市之異同== |
==ODS、資料倉儲和資料超市之異同== |
||
[[Operational data store]] |
[[Operational data store]]（[[ODS]]）、'''資料倉儲'''和[[資料超市]]三者相同之處在於均不屬於任一OLTP系統，並且都是以資料導向的設計而非流程（process）導向。 |
||
相異之處在於，[[ODS]]的特性較著重於戰術性查詢，變動性大。'''資料倉儲'''通常為企業層級，用來解答即興式、臨時性的問題。而[[資料超市]]則較偏向解決特定單位或部門的問題，部分採用維度模型 |
相異之處在於，[[ODS]]的特性較著重於戰術性查詢，變動性大。'''資料倉儲'''通常為企業層級，用來解答即興式、臨時性的問題。而[[資料超市]]則較偏向解決特定單位或部門的問題，部分採用維度模型（dimensional model）。 |
||
==資料 |
==資料探勘、OLAP和資料倉儲== |
||
資料倉儲可以作為[[資料 |
資料倉儲可以作為[[数据挖掘|資料探勘]]和[[OLAP]]等分析工具的資料來源，由於存放於資料倉儲中的資料，必需經過篩選與轉換，因此可以避免分析工具使用錯誤的資料，而得到不正確的分析結果。 |
||
[[資料採礦]]和[[OLAP]]同為分析工具，其差別在於[[OLAP]]提供使用者一便利的多維度觀點和方法，以有效率的對資料進行複雜的查詢動作，其預設查詢條件由使用者預先設定，而資料 |
[[資料採礦|資料探勘]]和[[OLAP]]同為分析工具，其差別在於[[OLAP]]提供使用者一便利的多維度觀點和方法，以有效率的對資料進行複雜的查詢動作，其預設查詢條件由使用者預先設定，而資料探勘，則能由資訊系統主動發掘資料來源中，未曾被察覺的隱藏資訊，和透過使用者的認知以產生知識。 |
||
[[資料採礦]] |
[[資料採礦|資料探勘]]（Data Mining）技術是經由自動或半自動的方法探勘及分析大量的資料，以建立有效的模型及規則，而企業透過[[資料採礦|資料探勘]]更瞭解他們的客戶，進而改進他們的行銷、業務及客服的運作。[[資料採礦|資料探勘]]是資料倉儲的一種重要運用。基本上，它是用來將你的資料中隱藏的資訊挖掘出來，所以Data Mining其實是所謂的Knowledge Discovery的一部份，Data Mining使用了許多統計分析與Modeling的方法，到資料中尋找有用的特徵（Patterns）以及關連性（Relationships）。Knowledge Discovery的過程對Data Mining的應用成功與否有重要的影響，只有它才能確保Data Mining能獲得有意義的結果。 |
||
[[資料採礦]]是資料倉儲的一種重要運用。基本上，它是用來將你的資料中隱藏的資訊挖掘出來，所以 Data Mining 其實是所謂的 Knowledge Discovery 的一部份，Data Mining 使用了許多統計分析與 Modeling 的方法，到資料中尋找有用的特徵（Patterns）以及關連性（Relationships）。 Knowledge Discovery 的過程對 Data Mining 的應用成功與否有重要的影響，只有它才能確保 Data Mining 能獲得有意義的結果。 |
|||
==参见== |
==参见== |
||
{{div col|colwidth=25em}} |
|||
*[[数据庫]] |
*[[数据庫]] |
||
*[[决策支持系统]] |
*[[决策支持系统]] |
||
| 第57行： | 第56行： | ||
*[[資料採礦]] |
*[[資料採礦]] |
||
*[[商務智能]] |
*[[商務智能]] |
||
* |
*{{tsl|en|Knowledge discovery|知識發掘}} |
||
{{div col end}} |
|||
==参考文献== |
==参考文献== |
||
{{reflist}} |
{{reflist|30em}} |
||
{{Data}} |
|||
{{Data warehouse}} |
|||
{{Authority control}} |
|||
[[Category:数据挖掘]] |
[[Category:数据挖掘]] |
||
[[Category:数据管理]] |
[[Category:数据管理]] |
||
[[Category:資訊科技管理]] |
[[Category:資訊科技管理]] |
||
[[Category:資料倉儲| ]] |
|||
2023年11月12日 (日) 16:16的最新版本
提示：此条目页的主题不是数据库。| 数据转换 |
|---|
| 概念 |
| 语言 |
| 技术和转换 |
| 应用程序 |
| 应用领域 |
在计算机领域，数据仓库（英語：data warehouse，也称为企业数据仓库）是用于报告和数据分析的系统，被认为是商业智能的核心组件[1]。 数据仓库是来自一个或多个不同源的集成数据的中央存储库。数据仓库将当前和历史数据存储在一起[2]，用于为整个企业的员工创建分析报告[3]。
存储在仓库中的数据从运行系统（例如营销或销售）上傳。这些数据可能会通过一个ODS数据库，并且可能需要进行额外操作的数据清理[2]，以确保数据质量，然后才能在数据仓库中用于报告。
典型的基于提取、转换、加载（ETL）的数据仓库[4]使用分级、数据集成和访问层来存放其关键功能。分级层或分级数据库存储从每个不同的源数据系统中提取的原始数据。集成层通过转换来自分级层的数据，将不同的数据集合在一起，通常将转换后的数据存储在ODS数据库中。然后将集成的数据转移到另一个数据库（通常称为数据仓库数据库），在这个数据库中，数据被分为层次组（通常称为维度），并被分成事实和聚合事实。事实和维度的组合有时被称为星型模式。访问层帮助用户检索数据。[5]
数据的主要来源被清理、转换、分类，并提供给管理人员和其他商业专业人员用于数据挖掘、線上分析處理、市场研究和决策支持[6]。 然而，检索和分析数据、提取、转换和装载数据以及管理数据字典的方法也被认为是数据仓库系统的基本组成部分。许多数据仓库的文献都使用了这个更广泛的语境。因此，数据仓库的扩展定义包括商业智能工具、提取、转换和加载数据到存储库的工具，以及管理和检索元数据的工具。
較簡易的解釋方式
[编辑]資料倉儲是一種資訊系統的資料儲存理論，此理論強調利用某些特殊資料儲存方式，讓所包含的資料，特別有利於分析處理，以產生有價值的資訊並依此作決策。
利用資料倉儲方式所存放的資料，具有一但存入，便不隨時間而更動的特性，同時存入的資料必定包含時間屬性，通常一個資料倉儲皆會含有大量的歷史性資料，並利用特定分析方式，自其中發掘出特定資訊。
較學術的解釋方式
[编辑]資料倉儲 ，由資料倉儲之父比爾·英蒙於1990年提出，主要功能乃是將組織透過資訊系統之線上交易處理（OLTP）經年累月所累積的大量資料，透過資料倉儲理論所特有的資料儲存架構，作一有系統的分析整理，以利各種分析方法如線上分析處理（OLAP）、資料探勘（Data Mining）之進行，並進而支援如決策支援系統（DSS）、主管資訊系統（EIS）之建立，幫助決策者能快速有效的自大量資料中，分析出有價值的資訊，以利決策擬定及快速回應外在環境變動，幫助建構商業智慧（BI）。
一般來說，資料倉儲可由關聯式資料庫，或專為資料倉儲開發的多維度資料庫建立，若由多維度資料庫建立而成，其架構可分為星狀及雪花狀架構，包含數個維度資料表，及一個事實資料表。
資料倉儲的建制不僅只是資訊工具技術面的運用，在規畫和執行面更需對產業知識、行銷管理、市場定位、策略規畫等相關條件有深入的了解，才能真正發揮資料倉儲以及後續分析工具的價值，提升組織競爭力。
資料倉儲的特性
[编辑]- 主題導向（Subject-Oriented）
- 有別於一般OLTP系統，資料倉儲的資料模型設計，著重將資料按其意義歸類至相同的主題區（subject area），因此稱為主題導向。舉例如Party、Arrangement、Event、Product等。
- 整合性（Integrated）
- 資料來自企業各OLTP系統，在資料倉儲中是整合過且一致的。
- 時間差異性（Time-Variant）
- 資料的變動，在資料倉儲中是能夠被紀錄以及追蹤變化的，有助於能反映出能隨著時間變化的資料軌跡。
- 不變動性（Nonvolatile）
- 資料一旦確認寫入後是不會被取代或刪除的，即使資料是錯誤的亦同。（i.e.錯誤的後續修正，便可因上述時間差異性的特性而被追蹤）
ODS、資料倉儲和資料超市之異同
[编辑]Operational data store（ODS）、資料倉儲和資料超市三者相同之處在於均不屬於任一OLTP系統，並且都是以資料導向的設計而非流程（process）導向。
相異之處在於，ODS的特性較著重於戰術性查詢，變動性大。資料倉儲通常為企業層級，用來解答即興式、臨時性的問題。而資料超市則較偏向解決特定單位或部門的問題，部分採用維度模型（dimensional model）。
資料探勘、OLAP和資料倉儲
[编辑]資料倉儲可以作為資料探勘和OLAP等分析工具的資料來源，由於存放於資料倉儲中的資料，必需經過篩選與轉換，因此可以避免分析工具使用錯誤的資料，而得到不正確的分析結果。
資料探勘和OLAP同為分析工具，其差別在於OLAP提供使用者一便利的多維度觀點和方法，以有效率的對資料進行複雜的查詢動作，其預設查詢條件由使用者預先設定，而資料探勘，則能由資訊系統主動發掘資料來源中，未曾被察覺的隱藏資訊，和透過使用者的認知以產生知識。
資料探勘（Data Mining）技術是經由自動或半自動的方法探勘及分析大量的資料，以建立有效的模型及規則，而企業透過資料探勘更瞭解他們的客戶，進而改進他們的行銷、業務及客服的運作。資料探勘是資料倉儲的一種重要運用。基本上，它是用來將你的資料中隱藏的資訊挖掘出來，所以Data Mining其實是所謂的Knowledge Discovery的一部份，Data Mining使用了許多統計分析與Modeling的方法，到資料中尋找有用的特徵（Patterns）以及關連性（Relationships）。Knowledge Discovery的過程對Data Mining的應用成功與否有重要的影響，只有它才能確保Data Mining能獲得有意義的結果。
参见
[编辑]参考文献
[编辑]- ^ Dedić, Nedim; Stanier, Clare. Hammoudi, Slimane; Maciaszek, Leszek; Missikoff, Michele M. Missikoff; Camp, Olivier; Cordeiro, José , 编. An Evaluation of the Challenges of Multilingualism in Data Warehouse Development. International Conference on Enterprise Information Systems, 25–28 April 2016, Rome, Italy (PDF). Proceedings of the 18th International Conference on Enterprise Information Systems (ICEIS 2016) 1 (SciTePress). 2016: 196–206 [2019-05-19]. ISBN 978-989-758-187-8. doi:10.5220/0005858401960206. （原始内容存档于2021-04-27）. 参数
|journal=与模板{{cite conference}}不匹配（建议改用{{cite journal}}或|book-title=） (帮助) - ^ 2.0 2.1 9 Reasons Data Warehouse Projects Fail. blog.rjmetrics.com. [2017-04-30]. （原始内容存档于2021-04-27）.
- ^ Exploring Data Warehouses and Data Quality. spotlessdata.com. [2017-04-30]. （原始内容存档于2018-07-26）.
- ^ What is Big Data?. spotlessdata.com. [2017-04-30]. （原始内容存档于2017-02-17）.
- ^ Patil, Preeti S.; Srikantha Rao; Suryakant B. Patil. Optimization of Data Warehousing System: Simplification in Reporting and Analysis. IJCA Proceedings on International Conference and workshop on Emerging Trends in Technology (ICWET) (Foundation of Computer Science). 2011, 9 (6): 33–37 [2019-05-19]. （原始内容存档于2021-04-28）.
- ^ Marakas & O'Brien 2009
