跳转到内容

資料倉儲:修订间差异

维基百科,自由的百科全书
删除的内容 添加的内容
无编辑摘要
Cewbot留言 | 贡献
清理跨語言連結星型模式成為內部連結:編輯摘要的紅色內部連結乃正常現象,經繁簡轉換後存在,非bot錯誤編輯 (本次機械人作業已完成91.1%)
 
(未显示14个用户的21个中间版本)
第1行: 第1行:
{{Link style|time=2015-12-13T15:32:14+00:00}}
{{noteTA
{{noteTA
|G1=IT
| G1 = IT
|1=zh-hans:数据挖掘; zh-hant:資料採礦;
}}
}}
{{distinguish|数据库}}
{{distinguish|数据库}}
{{数据转换}}
{{数据转换}}

[[File:Data warehouse overview.JPG|thumb|200px|数据仓库的总览。]]
[[File:Data warehouse overview.JPG|thumb|200px|数据仓库的总览。]]
在[[计算 (计算机科学)|计算机]]领域,'''数据仓库'''({{lang-en|data warehouse}},也称为'''企业数据仓库''')是用于{{le|商业报告|Business reporting|报告}}和[[数据分析]]的系统,被认为是[[商业智能]]的核心组件<ref>{{cite conference|last1=Dedić|first1=Nedim|last2=Stanier|first2=Clare|year=2016|editor1-last=Hammoudi|editor1-first=Slimane|editor2-last=Maciaszek|editor2-first=Leszek|editor3-last=Missikoff|editor3-first=Michele M. Missikoff|editor4-last=Camp|editor4-first=Olivier|editor5-last=Cordeiro|editor5-first=José|title=An Evaluation of the Challenges of Multilingualism in Data Warehouse Development|url=http://eprints.staffs.ac.uk/2770/|journal=Proceedings of the 18th International Conference on Enterprise Information Systems (ICEIS 2016)|publisher=SciTePress|volume=1|pages=196–206|conference=International Conference on Enterprise Information Systems, 25–28 April 2016, Rome, Italy|conferenceurl=https://eprints.staffs.ac.uk/2770/1/ICEIS_2016_Volume_1.pdf|doi=10.5220/0005858401960206|isbn=978-989-758-187-8|access-date=2019-05-19|archive-date=2021-04-27|archive-url=https://web.archive.org/web/20210427151959/http://eprints.staffs.ac.uk/2770/|dead-url=no}}</ref>。 数据仓库是来自一个或多个不同源的集成数据的中央存储库。数据仓库将当前和历史数据存储在一起<ref name="rjmetrics">{{cite web|url=https://blog.rjmetrics.com/2014/12/04/10-common-mistakes-when-building-a-data-warehouse/|publisher=blog.rjmetrics.com|title=9 Reasons Data Warehouse Projects Fail|accessdate=2017-04-30|archive-date=2021-04-27|archive-url=https://web.archive.org/web/20210427111218/https://blog.rjmetrics.com/2014/12/04/10-common-mistakes-when-building-a-data-warehouse/|dead-url=no}}</ref>,用于为整个企业的员工创建分析报告<ref name="spotlessdata">{{cite web|url=https://spotlessdata.com/blog/exploring-data-warehouses-and-data-quality|publisher=spotlessdata.com|title=Exploring Data Warehouses and Data Quality|accessdate=2017-04-30|archive-date=2018-07-26|archive-url=https://web.archive.org/web/20180726071809/https://spotlessdata.com/blog/exploring-data-warehouses-and-data-quality|dead-url=yes}}</ref>。


存储在仓库中的数据从{{le|运行系统|operational system}}(例如营销或销售)[[上傳]]。这些数据可能会通过一个[[ODS]]数据库,并且可能需要进行额外操作的[[数据清理]]<ref name="rjmetrics"/>,以确保{{le|数据质量|data quality}},然后才能在数据仓库中用于报告。
'''数据仓库'''是一门新兴的[[资讯科技]]相关理论,以下用二种方式解释。


典型的基于[[ETL|提取、转换、加载]](ETL)的数据仓库<ref name="spotlessdata2">{{cite web|url=https://spotlessdata.com/what-big-data|publisher=spotlessdata.com|title=What is Big Data?|accessdate=2017-04-30|archive-date=2017-02-17|archive-url=https://web.archive.org/web/20170217144032/https://spotlessdata.com/what-big-data|dead-url=yes}}</ref>使用[[盤點 (資料)|分级]]、[[数据集成]]和访问层来存放其关键功能。分级层或分级数据库存储从每个不同的源数据系统中提取的原始数据。集成层通过转换来自分级层的数据,将不同的数据集合在一起,通常将转换后的数据存储在ODS数据库中。然后将集成的数据转移到另一个数据库(通常称为数据仓库数据库),在这个数据库中,数据被分为层次组(通常称为维度),并被分成事实和聚合事实。事实和维度的组合有时被称为[[星型模式]]。访问层帮助用户检索数据。<ref name=IJCA96Patil>{{cite journal |url=http://www.ijcaonline.org/proceedings/icwet/number9/2131-db195 |author1=Patil, Preeti S. |author2=Srikantha Rao |author3=Suryakant B. Patil |title=Optimization of Data Warehousing System: Simplification in Reporting and Analysis |work=IJCA Proceedings on International Conference and workshop on Emerging Trends in Technology (ICWET) |year=2011 |volume=9 |issue=6 |pages=33–37 |publisher=Foundation of Computer Science |journal= |access-date=2019-05-19 |archive-date=2021-04-28 |archive-url=https://web.archive.org/web/20210428064850/https://www.ijcaonline.org/proceedings/icwet/number9/2131-db195 |dead-url=no }}</ref>
== 较简易的解方式 ==
'''資料倉儲'''是一种资讯存理,此理论强调利用某些特殊存方式,所包含的料,特有利分析理,以生有值的资讯并依此作策。


数据的主要来源被[[数据清理|清理]]、转换、分类,并提供给管理人员和其他商业专业人员用于[[数据挖掘]]、[[線上分析處理]]、[[市場調查|市场研究]]和[[决策支持系统|决策支持]]<ref>Marakas & O'Brien 2009</ref>。 然而,检索和分析数据、提取、转换和装载数据以及管理[[数据字典]]的方法也被认为是数据仓库系统的基本组成部分。许多数据仓库的文献都使用了这个更广泛的语境。因此,数据仓库的扩展定义包括{{le|商业智能工具|business intelligence tools}}、提取、转换和加载数据到存储库的工具,以及管理和检索[[元数据]]的工具。
利用資料倉儲方式所存放的料,具有一存入,便不随时间而更的特性,同存入的料必定包含时间属性,通常一資料倉儲皆含有大量的史性料,利用特定分析方式,自其中掘出特定资讯


== 较学术的解方式 ==
==較簡易的解方式==
'''資料倉儲'''是一種資訊存理,此理論強調利用某些特殊存方式,所包含的料,特有利分析理,以生有值的資訊並依此作策。
資料倉儲由資料倉儲之父{{link-en|W.H.Inmon|Bill Inmon}}1990年提出,主要功能乃是将组织过资讯之[[联机交易理]]年累月所累的大量料,透'''資料倉儲'''理所特有的存架,作一有系的分析整理,以利各分析方法,例如[[线上分析理]][[資料挖掘]]之行,并且进而支援如[[策支援系]][[主管资讯]]之建立,策者能快速有效的自大量料中,分析出有值的资讯,以利定及快速回外在变动助建[[商智慧]]。


利用資料倉儲方式所存放的料,具有一存入,便不隨時間而更的特性,同存入的料必定包含時間屬性,通常一資料倉儲皆含有大量的史性料,利用特定分析方式,自其中掘出特定資訊
=== 資料模型 ===
有別於一般[[联机交易处理]]系統,資料模型設計是一個資料倉儲設計的地基,目前兩大主流理論分別為採用正規方式(normalized approach)或多維方式(dimensional approach)進行資料模型設計。資料模型可以分為邏輯與實體資料模型。邏輯資料模型陳述業務相關資料的關聯,基本上是一種與資料庫無關的結構設計,通常均會採用正規方式設計,主要精神是從企業業務領域的角度及高度訂出subject area model,再逐步向下深入到entities、attributes,在設計時不會考慮未來採用的[[資料庫管理系統]],也不需考慮分析效能問題。而實體資料模型則與[[資料庫管理系統]]有關,是建置在該系統上的資料架構,故設計時需考慮資料型態(data type)、空間及效能相關的議題。實體資料模型設計,則較多有採用正規方式或多維方式的討論,但從實務上來說,不執著於理論,能與業務需要有最好的搭配,才是企業在建置資料倉儲時的正確考量。


==較學術的解方式==
資料倉儲的建制不只是资讯工具技面的用,在规划行面更需对产业、[[行]]管理、市定位、策略规划等相关条件有深入的了解,才能真正发挥'''資料倉儲'''以及后续分析工具的值,提升组织竞争力。


'''資料倉儲''' ,由資料倉儲之父{{Tsl|en|Bill Inmon|比爾·英蒙}}1990年提出,主要功能乃是將組織過資訊之[[線上交易理]](OLTP)經年累月所累的大量料,透'''資料倉儲'''理所特有的存架,作一有系的分析整理,以利各分析方法如[[上分析理]](OLAP)、[[数据挖掘|資料探勘]](Data Mining)行,並進而支援如[[策支援系]](DSS)、[[主管資訊]](EIS)之建立,策者能快速有效的自大量料中,分析出有值的資訊,以利定及快速回外在變動助建[[商智慧]](BI)
== 資料倉儲的特性 ==
* 题导向(Subject-Oriented)
:有别于一般OLTP系,資料倉儲的[[料模型]]设计将资料按其意义归类至相同的主题区(subject area),因此称为题导向。例如Party、Arrangement、Event、Product等。
* 整合性(Integrated)
:自企各OLTP系,在資料倉儲中是整合且一致的。
* 时间性(Time-Variant)
:料的变动,在資料倉儲中是能纪录以及追踪变化的,有助能反映出能随着时间变化的轨迹
* 变动性(Nonvolatile)
:料一旦确认写是不被取代或除的,即使料是错误的亦同。(i.e.错误后续修正,便可因上述'''时间性'''的特性而被追


一般來說,'''資料倉儲'''可由[[關聯式資料庫]],或專為資料倉儲開發的多維度資料庫建立,若由多維度資料庫建立而成,其架構可分為星狀及雪花狀架構,包含數個維度資料表,及一個事實資料表。
== ODS、数据仓库数据集市之 ==
[[Operational data store]]、数据仓库和[[数据集市]]三者相同之均不属于任一OLTP系且都是以向的设计而非流程向。


'''資料倉儲'''的建制不只是資訊工具技面的用,在規畫行面更需對產業、[[行]]管理、市定位、策略規畫等相關條件有深入的了解,才能真正發揮'''資料倉儲'''以及後續分析工具的值,提升組織競爭力。
,[[ODS]]的特性较着于战术性查变动性大。数据仓库通常业层级,用解答即式、临时性的问题。而[[数据集市]]则较偏向解特定位或部问题,部分度模型(dimensional model)。


== 資料挖掘、OLAP和資料倉儲 ==
==資料倉儲的特性==
*主題導向(Subject-Oriented)
資料倉儲可以作[[資料挖掘]]和[[OLAP]]等分析工具的源,由存放資料倉儲中的料,必需经过筛选与转换,因此可以避免分析工具使用错误料,而得到不正的分析果。
:有別於一般OLTP系'''資料倉儲'''的[[料模型]]設計將資料按其意義歸類至相同的主題區(subject area),因此稱為題導向。例如Party、Arrangement、Event、Product等。
*整合性(Integrated)
:自企各OLTP系,在'''資料倉儲'''中是整合且一致的。
*時間性(Time-Variant)
:料的變動,在'''資料倉儲'''中是能紀錄以及追蹤變化的,有助能反映出能隨著時間變化的軌跡
*不變動性(Nonvolatile)
:料一旦確認寫是不被取代或除的,即使料是錯誤的亦同。(i.e.錯誤後續修正,便可因上述'''時間性'''的特性而被追


==ODS、資料倉儲資料超市之同==
[[資料挖掘]]和[[OLAP]]同分析工具,其差[[OLAP]]提供使用者一便利的多观点和方法,以有效率的資料复杂的查询动作,其预设询条件由使用者定,而資料挖掘能由资讯动发源中,未曾被查觉资讯,和透使用者的知以生知
[[Operational data store]]([[ODS]])'''資料倉儲'''和[[資料超市]]三者相同之均不屬於任一OLTP系且都是以向的設計而非流程(process)導向。


,[[ODS]]的特性較著於戰術性查變動性大。'''資料倉儲'''通常業層級,用解答即式、臨時性的問題。而[[資料超市]]則較偏向解特定位或部問題,部分度模型(dimensional model)。
[[資料挖掘]]技由自或半自的方法探勘及分析大量的料,以建立有效的模型及规则,而企[[資料挖掘]]更瞭解他的客而改的行业务及客服的作。[[資料挖掘]]是資料倉儲的一重要用。基本上,它是用来将你的料中藏的资讯挖掘出,所以Data Mining其是所的Knowledge Discovery的一部份,Data Mining使用了统计分析Modeling的方法,到料中找有用的特(Patterns)以及关连(Correlations)。Knowledge Discovery的Data Mining的用成功否有重要的影,只有它才能保Data Mining能得有意果。


==資料探勘、OLAP和資料倉儲==
== 代表产品 ==
資料倉儲可以作[[数据挖掘|資料探勘]]和[[OLAP]]等分析工具的源,由存放資料倉儲中的料,必需經過篩選與轉換,因此可以避免分析工具使用錯誤料,而得到不正的分析果。
Sybase - IQ<br />
Oracle - Oracle Database / Oracle Exadata<br />
TeraData - TeraData<br />
IBM - Red Brick<br />
Netezza - Netezza TwinFin<br />
NEC - InfoFrame DWH Appliance<br />
Microsoft - Microsoft SQL Server<br />
Pivotal - Greenplum<br />


[[資料採礦|資料探勘]]和[[OLAP]]同分析工具,其差[[OLAP]]提供使用者一便利的多觀點和方法,以有效率的資料複雜的查詢動作,其預設詢條件由使用者定,而資料探勘能由資訊動發源中,未曾被察覺資訊,和透使用者的知以生知
== 参见 ==
* [[数据]]
* [[决策支持系统]]
* [[在线分析处理|OLAP]]
* [[采矿]]


[[資料採礦|資料探勘]](Data Mining)由自或半自的方法探勘及分析大量的料,以建立有效的模型及規則,而企[[資料採礦|資料探勘]]更瞭解他的客而改的行業務及客服的作。[[資料採礦|資料探勘]]是資料倉儲的一重要用。基本上,它是用來將你的料中藏的資訊挖掘出,所以Data Mining其是所的Knowledge Discovery的一部份,Data Mining使用了統計分析Modeling的方法,到料中找有用的特(Patterns)以及關連(Relationships)。Knowledge Discovery的Data Mining的用成功否有重要的影,只有它才能保Data Mining能得有意果。
* [[:en:Knowledge discovery]]


==参见==
{{div col|colwidth=25em}}
*[[数据]]
*[[决策支持系统]]
*[[在线分析处理|OLAP]]
*[[採礦]]
*[[商務智能]]
*{{tsl|en|Knowledge discovery|知識發掘}}
{{div col end}}

==参考文献==
{{reflist|30em}}

{{Data}}
{{Data warehouse}}
{{Authority control}}
{{Authority control}}

[[Category:数据库]]
[[Category:数据挖掘]]
[[Category:数据挖掘]]
[[Category:数据管理]]
[[Category:数据管理]]
[[Category:资讯管理]]
[[Category:資訊科技管理]]
[[Category:資料倉儲| ]]

2023年11月12日 (日) 16:16的最新版本

数据仓库的总览。

计算机领域,数据仓库(英語:data warehouse,也称为企业数据仓库)是用于报告英语Business reporting数据分析的系统,被认为是商业智能的核心组件[1]。 数据仓库是来自一个或多个不同源的集成数据的中央存储库。数据仓库将当前和历史数据存储在一起[2],用于为整个企业的员工创建分析报告[3]

存储在仓库中的数据从运行系统(例如营销或销售)上傳。这些数据可能会通过一个ODS数据库,并且可能需要进行额外操作的数据清理[2],以确保数据质量英语data quality,然后才能在数据仓库中用于报告。

典型的基于提取、转换、加载(ETL)的数据仓库[4]使用分级数据集成和访问层来存放其关键功能。分级层或分级数据库存储从每个不同的源数据系统中提取的原始数据。集成层通过转换来自分级层的数据,将不同的数据集合在一起,通常将转换后的数据存储在ODS数据库中。然后将集成的数据转移到另一个数据库(通常称为数据仓库数据库),在这个数据库中,数据被分为层次组(通常称为维度),并被分成事实和聚合事实。事实和维度的组合有时被称为星型模式。访问层帮助用户检索数据。[5]

数据的主要来源被清理、转换、分类,并提供给管理人员和其他商业专业人员用于数据挖掘線上分析處理市场研究决策支持[6]。 然而,检索和分析数据、提取、转换和装载数据以及管理数据字典的方法也被认为是数据仓库系统的基本组成部分。许多数据仓库的文献都使用了这个更广泛的语境。因此,数据仓库的扩展定义包括商业智能工具英语business intelligence tools、提取、转换和加载数据到存储库的工具,以及管理和检索元数据的工具。

較簡易的解釋方式

[编辑]

資料倉儲是一種資訊系統的資料儲存理論,此理論強調利用某些特殊資料儲存方式,讓所包含的資料,特別有利於分析處理,以產生有價值的資訊並依此作決策。

利用資料倉儲方式所存放的資料,具有一但存入,便不隨時間而更動的特性,同時存入的資料必定包含時間屬性,通常一個資料倉儲皆會含有大量的歷史性資料,並利用特定分析方式,自其中發掘出特定資訊。

較學術的解釋方式

[编辑]

資料倉儲 ,由資料倉儲之父比爾·英蒙英语Bill Inmon於1990年提出,主要功能乃是將組織透過資訊系統之線上交易處理(OLTP)經年累月所累積的大量資料,透過資料倉儲理論所特有的資料儲存架構,作一有系統的分析整理,以利各種分析方法如線上分析處理(OLAP)、資料探勘(Data Mining)之進行,並進而支援如決策支援系統(DSS)、主管資訊系統(EIS)之建立,幫助決策者能快速有效的自大量資料中,分析出有價值的資訊,以利決策擬定及快速回應外在環境變動,幫助建構商業智慧(BI)。

一般來說,資料倉儲可由關聯式資料庫,或專為資料倉儲開發的多維度資料庫建立,若由多維度資料庫建立而成,其架構可分為星狀及雪花狀架構,包含數個維度資料表,及一個事實資料表。

資料倉儲的建制不僅只是資訊工具技術面的運用,在規畫和執行面更需對產業知識、行銷管理、市場定位、策略規畫等相關條件有深入的了解,才能真正發揮資料倉儲以及後續分析工具的價值,提升組織競爭力。

資料倉儲的特性

[编辑]
  • 主題導向(Subject-Oriented)
有別於一般OLTP系統,資料倉儲資料模型設計,著重將資料按其意義歸類至相同的主題區(subject area),因此稱為主題導向。舉例如Party、Arrangement、Event、Product等。
  • 整合性(Integrated)
資料來自企業各OLTP系統,在資料倉儲中是整合過且一致的。
  • 時間差異性(Time-Variant)
資料的變動,在資料倉儲中是能夠被紀錄以及追蹤變化的,有助於能反映出能隨著時間變化的資料軌跡。
  • 不變動性(Nonvolatile)
資料一旦確認寫入後是不會被取代或刪除的,即使資料是錯誤的亦同。(i.e.錯誤的後續修正,便可因上述時間差異性的特性而被追蹤)

ODS、資料倉儲和資料超市之異同

[编辑]

Operational data storeODS)、資料倉儲資料超市三者相同之處在於均不屬於任一OLTP系統,並且都是以資料導向的設計而非流程(process)導向。

相異之處在於,ODS的特性較著重於戰術性查詢,變動性大。資料倉儲通常為企業層級,用來解答即興式、臨時性的問題。而資料超市則較偏向解決特定單位或部門的問題,部分採用維度模型(dimensional model)。

資料探勘、OLAP和資料倉儲

[编辑]

資料倉儲可以作為資料探勘OLAP等分析工具的資料來源,由於存放於資料倉儲中的資料,必需經過篩選與轉換,因此可以避免分析工具使用錯誤的資料,而得到不正確的分析結果。

資料探勘OLAP同為分析工具,其差別在於OLAP提供使用者一便利的多維度觀點和方法,以有效率的對資料進行複雜的查詢動作,其預設查詢條件由使用者預先設定,而資料探勘,則能由資訊系統主動發掘資料來源中,未曾被察覺的隱藏資訊,和透過使用者的認知以產生知識。

資料探勘(Data Mining)技術是經由自動或半自動的方法探勘及分析大量的資料,以建立有效的模型及規則,而企業透過資料探勘更瞭解他們的客戶,進而改進他們的行銷、業務及客服的運作。資料探勘是資料倉儲的一種重要運用。基本上,它是用來將你的資料中隱藏的資訊挖掘出來,所以Data Mining其實是所謂的Knowledge Discovery的一部份,Data Mining使用了許多統計分析與Modeling的方法,到資料中尋找有用的特徵(Patterns)以及關連性(Relationships)。Knowledge Discovery的過程對Data Mining的應用成功與否有重要的影響,只有它才能確保Data Mining能獲得有意義的結果。

参见

[编辑]

参考文献

[编辑]
  1. ^ Dedić, Nedim; Stanier, Clare. Hammoudi, Slimane; Maciaszek, Leszek; Missikoff, Michele M. Missikoff; Camp, Olivier; Cordeiro, José , 编. An Evaluation of the Challenges of Multilingualism in Data Warehouse Development. International Conference on Enterprise Information Systems, 25–28 April 2016, Rome, Italy (PDF). Proceedings of the 18th International Conference on Enterprise Information Systems (ICEIS 2016) 1 (SciTePress). 2016: 196–206 [2019-05-19]. ISBN 978-989-758-187-8. doi:10.5220/0005858401960206. (原始内容存档于2021-04-27).  参数|journal=与模板{{cite conference}}不匹配(建议改用{{cite journal}}|book-title=) (帮助)
  2. ^ 2.0 2.1 9 Reasons Data Warehouse Projects Fail. blog.rjmetrics.com. [2017-04-30]. (原始内容存档于2021-04-27). 
  3. ^ Exploring Data Warehouses and Data Quality. spotlessdata.com. [2017-04-30]. (原始内容存档于2018-07-26). 
  4. ^ What is Big Data?. spotlessdata.com. [2017-04-30]. (原始内容存档于2017-02-17). 
  5. ^ Patil, Preeti S.; Srikantha Rao; Suryakant B. Patil. Optimization of Data Warehousing System: Simplification in Reporting and Analysis. IJCA Proceedings on International Conference and workshop on Emerging Trends in Technology (ICWET) (Foundation of Computer Science). 2011, 9 (6): 33–37 [2019-05-19]. (原始内容存档于2021-04-28). 
  6. ^ Marakas & O'Brien 2009