CRM中的商业智能之数据挖掘全视图

来源：论坛 作者：佚名 出处：巧巧读书 2007-08-18 进入讨论组

• 关 键 词：
• cluster
• gartner
• web应用
• 人工智能
• 数据挖掘

下一页 1 2 

　　引言

　　无论是商业企业、科研机构或者政府部门，在过去若干年的时间里都积累了海量的、以不同形式存储的数据资料。

但当面对越来越多迅速膨胀的超级数据库时，人们却无从着手去理解数据中包含的信息，更难以获得有价值的知识!原有的决策支持系统(DSS)和领导执行系统(EIS)已不能满足需要。数据挖掘概念的提出，使人们有能力克服这些困难，去发掘出蕴藏在数据中的信息和知识。数据挖掘是目前国际上数据库和信息决策领域的最前沿研究方向之一，引起了学术界和工业界的广泛关注。一些国际上高级别的工业研究实验室，如IBM Almaden和GTE，和众多的学术单位，如UC Berkeley，都在这个领域开展了各种各样的研究计划。

　　但人们对数据挖掘还存在认识上的偏差。比如对数据挖掘和知识发现、数据挖掘与数据仓库等的关系存在一定观点上的分歧。本文总结了目前学术界和工业界的认识和观点，并进行了比较和总结。本文还就与数据挖掘有关的挖掘过程、数据挖掘在商业中的实现等方面阐述了自己的观点。

　　1. 数据挖掘的概念

　　本文从探寻知识发现(Knowledge Discovery in Database)和数据挖掘的关系入手理解数据挖掘。

　　数据挖掘与知识发现是存在交叉的两个概念。对这两个概念之间的关系，流行有两种观点：一种观点认为：数据挖掘与知识发现是等同的概念，只不过在不同的领域叫法不同而已。在科研领域，知识发现使用较多，在工程应用领域多称之为数据挖掘。另一种观点认为数据挖掘是知识发现的一个阶段，而且是核心阶段。该观点给出的定义是：知识发现，就是从大型数据库中的数据中提取人们感兴趣的知识。这些知识是隐含的、事先未知的、潜在有用的信息。本文更倾向于第二种观点。本文从知识产生的过程这一角度看待知识发现和数据挖掘，得出以下结论：

　　(1)知识发现是把低级别的数据转化为高级别数据的整个过程。所谓高级别数据，是具有特殊含义的数据。在工程应用中，根据不同的使用阶段和价值，又细分为信息和知识。信息可被理解为有特殊意义的数据;知识则表达为在特定应用领域，通过使用有价值的信息而在人脑中形成的、具有概括和总结特性的认识。知识可表示为概念(concepts)，规则(rules)，规律(regulations)，模式(patterns)等形式。从知识发现的整个过程来看(图1)，数据挖掘是知识发现实现从数据到信息和知识转变的关键一步。数据挖掘是从大量数据中提取可信的、新颖的、有效的模式的高级处理过程。

　　模式：是一个用语言L来表示的一个表达式E，它可用来描述数据集F中数据的特性，E所描述的数据是集合F的一个子集 。E作为一个模式，要求比列举数据子集中所有元素的描述方法简单。

　　模式是知识发现中的知识的一部分，它给出了数据的特性或数据之间的关系，是对数据所包含信息的更抽象描述。模式的表示方式很多，有时或者经常无法用显式的方法进行描述，比如用神经网络挖掘出来的模式是通过连接权值体现出来的。知识发现的最后一步—结果表达和解释负责将挖掘的模式用更容易理解的方式，如图形、自然语言和可视化技术等展现在用户面前。　　

　　(2)如果把知识发现理解为一个过程或系统，数据挖掘是这一过程或系统的一个可自动执行的工具。挖掘算法是数据挖掘重要的组成部分。为解决特定的商业问题，一种或多种算法需要被选择、编译，在适于挖掘的数据环境下实施挖掘任务。从图1看出，知识发现是需要人工参与的多环节的过程。

　　除以上谈到的知识发现与数据挖掘的区别外，澄清存在于OLAP和数据挖掘之间认识上的混淆会有助于对数据挖掘的理解：

　　Gartner Group等组织把OLAP视为数据挖掘的一部分。数据挖掘包含数据描述和数据建模。OLAP系统可以提供数据仓库中数据的一般描述。但更多的认识把OLAP和数据挖掘当作互不相交的两部分。OLAP是数据汇总/聚集工具，它帮助简化数据分析。OLAP的功能基本上是用户参与的汇总和比较(上钻、下钻、旋转、切片、和其他操作);数据挖掘自动发现隐藏在大量数据中的模式等有价值的知识。图2从数据、信息和知识的角度形象地描述出OLAP和数据挖掘的逻辑关系。　　

　　另一点，OLAP大多是限于数据仓库中的数据。数据挖掘既可以分析现存的、比数据仓库提供的汇总数据粒度更细的数据，也可以分析事务的、文本的、空间的和多媒体数据。

　　2. 数据挖掘分类和知识发现过程

　　2.1. 数据挖掘分类

　　数据挖掘涉及的学科领域和方法很多，有人工智能、数据统计、可视化、并行计算等。数据挖掘有多种分类方法。

　　2.1.1. 根据挖掘任务

　　可分为分类模型发现、聚类、关联规则发现、序列分析、偏差分析、数据可视化等。

　　(1) 分类(Classification)

　　其旨在生成一个分类函数或分类模型，该模型能把数据库中的数据项映射到给定类别中的某一个。既可以用此模型分析已有的数据，也可以用它来预测未来的数据。

　　(2) 聚集(Clustering)

　　聚集是对记录分组，把相似的记录在一个聚集里。聚集和分类的区别是聚集不依赖于预先定义好的类，不需要训练集。

　　(3) 数据可视化(Description and Visualization)

　　数据可视化严格地讲不是一个单独的数据挖掘任务，它被用来支持其他挖掘任务。可视化是采用图形、图表等易于理解的方式表达数据挖掘结果。

　　(4) 关联规则(Affinity grouping or association rules)

　　关联规则是寻找数据库中值的相关性，主要是寻找在同一个事件中出现的不同项的相关性，比如在一次购买活动中所买不同商品的相关性。

　　(5) 序列分析(Sequence Analysis)

　　序列模式分析同样也是试图找出数据之间的联系。但它的侧重点在于分析数据之间前后(因果)关系，因此对数据往往要求引入时间属性。序列模式分析非常适于寻找事物的发生趋势或重复性模式。

　　(6) 偏差分析(Deviation Analysis)

　　是用来发现与正常情况不同的异常和变化，并进一步分析这种变化是否是有意的诈骗行为，还是正常的变化。如果是异常行为，则提示预防措施;如果是正常的变化，那么就需要更新数据库记录。

转载保留：http://www.qqread.com/erp/5/p326776.html 更多内容请看CRM项目实施指导、企业商业智能专题，或进入讨论组讨论。

下一页 1 2 

【收藏此文】【大 中 小】【打印】【关闭】

较早的文章：TurboCRM牵手亚洲视觉 加强销售过程管理

较新的文章：互联网让CRM充满活力