您好,欢迎来到知库网。
搜索
您的当前位置:首页《数据挖掘》试题与答案

《数据挖掘》试题与答案

来源:知库网
一、解答题(满分 30 分,每小题 5分)

1. 怎样理解数据挖掘和知识发现的关系?请详细阐述之

首先从数据源中抽取感兴趣的数据,并把它组织成适合挖掘的 数据组织 形式;然后,调用相应的算法生成所需的知识; 最后对生成的知识模式进 行评估,并把有价值的知识集成到企业的智能系统中。 知识发现 是一个指出数据中有效、崭新、潜在的、有价值的、一个不可忽视的流程,其最 终

目标是掌握数据的模式。流程步骤:先理解要应用的领域、 熟悉相关知识,接着建立目标 数据集,并专注所选择的数据子集; 再作数据预处理,剔除错误或不一致的数据; 然后进行 数据简化与转换工作;再通过数据挖掘的技术程序成为模式、做回归分析或找出分类模型; 最后经过解释和评价成为有用的信息。

2. 时间序列数据挖掘的方法有哪些,请详细阐述之 时间序列数据挖掘的方法

有:

1)、确定性时间序列预测方法 : 对于平稳变化特征的时间序列来说,

假设未 来行为与现在的行为有关, 利用属性现在的值预测将来的值是可行的。 例如, 要预测下周某种商品的销售额, 可以用最近一段时间的实际销售量来建立预 测模型。

2)、 随机时间序列预测方法 : 通过建立随机模型,对随机时间序列进行分

析, 可以预测未来值。若时间序列是平稳的,可以用自回归 (Auto

Regressive,简称

AR)模型、移动回归模型 (Moving Average,简称 MA) 或自回归移动平均 (Auto Regressive Moving Average,简称 ARMA) 模型进行分析预测。

3)、其他方法 : 可用于时间序列预测的方法很多, 其中比较成功的是神经

网络。 由于大量的时间序列是非平稳的, 因此特征参数和数据分布随着时间的推移而变 化。假如通过对某段历史数据的训练, 通过数学统计模型估计神经网络的各层权 重参数初值,就可能建立神经网络预测模型,用于时间序列

的预测。

3. 数据挖掘的分类方法有哪些,请详细阐述之

分类方法归结为四种类型:

1)、基于距离的分类方法 : 距离的计算方法有多种, 最常用的是通

过计 算每个类的中心来完成, 在实际的计算中往往用距离来表征, 距离越近, 相似性越大,距离越远,相似性越小。 。

2)、决策树分类方法 : 决策树( Decision Tree)的每个内部结点表示

在一个 属性上的测试,每个分枝代表一个测试输出,而每个树叶结点代表类或类分 布。树的最顶层结点是根结点。

3)、贝叶斯分类方法 : 设 X 是类标号未知的数据样本。设 H 为某种

假定, 如数据样本 X 属于某特定的类 C。对于分类问题,我们希望确定 P(H|X), 即给定观测数据样本 X ,假定 H 成立的概率。

4)、规则归纳方法 : 规则归纳有四种策略:减法、加法,先加后减、先

减后 加策略。

a) 减法策略: 以具体例子为出发点, 对例子进行推广或泛化, 推

广即减 除条件(属性值)或减除合取项(为了方便,我们不考虑增加析取项 的推广),使推广后的例子或规则不覆盖任何反例。

b) 加法策略:起始假设规则的条件部分为空(永真规则) ,如果该

规则 覆盖了反例, 则不停地向规则增加条件或合取项, 直到该规则不再覆 盖反例。

c) 先加后减策略: 由于属性间存在相关性, 因此可能某个条件的加

入会 导致前面加入的条件没什么作用,因此需要减除前面的条件。

d) 先减后加策略:道理同先加后减, 也是为了处理属性间的相

关性。 典型的规则归纳算法有 AQ 、CN2 和 FOIL 等。

4. 数据挖掘的聚类方法有哪些,请详细阐述之

数据挖掘的聚类方法 :

1) 、划分方法( Partitioning Methods):给定一个有 n 个对象的数据集,

划分聚类 技术将构造数据 k 个划分,每一个划分就代表一个簇, k n。也就是说,它将数 据划分为 k 个簇,而且这 k个划分满足下列条件:

a) 每一个簇至少包含一个对象。 b) 每一个对象属于且仅属于一个簇。

对于给定的 k,算法首先给出一个初始的划分方法,以后通过反复迭代的方法改 变划分,使得每一次改进之后的划分方案都较前一次更好。

1) 、层次聚类 : 层次聚类方法对给定的数据集进行层次的分解,直到某

种 条件满足为止。具体又可分为:

a) 凝聚的层次聚类:一种自底向上的策略,首先将每个对象作为一个簇,

然后合并这些原子簇为越来越大的簇,直到某个终结条件被满足。

b) 分裂的层次聚类: 采用自顶向下的策略, 它首先将所有对象置于一

个簇 中,然后逐渐细分为越来越小的簇,直到达到了某个终结条件。

层次凝聚的代表是 AGNES 算法。层次分裂的代表是 DIANA 算法。

2) 密度聚类方法 : 密度聚类方法的指导思想是,只要一个区域中的点的

密 度大于某个域值,就把它加到与之相近的聚类中去。代表算法有:

DBSCAN 、OPTICS、DENCLUE 算法等。

3) 其它聚类方法 : STING(Statistaical Information Grid_based method)是一种 基于网格的多分辨率聚类技术,它将空间区域划分为

矩形单元。 STING 算法采用了一种多分辨率的方法来进行聚类分析,该聚类算法的质量取 决于网格结构最低层的粒度。如果粒度比较细,

处理的代价会显著增加; 但如果粒度较粗,则聚类质量会受到影响。

5.请阐述数据挖掘的基本过程及步骤

一、业务理解:业务理解包括确定商业对象、了解现状、建立数据挖掘目标和制定计划书。 应该是对数据挖掘的目标有一个清晰的认识, 知道利润所在, 其中包括数据收集、 数据 分析和数据报告等步骤。

二、数据理解: 一旦商业对象和计划书确定完备, 数据理解就考虑将所需要的数据。这一过 程包括原始数据收集、数据描述、数据探索和数据质量核查等。

三、数据准备:确定可用的数据资源以后,需要对此进行筛选、清理、调整为所需要的 形式。数据整理和数据转换等数据建模的准备工作需要在这一阶段完成。 更深层次的数据探 索也可以在这一阶段进行, 新增模型的应用再次提供了在业务理解基础上看清楚数据模式的 机会。 四、建立模型:数据模型建立是应用数据挖掘软件不不同的情景下获得结果的过程。

五、模型评估: 数据解释阶段是至关重要的, 要对建立的模型是否能够达到问题解决的目的 进行研究,即包括模型是否能够达到研究的目标;模型是否能够用合适的方法显示。

六、模型发布: 数据挖掘既可以应用于核实先前的假设, 也可以应用于知识发现(识别未预 期的有用的关系)

6. 为什么说强关联规则不一定都是有效的,请举例说明之。 并不是所有的强

关联规则都是有效的。例如,一个谷类早餐的零售商对

5000 名

学生的调查的案例。 数据表明:60%的学生打篮球, 75%的学生吃这类早餐,

40% 的学生即打篮球吃这类早餐。假设支持度阈值 s=0.4,置信度阈值 c=60%。基于 上面数据和假设我们可挖掘出强关联规则 “(打篮球 )→ (吃早餐)”,因为其(打篮球) 和(吃早餐)的支 持度都 大于支持度

阈值,都 是频繁项, 而规则的 置信度 c=40%/60%=66.6%也大于置信度阈值。

然而,以上的关联规则很容易产生误解,因为吃早餐的比例为 75%,大于

66%。 也就是说,打篮球与吃早餐实际上是负关联的。

二、分析题(满分 20 分,每小题 10 分) 1、请分析关联规则挖

掘方法中,项目集格空间理论、发展及其在数据挖掘中的 应用价值。 项目集格空间理论

Agrawal 等人建立了用于事务数据库挖掘的项目集格空间理论

( 1993, Appriori 属性)。

定理( Appriori 属性 1). 如果项目集 X 是频繁项目集,那么它的所有 非空子集都是频繁项目集。

定理( Appriori 属性 2).如果项目集 X 是非频繁项目集,那么它的所有 超集都是非频繁项目集。

项目集格空间理论发展 随着数据库容量的增大, 重复访问数据库(外存)将导致性能低下。 因此, 探索新的理论和算法来减少数据库的扫描次数和侯选集空间占用, 已经成 为近年来关联规则挖掘研究的热点之一。

两个典型的方法: Close算法、 FP-tree算法

2、请分析 Web 挖掘技术所采用的方法及其在数据挖掘中的应用价值。 Web

挖掘依靠它所挖掘的信息来源可以分为:

Web内容挖掘( Web Content Mining ):对站点的 Web页面

的各类 信息进行集成、概化、分类等,挖掘某类信息所蕴含的知识模式。 Web访问信息挖掘( Web Usage Mining):Web访问信息挖掘是对 用户访问 Web 时在服务器方留下的访问记录进行挖掘。通过分析 日志记录中的规律,可以识别用户的忠实度、喜好、满意度,可以 发现潜在用户,增强站点的服务竞争力。

Web结构挖掘( Web Structure Mining):Web结构挖掘是对 Web页 面之间的链接结构进行挖掘。在整个 Web 空间里,有用

的知识不 仅包含在 Web 页面的内容之中,而且也包含在页面的链接结构之 中。对于给定的 Web 页面集合,通过结构挖掘可以发现页面之间 的关联信息,页面之间的包含、引用或者从属关系等。 从大量的信息中发现用户感兴趣的信息 :因特网上蕴藏着大量的 信息,通过简单的浏览或关键词匹配的搜索引擎得到的是孤立而凌 乱的“表面信息 ”,Web挖掘可以发现潜在的、丰富的关联信息。 将 Web上的丰富信息转变成有用的知识:

Web 挖掘是面向 Web数 据进行分析和知识提取的。 因特网中

页面内部、 页面间、页面链接、 页面访问等都包含大量对用户可用的信息, 而这些信息的深层次含 义是很难被用户直接使用的,必须经过浓缩和提炼。 对用户进行信息个性化: 网站信息的个性化是将来的发展趋势。 通 过 Web 挖掘,可以达到对用户访问行为、频度、内容等的分析, 可以得到关于群体用户访问行为和方式的普遍知识, 用以改进 Web 服务方的设计,提供个性化的服务。

三、证明题(满分 16 分) 1.证明频繁集的所有非空子集必须也是频

繁的。 证明 1

反证法。根据定义,如果项集 I 满足最小支持度阈值 min_ sup,则 I 不是频繁的,即 p

(I) min_ sup 。 如果项 A添加到 I , 则结果项集间(即 I A )不可能比 I 更频繁出

现。因此, I A也不是频繁的,即 P( I A )< min_sup 。矛盾。

证明 2 设 X 是一个项目集,事务数据库 T 中支持 X 的元组数为 s。对 X 的任 一非空子集为 Y ,设 T 中支持 Y 的元组数为 s1。

根据项目集支持数的定义, 很容易知道支持 X 的元组一定支持 Y,所以 s1 ≥ s, 即 support(Y ) ≥ support(X )。

按假设:项目集 X 是频繁项目集,即 support(X)≥ minsupport, 所以

support(Y )≥ support(X )≥ minsupport,因此 Y 是频繁项目集。 2.Apriori 的一种变形将事务数据库 D 中的事务划分为 若干个不重叠的部分。 证明在 D 中是频繁的任何项集至少在 D 中的一个部分中是频繁的。

证明:给定频繁项集 l和l的子集 s ,证明规则“ s (l s ) ”的置信度不可能大于 “s (l s)”

的置信度。其中, s 是 s 的子集。

根据定义,规则 A B的置信度为: conf n(A B)/n(A) n(A)表示项集 A 出现的次数 规 s (l s ) conf n(s (l s)) /n(s ) n(l)/n(s )

规则 s (l s)的置信度同理可得: conf n(l ) / n(s) ,又因为 s 是 s的子集, n(s) n(s),所 以规则“ s (l s) ”的置信度不可能大于“ s (l s) ”的置信度

的置信度为:

四、算法分析题(满分 14 分)

1. 描述决策树算法的主要思想。

建造一个决策树,有五个主要步骤:

根据已知的分类,从数据 D 中找到例子 S。

确定最佳谓词 p 用来分类。一般首先在较粗的层次中寻找相关谓 词,然后再在较为细化的层次。

找到最佳的缓冲区大小和形状。 对于取样中的每个实体, 它周围的 区域被称为缓冲区。 目标是选择一个能产生对测试集中的类型进行 最不同的缓冲区。

使用 p 和 C,对每个缓冲区归纳谓词。 使用泛化的谓词和 ID3 建造二叉树 T。

空间决策树算法

输入:空间数据库 D;概念层次 C;预定的类别。 输出:二叉决策树 T。

( 1)根据预定的类别,从数据 D 中找到例子 S; (2) 确定最佳谓词 p 用来分类; (3) 找到最佳的缓冲区大小和形状; (4) 使用 p 和 C,对每个缓冲区归纳谓词; ( 5)使用泛化的谓词和 ID3 建造二叉树 T.

2. 指出算法的不足之处,应该从哪些方面增强算法的功能和性能。

对任何数量的训练集, 总是能找到相应的多个线性判别函数把它分类, 但是这样生成的 树的深度可能太大. 因为, 虽然使用了最好的特征进行分类, 但还是可能存在一些特征对分

类很有用, 尽管不是像最好的特征那样有用, 却没有用到.一个直觉是:有些特征对某些类 别有效,但是对另外一些则无效,甚至可能有副作用,如果能把这些特征选择出来,一次就 能最大限度地把多个类别分开. MBDT 正是基于这个直觉. MBDT 通过在每个子集上选择 最能有效分类的那些特征使用马氏距离进行分类.如果某个子集无法有效分类

(通过阈值判

断),就选择最好的一个进行分类.由于事先需要有标签的分类训练集,所以这是有监督的 算法.

五、应用题 (满分 20 分)

请利用 Apriori 算法求项目集 I={ I1 ,I2 ,I3,I4 ,I5} 中,根据下列事务表:

TID 项 ID 的列表 T100 I1 ,I2,I4 T200 I1 ,I3 T300 I2 ,I4 T400 I1 ,I4,I5 T500 I1 ,I3 T600 I2 ,I3 T700 I1 ,I4 T800 I1 ,I2,I4 ,I5 T900 I1 ,I2,I3

完成: (1) 假定最小支持度设定为 2,请找出了所有的频繁项集;

(2) 假定最小置信度设定为 65%,请求出最大项目集的关联规则; (3) 分析你所得到的结论。

因篇幅问题不能全部显示,请点此查看更多更全内容

Copyright © 2019- zicool.com 版权所有

违法及侵权请联系:TEL:199 1889 7713 E-MAIL:2724546146@qq.com

本站由北京市万商天勤律师事务所王兴未律师提供法律服务