算法介绍2

https://blog.csdn.net/dc_sinor?typeblog

算法介绍

Tree算法就是频繁模式树算法他与Apriori算法一样也是用来挖掘频繁项集的不过不同的是FP-Tree算法是Apriori算法的优化处理他解决了Apriori算法在过程中会产生大量的候选集的问题而FP-Tree算法则是发现频繁模式而不产生候选集。

但是频繁模式挖掘出来后产生关联规则的步骤还是和Apriori是一样的。

常见的挖掘频繁项集算法有两类一类是Apriori算法另一类是FP-growth。

Apriori通过不断的构造候选集、筛选候选集挖掘出频繁项集需要多次扫描原始数据当原始数据较大时磁盘I/O次数太多效率比较低下。

FPGrowth不同于Apriori的“试探”策略算法只需扫描原始数据两遍通过FP-tree数据结构对原始数据进行压缩效率较高。

FP代表频繁模式Frequent

FP树通过逐个读入事务并把事务映射到FP树中的一条路径来构造。

由于不同的事务可能会有若干个相同的项因此它们的路径可能部分重叠。

路径相互重叠越多使用FP树结构获得的压缩效果越好如果FP树足够小能够存放在内存中就可以直接从这个内存中的结构提取频繁项集而不必重复地扫描存放在硬盘上的数据。

一颗FP树如下图所示

通常FP树的大小比未压缩的数据小因为数据的事务常常共享一些共同项在最好的情况下所有的事务都具有相同的项集FP树只包含一条节点路径当每个事务都具有唯一项集时导致最坏情况发生由于事务不包含任何共同项FP树的大小实际上与原数据的大小一样。

FP树的根节点用φ表示其余节点包括一个数据项和该数据项在本路径上的支持度每条路径都是一条训练数据中满足最小支持度的数据项集FP树还将所有相同项连接成链表上图中用蓝色连线表示。

为了快速访问树中的相同项还需要维护一个连接具有相同项的节点的指针列表headTable每个列表元素包括数据项、该项的全局最小支持度、指向FP树中该项链表的表头的指针。

构建FP树

第一次扫描过滤掉所有不满足最小支持度的项对于满足最小支持度的项按照全局最小支持度排序在此基础上为了处理方便也可以按照项的关键字再次排序。

参与扫描的是过滤后的数据如果某个数据项是第一次遇到则创建该节点并在headTable中添加一个指向该节点的指针否则按路径找到该项对应的节点修改节点信息。

具体过程如下所示

从上面可以看出headTable并不是随着FPTree一起创建而是在第一次扫描时就已经创建完毕在创建FPTree时只需要将指针指向相应节点即可。

从事务004开始需要创建节点间的连接使不同路径上的相同项连接成链表。

实现代码

frozenset(trans)retDict.setdefault(fset,

0)retDict[fset]

self.children.values():child.disp(ind

1)def

set(headerTable.keys())#如果所有数据都不满足最小支持度返回None,

Noneif

dataSet.items():#根据最小支持度处理一条训练样本key:样本中的一个样例value:该样例的的全局支持度localD

{}for

reverseTrue)]updateTree(orderedItems,

retTree,

retTree.childreninTree.children[items[0]].inc(count)

incrament

inTree.childreninTree.children[items[0]]

treeNode(items[0],

inTree.children[items[0]]else:updateHeader(headerTable[items[0]][1],

len(items)

nodeToTest.nodeLinknodeToTest.nodeLink

targetNodesimpDat

myFPTree.disp()上面的代码在第一次扫描后并没有将每条训练数据过滤后的项排序而是将排序放在了第二次扫描时这可以简化代码的复杂度。

控制台信息