基于鲁棒变分自动编码器的时序异常检测

1

作者 冯志鹏 赵旭俊 《计算机工程与设计》 北大核心 2025年第2期376-383,共8页

针对变分自动编码器在时序异常检测中鲁棒性低的问题,提出一种鲁棒变分自动编码器异常检测算法。通过对时间信息进行编码并融合在变分自动编码器的隐藏层中,有效学习不同时间窗口间的周期性模式;添加Dropout层以防止过拟合,增强局部特... 针对变分自动编码器在时序异常检测中鲁棒性低的问题,提出一种鲁棒变分自动编码器异常检测算法。通过对时间信息进行编码并融合在变分自动编码器的隐藏层中,有效学习不同时间窗口间的周期性模式;添加Dropout层以防止过拟合,增强局部特征的学习,增强时序关系在异常检测中的作用。提出一种损失函数来识别异常时序数据,通过重构误差与阈值的比较筛选异常。利用交替方向乘子法对异常时序进行验证,提高鲁棒性。在4个真实数据集上与4种基准方法相比,该算法在异常样本上的精度和F1分数均有显著提升。 展开更多

关键词 时间序列 自动编码器 神经网络 鲁棒 损失函数 重构误差 异常检测

在线阅读 下载PDF 职称材料

基于网格密度积叠的流数据异常检测

2

作者 武培成 赵旭俊 靳黎忠 《计算机工程与科学》 北大核心 2025年第1期75-85,共11页

多数的流数据异常检测算法采用滑动的单一窗口模型,这会导致大量数据点进行重复计算,异常点也会受到滑动窗口中近邻更替的干扰,进而影响异常检测算法的准确性。为解决上述问题,提出了联合窗口模型,采用若干无重叠的窗口作为异常点的检... 多数的流数据异常检测算法采用滑动的单一窗口模型,这会导致大量数据点进行重复计算,异常点也会受到滑动窗口中近邻更替的干扰,进而影响异常检测算法的准确性。为解决上述问题,提出了联合窗口模型,采用若干无重叠的窗口作为异常点的检测范围。在此模型上,提出了基于网格密度积叠的异常检测算法,首先,优化了核密度估计函数用于数据点局部密度的计算;其次,提出网格密度积叠操作,用于异常网格的度量。在异常网格中,通过计算数据点的异常分数来确定最终异常数据。为了提高算法效率,提出一种自适应剪枝策略,剪枝一些异常点不可能出现的区域。实验结果表明,该算法同现有的数据流异常检测算法相比,在效率和准确性2个方面体现出较强的优势。 展开更多

关键词 异常检测 流数据 核密度估计 网格密度积叠

在线阅读 下载PDF 职称材料

基于多频特征学习的恶意代码变种分类

3

作者 靳黎忠 薛慧琴 +2 位作者 段明博 赵旭俊 高改梅 《计算机工程与设计》 北大核心 2024年第7期1934-1940,共7页

针对恶意代码变种分类方法没有充分对原始输入进行分析的问题,提出一种更加高效的基于深度学习的办法,使用卷积神经网络对多频信息进行学习。对恶意代码转化而成的图像进行研究,利用小波变换进行多频和多层次的分析,抓住低频和高频特征... 针对恶意代码变种分类方法没有充分对原始输入进行分析的问题,提出一种更加高效的基于深度学习的办法,使用卷积神经网络对多频信息进行学习。对恶意代码转化而成的图像进行研究,利用小波变换进行多频和多层次的分析,抓住低频和高频特征;针对多频信息输入,设计一种多频特征学习模块,充分挖掘其中有用信息。实验结果表明,该方法在Malimg数据集上,相比其它两种恶意代码分类办法,分别取得了1.5%和0.8%的效果提升。 展开更多

关键词 恶意代码分类 多频特征 深度学习 小波变换 灰度图像 卷积神经网络 恶意代码家族

在线阅读 下载PDF 职称材料

多样性约束和高阶信息挖掘的多视图聚类 被引量：1

4

作者 赵振廷 赵旭俊 《计算机应用研究》 CSCD 北大核心 2024年第8期2309-2314,共6页

在现有的多视图聚类研究中,大多数方法没有考虑多视图的多样性,也没有关注数据的高阶邻域信息,导致聚类结果不够准确,难以挖掘数据集的底层信息。为了解决这些问题,提出了基于多样性约束和高阶信息挖掘的多视图聚类算法(MVCDCHO)。首先... 在现有的多视图聚类研究中,大多数方法没有考虑多视图的多样性,也没有关注数据的高阶邻域信息,导致聚类结果不够准确,难以挖掘数据集的底层信息。为了解决这些问题,提出了基于多样性约束和高阶信息挖掘的多视图聚类算法(MVCDCHO)。首先设计了视图间多样性测量的方法,利用多样性的约束保留数据的交集特征,同时去除多视图的差异特征;然后提出了一种挖掘视图高阶信息的方法,要求多视图的交集特征接近混合相似图,以挖掘数据间相关性所没有关注到的高阶信息;最后将多视图的交集特征融合成共识图,通过谱聚类来获取聚类目标图;另外,设计了一种交替迭代的方法来迭代学习优化目标函数。实验结果表明,MVCDCHO在归一化互信息(NMI)、调整后的兰德指数(ARI)、聚类精度(ACC)多个聚类评价指标上表现出优异的性能。理论分析和实验研究验证了MVCDCHO中多视图多样性和高阶信息的关键作用,证明了MVCDCHO的优越性。 展开更多

关键词 多视图聚类 多样性 一致性 高阶信息

在线阅读 下载PDF 职称材料

基于长短期记忆网络的移动轨迹目的地预测 被引量：1

5

作者 晋广印 赵旭俊 龚艺璇 《计算机工程与科学》 CSCD 北大核心 2024年第3期525-534,共10页

移动轨迹目的地预测是基于位置服务的重要一环,现有的预测方法存在历史轨迹不能完全覆盖所有可能的查询轨迹(数据稀疏)问题,没有考虑前缀轨迹点对预测结果的影响差异(长期依赖问题)。为了解决上述问题,提出了轨迹分布式表示方法。首先,... 移动轨迹目的地预测是基于位置服务的重要一环,现有的预测方法存在历史轨迹不能完全覆盖所有可能的查询轨迹(数据稀疏)问题,没有考虑前缀轨迹点对预测结果的影响差异(长期依赖问题)。为了解决上述问题,提出了轨迹分布式表示方法。首先,将轨迹进行网格划分,把表示位置的高维独热码向量进行降维处理,生成包含地理拓扑关系的低维嵌入向量。其次,对目的地进行聚类,把聚类中心作为簇中轨迹的标签,缩小相似轨迹的差异,放大不相似轨迹的特征,有效克服了数据稀疏问题。在目的地预测中,将自注意力机制引入长短期记忆网络,提出了基于长短期记忆网络的目的地预测模型SATN-LSTM,挖掘序列中的关键点并根据其重要程度分配权重,较好地解决了长期依赖问题。最后,在真实轨迹数据集上进行了多次实验,验证了模型的有效性,并与现有的模型进行对比,验证了本模型具有更好的准确性。 展开更多

关键词 目的地预测 网格划分 自注意力机制 移动轨迹

在线阅读 下载PDF 职称材料

基于同构化角度的离群检测方法

6

作者 裴正中 赵旭俊 《计算机工程与设计》 北大核心 2024年第12期3622-3630,共9页

针对基于角度的离群检测方法普遍存在的计算成本高昂,且对超参数选择依赖性强的问题,提出一种基于角度的快速非参数方法HAOD。对数据集进行中心化处理并使用极坐标描;在此基础上,提出一种向量夹角计算函数的近似表示方法,采用该方法将... 针对基于角度的离群检测方法普遍存在的计算成本高昂,且对超参数选择依赖性强的问题,提出一种基于角度的快速非参数方法HAOD。对数据集进行中心化处理并使用极坐标描;在此基础上,提出一种向量夹角计算函数的近似表示方法,采用该方法将向量夹角用一维顺序结构表示,提升检测效率;引入经验累积分布函数分别计算向量夹角及向量模长的尾部概率,将其作为单维度尾部得分;改进单维度尾部得分的聚合方式,对原始向量及其反转向量的尾部得分进行聚合,获取最终离群得分。在ODDS和UCI高维数据集上进行实验,其结果表明,HAOD在检测效率上优于5种对比方法,分别平均提高了28.74%至84.71%。 展开更多

关键词 高维数据 离群检测 基于角度 数据同构化 极坐标表示 经验累积分布函数 偏度

在线阅读 下载PDF 职称材料

基于分组地图匹配的异常轨迹检测

7

作者 龚艺璇 赵旭俊 曹栩阳 《计算机工程与设计》 北大核心 2024年第8期2336-2342,共7页

为提高轨迹数据的质量,提出一种轨迹点的多尺度综合映射算法。采用分组匹配的思想,依据每组特性剪枝无效的轨迹点,加快映射轨迹点的连接速度,快速得到路网轨迹。在此基础上,为有效进行异常轨迹的检测,提出一种基于分组地图匹配的异常轨... 为提高轨迹数据的质量,提出一种轨迹点的多尺度综合映射算法。采用分组匹配的思想,依据每组特性剪枝无效的轨迹点,加快映射轨迹点的连接速度,快速得到路网轨迹。在此基础上,为有效进行异常轨迹的检测,提出一种基于分组地图匹配的异常轨迹检测算法,研究字符串相似性搜索,构建相似轨迹序列寻找代表轨迹,基于交叉点行驶状况对轨迹点进行约减,减少轨迹间的计算量,计算轨迹的异常阈值,判定异常轨迹。在真实的出租车数据集上进行实验,验证了提出方法的执行效率和准确性。 展开更多

关键词 轨迹 异常检测 地图匹配 相似性度量 轨迹分组 参考轨迹 相似序列

在线阅读 下载PDF 职称材料

基于知识蒸馏的图像异常检测方法

8

作者 王纪康 赵旭俊 《计算机技术与发展》 2024年第5期149-156,共8页

图像异常检测中模型的浅层架构对细微差异有较弱的检测能力,寻找有效的特征表示来区分正负样本是一个挑战。为此,提出了一种新的基于知识蒸馏的图像异常检测方法。该方法提出一种新的知识蒸馏框架,由T-S模型和单类嵌入模块组成,通过迁... 图像异常检测中模型的浅层架构对细微差异有较弱的检测能力,寻找有效的特征表示来区分正负样本是一个挑战。为此,提出了一种新的基于知识蒸馏的图像异常检测方法。该方法提出一种新的知识蒸馏框架,由T-S模型和单类嵌入模块组成,通过迁移学习泛化新异常。首先,高容量的wide_resnet50_2网络作为教师网络,通过单类嵌入模块在最低层次将多尺度特征聚合,保留普遍性和空间分辨率,增强了蒸馏模型对异常的表示能力。其次,嵌入注意力机制的工作上,在保持网络结构完整性的同时,为预训练参数的有效利用提供了新的视角,提高了模型的性能。最后,提出了一种新的异常表示方法,计算每对张量的余弦相似损失,累计多尺度异常得到异常分数图。实验结果表明,该方法在MVTec数据集的纹理和物体类别上,平均AUC值分别达到了97.8%和95.5%,对图像中的细微异常具有优秀的检测能力。 展开更多

关键词 图像异常检测 残差网络 知识蒸馏 注意力机制 迁移学习

在线阅读 下载PDF 职称材料

基于分类模式树的恒星光谱自动分类方法 被引量：2

9

作者 赵旭俊 蔡江辉 +2 位作者 张继福 杨海峰 马洋 《光谱学与光谱分析》 SCIE EI CAS CSCD 北大核心 2013年第10期2875-2878,共4页

频繁模式是频繁出现在数据集中的模式,在数据挖掘中起着非常重要的作用。针对恒星光谱分类任务,在频繁模式的基础上,提出一种基于分类模式树的恒星光谱分类规则挖掘方法。首先根据数据库中恒星光谱各属性出现的频率不同,其在分类中的重... 频繁模式是频繁出现在数据集中的模式,在数据挖掘中起着非常重要的作用。针对恒星光谱分类任务,在频繁模式的基础上,提出一种基于分类模式树的恒星光谱分类规则挖掘方法。首先根据数据库中恒星光谱各属性出现的频率不同,其在分类中的重要程度也不同的特征,提出一种新的树型结构——分类模式树,给出了相关概念及其构造方法SSCPTC,然后,将恒星光谱的特征信息映射到分类模式树上,通过采用自顶向下和自底向上两种模式相结合的方法对分类模式树进行遍历,实现分类规则的提取,同时引入模式有用度的概念来调整分类规则的数量、提高分类模式树的构造效率;最后采用国家天文台提供的SDSS恒星光谱作为实验数据,验证了该方法的正确性,而且具有较高的分类正确率。 展开更多

关键词 恒星光谱 分类规则 模式有用度 决策属性

在线阅读 下载PDF 职称材料

一种新的分类规则提取算法 被引量：2

10

作者 赵旭俊 张继福 +1 位作者 马洋 蔡江辉 《小型微型计算机系统》 CSCD 北大核心 2012年第5期1126-1130,共5页

约束概念格是概念格的特化结构,构造时具有较低的时空复杂度,能从中快速提取比较丰富的信息和知识.为了提取分类规则,在充分分析约束概念格结点外延与数据集等价划分之间关系的前提下,引入了分类支持度和记录支持度的概念,提出了一种面... 约束概念格是概念格的特化结构,构造时具有较低的时空复杂度,能从中快速提取比较丰富的信息和知识.为了提取分类规则,在充分分析约束概念格结点外延与数据集等价划分之间关系的前提下,引入了分类支持度和记录支持度的概念,提出了一种面向约束概念格的分类规则提取算法(Classification Rule Acquisition Algorithm based on Constrained Concept Lattice,CRACCL),并采用UCI数据集作为实验集,验证了本算法能够提取更加实用和准确的分类规则. 展开更多

关键词 约束概念格 分类规则 分类支持度 记录支持度 相容结点

在线阅读 下载PDF 职称材料

基于约束FP树的天体光谱数据相关性分析系统研究 被引量：2

11

作者 赵旭俊 张继福 蔡江辉 《光谱学与光谱分析》 SCIE EI CAS CSCD 北大核心 2008年第12期2996-2999,共4页

从海量天体光谱数据中挖掘光谱数据特征和物理化学性质之间内在的、隐含的相关性,是人类探索天文规律的一种有效方法。利用基于约束FP树的关联规则挖掘方法作为天体光谱数据相关性分析手段,采用VC++和Oracle9i作为开发工具,设计与实现... 从海量天体光谱数据中挖掘光谱数据特征和物理化学性质之间内在的、隐含的相关性,是人类探索天文规律的一种有效方法。利用基于约束FP树的关联规则挖掘方法作为天体光谱数据相关性分析手段,采用VC++和Oracle9i作为开发工具,设计与实现了天体光谱数据相关性分析系统,给出了其系统的软件体系结构和模块功能,并对光谱数据预处理、背景知识表示、CFP树构造、频繁模式提取及关联规则生成等关键技术以及关键模块的实现技术,进行了详细描述。系统运行结果表明,利用关联规则来描述、分析天体光谱数据特征和物理化学性质之间存在的相关性,是可行的和有价值的,从而为寻找天体规律提供了一种有效手段。 展开更多

关键词 天体光谱 数据挖掘 关联规则 FP树 约束频繁模式

在线阅读 下载PDF 职称材料

约束频繁模式树及其构造方法研究 被引量：2

12

作者 赵旭俊 张继福 蔡江辉 《小型微型计算机系统》 CSCD 北大核心 2010年第4期682-685,共4页

频繁模式挖掘是影响关联规则挖掘效率的主要步骤.采用一阶谓词逻辑作为用户感兴趣的背景知识表示技术,提出一种基于背景知识的频繁模式树-CFP-Tree(Constrain Frequent Pattern Tree),并给出了其构造算法CFPT-Construct,从而提高关联规... 频繁模式挖掘是影响关联规则挖掘效率的主要步骤.采用一阶谓词逻辑作为用户感兴趣的背景知识表示技术,提出一种基于背景知识的频繁模式树-CFP-Tree(Constrain Frequent Pattern Tree),并给出了其构造算法CFPT-Construct,从而提高关联规则挖掘结果的针对性,降低了FP-Tree构造的复杂性,有效地解决了FP-Tree构造算法中数据存储的瓶颈问题.最后以国家天文台提供的天体光谱数据作为数据集,实验验证了算法的有效性、针对性和高效率. 展开更多

关键词 数据挖掘 关联规则 约束频繁模式树 约束频繁模式 背景知识

在线阅读 下载PDF 职称材料

基于信息熵的加权频繁模式树构造算法研究 被引量：3

13

作者 赵旭俊 蔡江辉 马洋 《模式识别与人工智能》 EI CSCD 北大核心 2014年第1期28-34,共7页

关联规则挖掘时,数据集中各项目的重要性不同且较难主观给出,直接影响挖掘结果.针对此问题,给出加权项目集和加权关联规则的概念,并通过信息熵来确定单属性的权重,同时采用几何均值和取最大权重值的折中方法来确定多项目集的权重,以此... 关联规则挖掘时,数据集中各项目的重要性不同且较难主观给出,直接影响挖掘结果.针对此问题,给出加权项目集和加权关联规则的概念,并通过信息熵来确定单属性的权重,同时采用几何均值和取最大权重值的折中方法来确定多项目集的权重,以此在兼顾整体权重的同时,突出重要项目.在此基础上,采用加权频繁模式树来提取加权频繁模式,并给出加权频繁模式树的构造方法,最后以国家天文台提供的天体光谱数据及机械装备EDEM数据作为数据集,实验验证算法的高效率. 展开更多

关键词 关联规则 信息熵 频繁模式

在线阅读 下载PDF 职称材料

大数据科研成果支撑教学研究——以《数据挖掘与智能决策》为例 被引量：6

14

作者 赵旭俊 蔡江辉 +2 位作者 马洋 杨海峰 赵志诚 《高教学刊》 2020年第27期93-96,共4页

随着大数据时代的来临,《数据挖掘与智能决策》课程面临着如何适应时代需求的任务,将大数据相关的科研成果融于《数据挖掘与智能决策》课程的教学中,不仅能激发学生的积极性,更能提高学生的创造性和应用能力。在分析当前《数据挖掘与智... 随着大数据时代的来临,《数据挖掘与智能决策》课程面临着如何适应时代需求的任务,将大数据相关的科研成果融于《数据挖掘与智能决策》课程的教学中,不仅能激发学生的积极性,更能提高学生的创造性和应用能力。在分析当前《数据挖掘与智能决策》课程存在的问题之后,分别从离群数据挖掘和关联规则挖掘两方面结合大数据科研成果,讨论了融合之后的课程教学,从而为《数据挖掘与智能决策》课程的建设提供一种新思路。 展开更多

关键词 大数据 科研成果 教学模式 课程建设

在线阅读 下载PDF 职称材料

基于准频繁项目集的关联规则挖掘

15

作者 赵旭俊 闫宏印 +1 位作者 吴广平 董晓丽 《太原理工大学学报》 CAS 北大核心 2005年第4期412-415,共4页

为减少关联规则挖掘中数据库扫描次数,提出了一种基于准频繁项目集的关联规则挖掘算法———SupposedFrequent,同时给出了候选频繁项目集的产生函数———BGen.最后通过实验证明:在给定最好的准频繁项目集的条件下,只需扫描数据库两次... 为减少关联规则挖掘中数据库扫描次数,提出了一种基于准频繁项目集的关联规则挖掘算法———SupposedFrequent,同时给出了候选频繁项目集的产生函数———BGen.最后通过实验证明:在给定最好的准频繁项目集的条件下,只需扫描数据库两次就能产生全部的频繁项目集。 展开更多

关键词 关联规则 准频繁项目集 覆盖率 长频繁项目集

在线阅读 下载PDF 职称材料

基于频繁模式树的正负项目集挖掘 被引量：2

16

作者 赵旭俊 《太原科技大学学报》 2012年第1期18-22,共5页

传统的基于支持度—置信度框架的关联规则挖掘方法可能会产生大量不相关的、甚至是误导的关联规则,同时也不能区分正负关联规则。在充分考虑用户感兴趣模式的基础上,采用一阶谓词逻辑作为用户感兴趣的背景知识表示技术,提出了一种基于... 传统的基于支持度—置信度框架的关联规则挖掘方法可能会产生大量不相关的、甚至是误导的关联规则,同时也不能区分正负关联规则。在充分考虑用户感兴趣模式的基础上,采用一阶谓词逻辑作为用户感兴趣的背景知识表示技术,提出了一种基于背景知识的包含正负项目集的频繁模式树,给出了针对正负项目集的约束频繁模式树的构造算法NCFP-Construct,从而提高了关联规则挖掘的效率和针对性,实验结果显示该方法是有效的。 展开更多

关键词 约束 频繁模式树 负项目集 关联规则

在线阅读 下载PDF 职称材料

基于背景知识的关联规则挖掘算法研究

17

作者 赵旭俊 张继福 《通讯和计算机（中英文版）》 2005年第6期11-18,40,共9页

为了解决传统算法中存在的频繁模式集生成的瓶颈问题，本文将启发式背景知识和归纳背景知识同时运用在频繁模式的生成过程中，提出了一种基于背景知识的关联规则挖掘算法BasedBackground。该算法不仅通过启发式背景知识，有效降低了模... 为了解决传统算法中存在的频繁模式集生成的瓶颈问题，本文将启发式背景知识和归纳背景知识同时运用在频繁模式的生成过程中，提出了一种基于背景知识的关联规则挖掘算法BasedBackground。该算法不仅通过启发式背景知识，有效降低了模式的计数代价，而且通过由样本挖掘获取的归纳背景知识，有效地减少I／O代价，因此提高了挖掘的效串和质量。本文最後通过恒星光谱数据作为实验数据集，验证了该算法的有效性。 展开更多

关键词 数据挖掘 关联规则 背景知识 样本挖掘 恒星光谱数据

在线阅读 下载PDF 职称材料

基于稀疏子空间的类星体光谱异常特征并行提取与分析 被引量：5

18

作者 马洋 张继福 +2 位作者 蔡江辉 杨海峰 赵旭俊 《光谱学与光谱分析》 SCIE EI CAS CSCD 北大核心 2021年第4期1086-1091,共6页

类星体是人类所观测到的最遥远天体,对于了解早期宇宙的演化具有重要科学意义。由于类星体距离地球较远,其红移一般较大,导致在光学观测窗口中只有很少的特征(发射线),且难以识别。类星体光谱的异常特征提取与分析可对未知类星体的识别... 类星体是人类所观测到的最遥远天体,对于了解早期宇宙的演化具有重要科学意义。由于类星体距离地球较远,其红移一般较大,导致在光学观测窗口中只有很少的特征(发射线),且难以识别。类星体光谱的异常特征提取与分析可对未知类星体的识别,提供有效的判别依据。离群检测作为数据挖掘领域的一个主要研究内容,旨在发现那些稀有、特殊数据对象及异常特征,可作为从海量类星体光谱数据中,发现特殊、未知类星体的一种有效途径和手段。Spark作为新一代大数据分布式处理框架,可为海量天体光谱的有效分析和处理,提供一个高效且可靠的并行编程平台。本文充分利用集群系统和Spark编程模型的强大数据处理能力,提出一种基于稀疏子空间的类星体光谱异常特征并行提取与分析方法,其工作由三个模块组成,即类星体光谱特征约减、类星体光谱的稀疏子空间构造和搜索、类星体光谱异常特征提取并行算法设计与分析。类星体光谱特征约减模块,通过属性相关性分析来识别呈现聚类结构的类星体光谱特征线,这些特征线通常会聚集在稠密区域且对类星体光谱异常特征检测毫无意义。光谱特征约减旨在运行异常特征检测算法之前剪枝类星体光谱的冗余特征线,缩小光谱数据检测范围。类星体光谱的稀疏子空间构造和搜索模块,通过设定的稀疏系数阈值来测量类星体光谱的子空间密度,并采用粒子群优化方法作为稀疏子空间的搜索策略,从而快速、高效地获取类星体的异常特征。在第三个模块中,提出了一种MapReduce框架下的类星体光谱异常数据并行检测算法,该算法由并行化数据约减策略、稀疏子空间并行搜索技术两个MapReduce构成,达到适应海量光谱数据的处理目标。最后对检测出的部分类星体异常特征进行了理论分析、测量及人眼证认,充分说明稀疏子空间可为识别特殊、未知类星体候选源,提供有效支持和有力证据。 展开更多

关键词 类星体 稀疏子空间 郭守敬望远镜(LAMOST) 光谱分析

在线阅读 下载PDF 职称材料

一种影响空间下的快速K-means聚类算法 被引量：7

19

作者 赵文冲 蔡江辉 +1 位作者 赵旭俊 张继福 《小型微型计算机系统》 CSCD 北大核心 2016年第9期2060-2064,共5页

K-means是一种经典的迭代划分聚类算法,但在每次迭代过程中,需要计算和比较每个数据点与所有中心点之间的距离,因此聚类过程时间开销大.利用影响空间数据结构,给出一种快速K-means聚类算法.该算法首先,引入影响空间数据结构对给定数据... K-means是一种经典的迭代划分聚类算法,但在每次迭代过程中,需要计算和比较每个数据点与所有中心点之间的距离,因此聚类过程时间开销大.利用影响空间数据结构,给出一种快速K-means聚类算法.该算法首先,引入影响空间数据结构对给定数据集进行区域划分,获得各个区域中的代表数据点;然后,对代表数据点进行K-means聚类,得到的代表数据点所属的类别即是该区域中所有数据点所属的类别,有效地降低迭代过程中的数据量,提高了聚类效率;最后,理论分析和实验结果表明,仅对代表性数据点而非数据集中所有数据点进行迭代聚类,能够在保证聚类质量的前提下,有效地提高聚类效率. 展开更多

关键词 聚类 影响空间 区域划分 代表元素

在线阅读 下载PDF 职称材料

基于PSO的二阶段光谱模糊聚类研究 被引量：4

20

作者 蔡江辉 张继福 赵旭俊 《光谱学与光谱分析》 SCIE EI CAS CSCD 北大核心 2009年第4期1137-1141,共5页

在海量的天体光谱数据中利用无监督聚类学习方法将天体自动分类具有更加诱人的前景。针对当前聚类方法存在的缺点,提出一种高效的高维数据硬划分算法,在此基础上提出了一种分阶段模糊聚类方法。第一阶段,利用硬划分算法对数据聚类,克服... 在海量的天体光谱数据中利用无监督聚类学习方法将天体自动分类具有更加诱人的前景。针对当前聚类方法存在的缺点,提出一种高效的高维数据硬划分算法,在此基础上提出了一种分阶段模糊聚类方法。第一阶段,利用硬划分算法对数据聚类,克服了模糊聚类算法对初始值敏感的缺点。第二阶段,以第一阶段运算结果作为初始值,进行模糊聚类的,并将微粒群算法引入模糊聚类,从而保证了聚类结果的全局最优性。实验结果表明,该方法用于天体光谱聚类是可行的、有价值的。 展开更多

关键词 模糊聚类 微粒群 恒星光谱数据 全局最优

在线阅读 下载PDF 职称材料