molittle

title: 聚类算法 tags: AI id: ‘360’ categories: program 机器学习 abbrlink: 35f08535 mathjax: true date: 2025-06-09 10:49:32 聚类算法 1、聚类介绍 1.1、聚类作用 知识发现 发现事物之间的潜在关系 异常值检测 特征提取 数据压缩的例子 1.2、有监督与无监督学习 有监督： 给定训练集 X 和...

KNN k nearest neighbors k近邻算法 k表示个数 你有几个好朋友？ 你有几个邻居？ 你有几个女朋友？ 邻居是什么样性质，类别，影响你，之所以成为了邻居，必然共性 比如你的邻居是马云、马化腾、李嘉诚，你必然也是亿万富翁 比如你的邻居是葛优、张国立、成龙，比必然也是明星 比如你的邻居是习大大、毛爷爷、李克强总理，比必然也是为人民服务的公务人员 根据这个特征，来对事物进行分类 邻居，距离比较近 问题，请问Xu这个点属于哪个类别呢？ 三个类别：红色、绿色、蓝色 找Xu这个点的最近的5个邻居（5 ==...

...

1、决策回归树原理概述 与分类树一样 裂分指标，使用的是MSE、MAE MSE(y,y^)=1nsamples∑i=0nsamples−1(yi−y^i)2\text{MSE}(y, \hat{y}) = \frac{1}{n_\text{samples}} \sum\limits_{i=0}^{n_\text{samples} - 1} (y_i -...

...

1、条件随机场CRF概述 将之前所有的观测作为未来预测的依据是不现实的，因为其复杂度会随着观测数量的增加而无限制地增长。因此，就有了马尔科夫模型，即假定未来的预测仅与最近的观测有关，而独立于其他所有的观测。 通过引入隐变量，解决Markov Model需要强独立性的问题，即隐马尔可夫模型 HMM。 隐马尔可夫模型HMM为生成式模型，计算联合概率分布P(X,Z)P(X,Z)P(X,Z)​ ； 条件随机场CRF则是判别式模型，计算条件概率 P(Y∣X)P(Y|X)P(Y∣X)。由于 CRF...

1、概率图模型概述 概率图模型算法往往应用于NLP自然语言处理领域。 当然很多传统机器学习的算法也常用于 NLP 的任务。例如，用朴素贝叶斯进行文本分类、用 SVM 进行语义角色标注，虽然它们在某些 NLP 任务中都实现了很好的效果，但它们都相互独立， 没有形成体系。 随着近些年对智能推理和认知神经学的深入研究，人们对大脑和语言的内在机制了解得越来越多，也越来越能从更高层次上观察和认识自然语言，由此形成一套完整的算法体系。目前最流行的算法思想包含如下两大流派： 基于概率论和图论的概率图模型 基于人工神经网络的深度学习理论 2、贝叶斯 2.1、贝叶斯案例一 一个例子，现分别有...

1、马尔科夫链 有向图模型（贝叶斯网络）：用有向图表示变量间的依赖关系； 无向图模型（马尔可夫网）：用无向图表示变量间的相关关系。 HMM 就是贝叶斯网络的一种–虽然它的名字里有和"马尔可夫网"一样的马尔可夫。 对变量序列建模的贝叶斯网络又叫动态贝叶斯网络。HMM 就是最简单的动态贝叶斯网络。 注意，马尔可夫过程其原始模型是马尔可夫链。该过程具有如下特性：在已知系统当前状态的条件下，它未来的演变不依赖于过去的演变。也就是说，一个马尔可夫过程可以表示为系统在状态转移过程中，第 T+1 次结果只受第 T...

...