无标题
title: 聚类算法 tags: AI id: ‘360’ categories: program 机器学习 abbrlink: 35f08535 mathjax: true date: 2025-06-09 10:49:32 聚类算法 1、聚类介绍 1.1、聚类作用 知识发现 发现事物之间的潜在关系 异常值检测 特征提取 数据压缩的例子 1.2、有监督与无监督学习 有监督: 给定训练集 X 和...
1-KNN
KNN k nearest neighbors k近邻算法 k表示个数 你有几个好朋友? 你有几个邻居? 你有几个女朋友? 邻居是什么样性质,类别,影响你,之所以成为了邻居,必然共性 比如你的邻居是马云、马化腾、李嘉诚,你必然也是亿万富翁 比如你的邻居是葛优、张国立、成龙,比必然也是明星 比如你的邻居是习大大、毛爷爷、李克强总理,比必然也是为人民服务的公务人员 根据这个特征,来对事物进行分类 邻居,距离比较近 问题,请问Xu这个点属于哪个类别呢? 三个类别:红色、绿色、蓝色 找Xu这个点的最近的5个邻居(5 ==...
2-KNN
...
决策回归树与集成算法
1、决策回归树原理概述 与分类树一样 裂分指标,使用的是MSE、MAE MSE(y,y^)=1nsamples∑i=0nsamples−1(yi−y^i)2\text{MSE}(y, \hat{y}) = \frac{1}{n_\text{samples}} \sum\limits_{i=0}^{n_\text{samples} - 1} (y_i -...
决策树算法
...
条件随机场CRF
1、条件随机场CRF概述 将之前所有的观测作为未来预测的依据是不现实的,因为其复杂度会随着观测数量的增加而无限制地增长。因此,就有了马尔科夫模型,即假定未来的预测仅与最近的观测有关,而独立于其他所有的观测。 通过引入隐变量,解决Markov Model需要强独立性的问题,即隐马尔可夫模型 HMM。 隐马尔可夫模型HMM为生成式模型,计算联合概率分布P(X,Z)P(X,Z)P(X,Z) ; 条件随机场CRF则是判别式模型,计算条件概率 P(Y∣X)P(Y|X)P(Y∣X)。由于 CRF...
贝叶斯网络
1、概率图模型概述 概率图模型算法往往应用于NLP自然语言处理领域。 当然很多传统机器学习的算法也常用于 NLP 的任务。例如,用朴素贝叶斯进行文本分类、用 SVM 进行语义角色标注,虽然它们在某些 NLP 任务中都实现了很好的效果,但它们都相互独立, 没有形成体系。 随着近些年对智能推理和认知神经学的深入研究,人们对大脑和语言的内在机制了解得越来越多,也越来越能从更高层次上观察和认识自然语言,由此形成一套完整的算法体系。目前最流行的算法思想包含如下两大流派: 基于概率论和图论的概率图模型 基于人工神经网络的深度学习理论 2、贝叶斯 2.1、贝叶斯案例一 一个例子,现分别有...
隐马尔科夫模型HMM
1、马尔科夫链 有向图模型(贝叶斯网络):用有向图表示变量间的依赖关系; 无向图模型(马尔可夫网):用无向图表示变量间的相关关系。 HMM 就是贝叶斯网络的一种–虽然它的名字里有和"马尔可夫网"一样的马尔可夫。 对变量序列建模的贝叶斯网络又叫动态贝叶斯网络。HMM 就是最简单的动态贝叶斯网络。 注意,马尔可夫过程其原始模型是马尔可夫链。该过程具有如下特性:在已知系统当前状态的条件下,它未来的演变不依赖于过去的演变。也就是说,一个马尔可夫过程可以表示为系统在状态转移过程中,第 T+1 次结果只受第 T...
降维算法
...
