模式识别试卷1～3
模式识别试卷⼀问答题
⼀、试从模式类与模式概念分析以下词之间的关系：王⽼头，王⽼太，王明（清华⼤学本科⽣），周强（年轻教师），⽼年⼈，⽼头，⽼太，年青⼈。答：模式类：⽼年⼈模式：王⽼太，⽼头，⽼太。模式类：年青⼈
模式：王明（清华⼤学本科⽣），周强（年轻教师）模式类：⽼头模式：王⽼头模式类：⽼太模式：王⽼太
⼆、已知A类与B类样本在空间的分布为离散分布及，其中，
试问：按Fisher准则设计线性分类器的法线向量。
答：由分布系数可知，A与B在空间呈圆形分布，故fisher准则中使⽤的投影直线应该为两圆⼼的连线⽅向，则法线应该垂直于这个⽅向，应为（-3,2）。
三、对⼀副道路图像，希望把道路部分划分出来，可以采⽤以下两种⽅法：
1．在该图像中分别在道路部分与⾮道路部分画出⼀个窗⼝，把在这两个窗⼝中的象素数据作为训练集，⽤Fisher准则⽅法求得分类器参数，再⽤该分类器对整幅图进⾏分类。
2．将整幅图的每个象素的属性记录在⼀张数据表中，然后⽤某种⽅法将这些数据按它们的⾃然分布状况划分成两类。因此每个象素就分别得到相应的类别好，从⽽实现了道路图像的分割。试问以上两种⽅法哪⼀种是监督学习，哪个是⾮监督学习？答：第⼀种⽅法中标记了两类样本的标号，需要⼈⼿⼯⼲预训练过程，属于监督学习⽅法；第⼆种⽅法只是依照数据的⾃然分布，把它们划分成两类，属于⾮监督学习⽅法。
四、知⼀数据集的协⽅差矩阵是⼀个对⾓阵，数据集的维数为3，试问该协⽅差矩阵中每个元素的含义，并说明Mahalanobis距离为常数的数据点的轨迹的特点。
答：对⾓阵形式为：，只有在对⾓线上元素⾮零。根据协⽅差矩阵的含义，a,b,c分别是每⼀维向量的⾃相关系数。则Mahalanobis距离的展开形式是：
是三维空间的⼀个椭球。
五、为什么说近邻法的分类器是线性分类器,试以以下样本数据集说明,并画出⽤近邻法得到的分类器第⼀类样本：(0,1)T，(0,1)T第⼆类样本：(0,0)T，(-1,0)T
答：近邻法分类器的每条分界线必然由两个分别属于两类的样本点决定，故⼀定是线性的。这些分界⾯拼接起来，就得到了分段线性的近邻法分类器。本题的分类器以在原图上标出。
六、设在⼆维特征空间中有三个线性分类器，其分界⾯⽅程分别为X1=0.5 X2=0.5 X1+X2=0 现欲由该三个线性⽅程构造两个分类器，分别如下图(a)与(b)所⽰
图（a）图（b）
试设计两个多层感知器，分别实现这两个分类器，神经元⽹络采⽤域值函数，即输
出函数y=f(h)为
答：(a)由于分类器由三个线性⽅程式决定，可⽤三个感知器
按题意，阴影部分决策域要求
因此可设计的四个神经元进⾏运算，为由此可以得到神经元⽹络为
（b）图（b）的决策域与图（a）的差异只在于决策域要求
即运算函数的⼀种⽅案为此时的⽹络结构及参数是
七、现欲利⽤离散Hopfield模型存储两个四维的数据（-1 1 1 -1）及（-1 1 -1 1）试求该Hopfield模型的联接参数，并求1．触发信号为（-1,1,1,1）撤销后的输出状态2．触发信号为（1,-1,1,1）撤销后的输出状态答：按Hebb规则，有
得
该Hopfield⽹络只有1与2，以及3与4之间有联接，其联接权值都为-1。
⽽外触发信号（-1,1,1,1）消失后，稳态为（-1,1,-1,1）外触发信号（1,-1,1,1）消失后，稳态为（1,-1,1,-1）或（1,-1,-1,1）它
们分别是两个存储信号的反相。模式识别试卷⼆问答题
⼀、试问“模式”与“模式类”的含义。如果⼀位姓王的先⽣是位⽼年⼈，试问“王先⽣”和“⽼头”谁是模式，谁是模式类？答：在模式识别学科中，就“模式”与“模式类”⽽⾔，模式类是⼀类事物的代表，概念或典型，⽽“模式”则是某⼀事物的具体体现，如“⽼头”是模式类，⽽王先⽣则是“模式”，是“⽼头”的具体化。
⼆、试说明Mahalanobis距离平⽅的定义，到某点的Mahalanobis距离平⽅为常数的轨迹的⼏何意义，它与欧⽒距离的区别与联系。
答：Mahalanobis距离的平⽅定义为：
其中x，u为两个数据，是⼀个正定对称矩阵（⼀般为协⽅差矩阵）。根据定义，
距某⼀点的Mahalanobis距离相等点的轨迹是超椭球，如果是单位矩阵Σ，则Mahalanobis 距离就是通常的欧⽒距离。三、试说明⽤监督学习与⾮监督学习两种⽅法对道路图像中道路区域的划分的基本做法，以说明这两种学习⽅法的定义与它们间的区别。
答：监督学习⽅法⽤来对数据实现分类，分类规则通过训练获得。该训练集由带分类号的数据集组成，因此监督学习⽅法的训练过程是离线的。
⾮监督学习⽅法不需要单独的离线训练过程，也没有带分类号（标号）的训练数据集，⼀般⽤来对数据集进⾏分析，如聚类，确定其分布的主分量等。
就道路图像的分割⽽⾔，监督学习⽅法则先在训练⽤图像中获取道路象素与⾮道路象素集，进⾏分类器设计，然后⽤所设计的分类器对道路图像进⾏分割。
使⽤⾮监督学习⽅法，则依据道路路⾯象素与⾮道路象素之间的聚类分析进⾏聚类运算，以实现道路图像的分割。四、试述动态聚类与分级聚类这两种⽅法的原理与不同。答：动态聚类是指对当前聚类通过迭代运算改善聚类；
分级聚类则是将样本个体，按相似度标准合并，随着相似度要求的降低实现合并。五、如果观察⼀个时序信号时在离散时刻序列得到的观察量序列表⽰为
，⽽该时序信号的内在状态序列表⽰成。如果计算在给定O条件下出现S的概率，试问此概率是何种概率。如果从观察序列来估计状态序列
的最⼤似然估计，这与Bayes决策中基于最⼩错误率的决策有什么关系。
答：在给定观察序列条件下分析它由某个状态序列S产⽣的概率似后验概率，写成P(S|O)，⽽通过O求对状态序列的最⼤似然估计,与贝叶斯决策的最⼩错误率决策相当。六、已知⼀组数据的协⽅差矩阵为，试问1．协⽅差矩阵中各元素的含义。2．求该数组的两个主分量。
3．主分量分析或称K-L变换，它的最佳准则是什么？4．为什么说经主分量分析后，消除了各分量之间的相关性。答：协⽅差矩阵为，则
1）对⾓元素是各分量的⽅差，⾮对⾓元素是各分量之间的协⽅差。2）主分量，通过求协⽅差矩阵的特征值，⽤得，则
，相应的特征向量为：，对应特征向量为，对应。这两个特征向量即为主分量。3）K-L变换的最佳准则为：
对⼀组数据进⾏按⼀组正交基分解，在只取相同数量分量的条件下，以均⽅误差计算截尾误差最⼩。4）在经主分量分解后，协⽅差矩阵成为对⾓矩阵，因⽽各主分量间相关消除。七、试说明以下问题求解是基于监督学习或是⾮监督学习：1. 求数据集的主分量2. 汉字识别3. ⾃组织特征映射4. CT图像的分割答：
1、求数据集的主分量是⾮监督学习⽅法；
2、汉字识别对待识别字符加上相应类别号——有监督学习⽅法；
3、⾃组织特征映射——将⾼维数组按保留近似度向低维映射——⾮监督学习；4、CT图像分割——按数据⾃然分布聚类——⾮监督学习⽅法；⼋、试列举线性分类器中最著名的三种最佳准则以及它们各⾃的原理。答：线性分类器三种最优准则：
Fisher准则：根据两类样本⼀般类内密集, 类间分离的特点，寻找线性分类器最佳的法线向量⽅向，使两类样本在该⽅向上的投影满⾜类内尽可能密集，类间尽可能分开。
该种度量通过类内离散矩阵Sw和类间离散矩阵Sb实现。
感知准则函数：准则函数以使错分类样本到分界⾯距离之和最⼩为原则。
其优点是通过错分类样本提供的信息对分类器函数进⾏修正，这种准则是⼈⼯神经元⽹络多层感知器的基础。
⽀持向量机：基本思想是在两类线性可分条件下，所设计的分类器界⾯使两类之间的间隔为最⼤, 它的基本出发点是使期望泛化风险尽可能⼩。
九、在⼀两维特征空间，两类决策域由两条直线H1和H2分界，其中
⽽包含H1与H2的锐⾓部分为第⼀类，其余为第⼆类。试求：
1．⽤⼀双层感知器构造该分类器2．⽤凹函数的并构造该分类器
答：按题意要求
1）H1与H2将空间划分成四个部分，按使H1与H2⼤于零与⼩于零表⽰成四个区域，⽽第⼀类属于(－＋)区域，为⽅便起见，令则第⼀类在(＋＋)区域。⽤双层感知器，神经元⽤域值，则在第⼀类样本输⼊时，两隐层结点的输出均为＋1，其余则分别为(＋－)，(――)，(－＋), 故可按图设置域值。
2）⽤凹函数的并表⽰：或表⽰成，如，则，否则
⼗、设有两类正态分布的样本基于最⼩错误率的贝叶斯决策分界⾯，分别为X2=0，以及X1=3，其中两类的协⽅差矩阵，先验概率相等，并且有，
。
试求：以及。答：设待求，待求由于，先验概率相等。
则基于最⼩错误率的Bayes决策规则，在两类决策⾯分界⾯上的样本X应满⾜
（1）
其中按题意，（注：为⽅便起见，在下⾯计算中先去掉系数4/3）。
按题意分界⾯由x1=3及x2=0两条直线构成，则分界⾯⽅程为
(2)
对（1）式进⾏分解有
得（3）
由（3）式第⼀项得
（4）
将（4）式与（2）式对⽐可知a=1,c=1
⼜由c=1与，得b2=1/4，b有两种可能，即b=1/2或b=-1/2，
如果b=1/2，则表明，此时分界⾯⽅程应为线性，与题意不符，只有b=-1/2则（4）式为：2X1X2（5）将相应结果带⼊（3）式第⼆项有
（6）
则结合（5）（2）应有
，则（7）
解得，由得
模式识别试卷三问答题
⼀、由McCulloch-Pitts模型组成的神经元⽹络的结构与参数如图所⽰。已知X0, X1与X2都属于{0,1}，试求的真值表。
（McCulloch-Pitts）使⽤的模型参数为：
答：为了⽅便起见，设第⼀个神经元的输出值为z，则真值表
⼆、如标准数字1在5×7的⽅格中表⽰成如图所⽰的⿊⽩图像，⿊为1，⽩为0，现若有⼀数字1在5×7⽹格中向左错了⼀列。试⽤分别计算要与标准模板之间的欧⽒距离、绝对值偏差、偏差的夹⾓表⽰，以及⽤“异或”计算两者差异。
答：欧⽒距离为，绝对值偏差为14，夹⾓为90度。
三、证明在Σ正定或半正定时，mahalanobis距离r符合距离定义的三个条件，即（1）r(a,b)=r(b,a)
（2）当且仅当a=b时，有r(a,b)=0（3）r(a,c)≤r(a,b)+r(b,c)证明：（1）根据定义
（2）由于Σ为对称阵，故Σ可以分解为，其中
，且所有特征值⼤于等于零。我们可以认为
这就变为了传统意义上的欧⽒距离，可以由欧⽒距离满⾜的性质直接证明本命题。
四、设在三维空间中⼀个类别分类问题拟采⽤⼆次曲⾯。如欲采⽤⼴义线性⽅程求解。试向其⼴义样本向量与⼴义权向量的表达式，其维数是多少？答：设次⼆次曲⾯为
故⼴义权向量：⼴义样本向量：维数为9。
五、设两类样本的类内离散矩阵分别为，
试⽤fisher准则求其决策⾯⽅程。答：
由于两类样本分布形状是相同的（只是⽅向不同），因此w0应为两类均值的中点
。
下图中的绿线为最佳线性分界⾯。
六、已知有两类数据,分别为
试求：该组数据的类内及类间离散矩阵及。答：第⼀类的均值向量为
七、已知有两个数据集，分别为
试求：将该8个数据作为⼀个数据集对其进⾏K-L变换。答：求该⼋个数据的协⽅差距离，先求该⼋个点的均值向量，得均⽅距离
由于它已是⼀个对⾓矩阵，且主对⾓线元素值相等，因此⽆需进⼀步做K-L变换，原坐标系的基已经是K-L变换的基，并且任何⼀组正交基都可作为其K-L变换的基。
⼋、设⼀个⼆维空间中的两类样本服从正态分布，其参数分别为
，，先验概率
试证明其基于最⼩错误率的贝叶斯决策分界⾯⽅程为⼀圆，并求其⽅程。
证明：先验概率相等条件下，基于最⼩错误率贝叶斯决策的分界⾯上两类条件概率密度函数相等。因此有：
化简为，是⼀个圆的⽅程。九、将上题推⼴到⼀般情况
（1）若，试说明先验概率相等条件下，基于最⼩错误率的贝叶斯决策⾯是否是超球⾯；（2）它能否⽤mahalanobis距离平⽅为常数的轨迹表⽰。（3）⽤mahalanobis距离表⽰的轨迹，分析其与的关系。解：（1）
则
这是⼀个超球的⽅程。（2）由
故
可以推出
则
是m距离下的超球。（3）从上式可以看出
