UMICH CV Image Classification—KNN

在本节课中，首先justin老师为我们介绍了图像分类了基础概念以及其用途，这里就不多涉及了

接着我们思考图像分类问题，如果我们想要直接通过某种算法来实现图像分类，显然是比较棘手的，于是引入了机器学习的思想，即用数据驱动，用数据去训练我们的分类器，再用新的图像来评估我们分类器的性能

然后介绍了几个常见的用于图像分类的数据集，比如说MINIST，CIFAR100，CIFAR10,IMAGENET,Place365等等

接下来介绍了图形分类中一种常用的算法，也是我们作业中要去完成的算法即Nearest Neighbor Classifier以及k-Nearest Neighbor Classifier

总体来说，我们大致需要两步来完成这个算法：


即第一步只是简单的记忆来完成我们的训练过程，第二步选择综合起来离预测图像最近的图像的label，作为我们的预测值
但是我们也可以发现这类方法的致命问题，那就是它的训练时间要比预测时间短，即我们可能很快就可以完成我们模型的训练，但是想要得出我们预测的结果需要很长时间，而这恰好与我们的理念是背道而驰的，我们不在乎要多少时间来训练，而想要尽快的得到预测结果

同时在执行此类算法时，有两个参数很重要，一个是k值的选择，即我们要综合考虑几个周围的邻居的距离来做出判断，一个是我们要选择什么来作为距离的衡量方式

从上面这两张图可以看出k值与距离公式的选择，对于分类尤其是决策边界有着一定程度的影响

因此，如何选择最合适的k值与距离公式，对于knn模型来说，是一个非常重要的问题
用更专业更普适的说法，就是如何去选择我们模型的超参数：

接下来就是讨论如何去设置超参数

首先第一种也是最直接的想法，我们只需要挑选在我们的数据集上表现最好的超参数
这种想法的问题就是会导致模型只在我们训练的数据上表现好，一遇到新的数据表现就不行

第二种就是将数据划分为训练集与测试集，找出在测试集上表现最好的超参数，但是这种想法和第一种也是相同的问题，我们的测试集数据会对模型对超参数的判断产生一定的污染，因而在新的数据上表现也不佳

第三种就是我们划分成train，validation与test三个数据集，用validation找出超参数，在test上测试，而这种的问题在于我们的test只能用一次，就是在找出超参数之后作为新数据测试，而如果我们经过很长的时间研究算法，调整参数最后去测试发现效果不好，一切都前功尽弃了，所以这种方法实用性也不高

最好的方法就是采用交叉验证

把数据集划分成不同的fold，每个fold依次扮演validation或者test或者train的角色
但是缺点也很明显，当数据量增大时，这种花费的时间显然非常久，我们可以将这种方法应用于小数据集

最后对knn算法的用途进行了讨论

除了我们之前提到的，knn算法的预测时间复杂度问题，其简单地使用距离公式来进行分类，有时也会产生错误，比如上面这张图，下方的四个图片的距离值都是一样的，但是显然它们有着巨大的差别

所以直接使用knn算法显然是一个不好的选择，但是我们可以在某些模型的某些步骤去应用knn算法

如上图所示，我们在ConvNet中对不同图片的特征向量使用knn进行分类，早最终的图片分类效果较好

最后放一张总结图：

ps：本次A1的作业比较简单，主要引导学生初步学习pytorch，在knn实现中，强调了向量化编程的重要性，减少循环的使用，最后使用交叉验证来寻找k值，这里就不再详细介绍具体实现。