鸢尾花分类

发表于 | 更新于: | 分类于
使用scikit-learn中的K近邻(knn)算法对鸢尾花进行分类

前期准备：
Anaconda
mglearn

使用的机器学习方法：
K近邻(KNN)

方法讲解：
KNN是通过测量不同特征值之间的距离进行分类。它的思路是：如果一个样本在特征空间中的k个最相似(即特征空间中最邻近)的样本中的大多数属于某一个类别，则该样本也属于这个类别，其中K通常是不大于20的整数。KNN算法中，所选择的邻居都是已经正确分类的对象。该方法在定类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。一般使用欧式距离或者曼哈顿距离计算两个对象之间的距离.
除算法应用外，该教程中还给出了一个机器学习研究过程的模板。

  1. 导入数据集 

    1
    iris_dataset = load_iris()

  2. 将训练集和测试集进行分割，其中X代表数据，y代表标签

    1
    X_train,X_test,y_train,y_test = train_test_split(iris_dataset['data'],iris_dataset['target'],random_state = 0)

  3. 选定一种机器学习算法(此处使用的是KNN算法)

    1
    knn = KNeighborsClassifier(n_neighbors=1)

  4. 将算法和数据集进行匹配

    1
    knn.fit(X_train,y_train)

  5. 对算法效果进行评估(包括预测结果以及精度)

    1
    2
    3
    4
    prediction = knn.predict(X_new)
    y_pred = knn.predict(X_test)
    print("Test set predictions:\n{}".format(y_pred))
    print("Test set score:{:.2f}".format(np.mean(y_pred==y_test)))

代码实现：

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
import pandas as pd
import mglearn
import matplotlib.pyplot as plt
from sklearn.neighbors import KNeighborsClassifier
import numpy as np

if __name__ == "__main__":
    iris_dataset = load_iris()
    print("Keys of iris_dataset:\n{}".format(iris_dataset.keys()))
    print(iris_dataset['DESCR'][:193]+"\n...")
    print("Target names: {}".format(iris_dataset['target_names']))
    print("Feature names: \n{}".format(iris_dataset['feature_names']))
    print("Type of data: {}".format(type(iris_dataset['data'])))
    print("Shape of data: {}".format(iris_dataset['data'].shape))
    print("First five rows of data:\n{}".format(iris_dataset['data'][:5]))
    print("Type of target: {}".format(type(iris_dataset['target'])))
    print("Shape of target: {}".format(iris_dataset['target'].shape))
    print("Target:\n{}".format(iris_dataset['target']))
    X_train,X_test,y_train,y_test = train_test_split(iris_dataset['data'],iris_dataset['target'],random_state = 0)
    print("X_train shape: {}".format(X_train.shape))
    print("y_train shape: {}".format(y_train.shape))
    print("X_test shape: {}".format(X_test.shape))
    print("y_test shape: {}".format(y_test.shape))
    iris_dataframe = pd.DataFrame(X_train,columns=iris_dataset.feature_names)
    grr = pd.scatter_matrix(iris_dataframe,c=y_train,figsize=(15,15),marker='o',hist_kwds={'bins':20},s=60,alpha=.8,cmap=mglearn.cm3)
    
    iris_dataframe.plot()
    plt.show()
    
    knn = KNeighborsClassifier(n_neighbors=1)
    knn.fit(X_train,y_train)

    X_new = np.array([[5,2.9,1,0.2]])
    print("X_new.shape:{}".format(X_new.shape))

    prediction = knn.predict(X_new)
    print("Prediction:{}".format(prediction))
    print("Predicted target name:{}".format(iris_dataset['target_names'][prediction]))
    y_pred = knn.predict(X_test)
    print("Test set predictions:\n{}".format(y_pred))
    print("Test set score:{:.2f}".format(np.mean(y_pred==y_test)))