Python_sklearn机器学习库学习笔记（七）the perceptron(感知器）
时间： 10:37:27
&&&& 阅读：125
&&&& 评论：
&&&& 收藏：0
标签：&&&&&&&&&&&&&&&&&&&&&&&&&&&　　一、感知器
　　感知器是Frank Rosenblatt在1957年就职于Cornell航空实验室时发明的，其灵感来自于对人脑的仿真，大脑是处理信息的神经元（neurons）细胞和链接神经元细胞进行信息传递的突触（synapses）构成。
　　一个神经元可以看做将一个或者多个输入处理成一个输出的计算单元。一个感知器函数类似于一个神经元：它接受一个或多个输入，处理
他们然后返回一个输出。神经元可以实时，错误驱动的学习，神经元可以通过一个训练样本不断的更新参数，而非一次使用整套的数据。实时学习可能有效的处理内存无法容纳的大数据。感知器通常用下面的图形表示：
　　x1,x2,x3是输入单元，每个输入单元分别代表一个特征。感知器通常用另外一个输入单元代表一个常用的误差项，但是这个输入单元在图形中通常被忽略了。中间的圆圈是一个计算单元，类似神经元的细胞核。链接输入单元和计算单元的边类似于树突。每条边一个权重，或者一个参数。参数容易解释，如果某个解释变量与阳性类型相关，权重为正，某个解释变量与阴性类型相关，其其权重为负。链接计算单元和输出单元的边类似树突。
&　　二、激励函数
　　感知器通过使用激励函数（activeation function）处理解释变量和模型参数的线性组合对样本分类，计算公式如下所示。解释变量和模型参数的线性组合有时也称为感知器的预激励（preactivation）。
&　　其中，wi是模型参数，b是常误差项，Φ()是激励方程。常用的激励方程有几种。Rosenblatt最初的感知器用的阶跃函数（Heaviside step function或unit step function）作为激励函数。函数公式如下：
　　如果加权解释变量的和加上常误差项之和大于0，则激励方程返回1，此时感知器就把样本归类为阳性。否则，激励方程返回0，感知器就把样本归类为阴性。阶跃函数图形如下所示：
　　另一个常用的激励函数是逻辑S形（logistic sigmoid）激励函数。这个激励函数的梯度分布可以更有效的计算，在处理后面的ANN算法是十分有效。其计算公式如下：
　　其中，x是加权输入的和。这个模型与第四章的逻辑方程类似，是解释变量值与模型参数的线性组合，与逻辑回归模型一样。虽然用逻辑S形激励函数的感知器与逻辑回归一样，但是要估计的参数不同。
&　　三、感知器学习算法
　　感知器算法首先需要将权重设置为0或者很小的随机数，然后预测训练样本的类型。感知器是一种错误驱动（error-driven）的学习算法。如果感知器是正确的，算法就继续处理下一样本。如果感知器是错误的，算法就更新权重，重新预测。权重的更新规则如下：
　　对于每个训练样本来说，每个解释变量的参数值增加α（dj-yj(t)）xj,i,dj是样本j的真实类型，yj(t)是样本j的预测类型，xj,i是第i个样本j的解释变量的值，α是控制学习速率的超参数。如果预测正确的，dj-yj(t)等于0，α（dj-yj(t)）xj,i也是0，此时，权重不更新。如果预测错误的，权重会按照学习速率，（dj-yj(t)）与解释变量的值的乘积增加。
　　这里更新的规则与梯度下降法中的权重更新规则类似，都是朝着使样本得到正确分类更新，且更新的幅度是由学习速率控制的。每次遍历一次训练样本成为完成了一世代（epoch）。如果学习完一世代后，所有的样本都正确分类，那么算法会收敛（converge）。学习算法不能保证收敛（例如线性不可分的数据集），因此学习算法还需要一个超参数，算法终止前需要更新的最大世代数
&　　感知器的二元分类
　　下面我们来解决一个分类的案例。假设想从一堆的猫中分辨幼猫和成年猫。数据只有两个解释变量：用来睡觉的天数比例，闹脾气的天数比例。训练数据由下面四个样本构成：
　　下面的散点图表示这些样本是可以线性可分离的：
In [2]: import matplotlib.pyplot as plt
In [3]: from matplotlib.font_manager import FontProperties
In [4]: font = FontProperties(fname = r"c:\windows\fonts\msyh.ttc",size = 10)
In [5]: import numpy as np
In [6]: X = np.array([[0.2,0.1],[0.4,0.6],[0.5,0.2],[0.7,0.9]])
In [7]: y = [0,0,0,1]
In [8]: marker = [‘.‘,‘x‘]
In [9]: plt.scatter(X[:3,0],X[:3,1],marker=‘,‘,s=400)
Out[9]: &matplotlib.collections.PathCollection at 0x6d46208&
In [10]: plt.scatter(X[3,0],X[3,1],marker=‘x‘,s=400)
Out[10]: &matplotlib.collections.PathCollection at 0x6c856a0&
In [11]: plt.xlabel(u‘用来睡觉的天数比例‘,fontproperties = font)
Out[11]: &matplotlib.text.Text at 0x6c9eeb8&
In [12]: plt.ylabel(u‘闹脾气的天数比例‘,fontproperties = font)
Out[12]: &matplotlib.text.Text at 0x6cadef0&
In [13]: plt.title(u‘幼猫和成年猫‘,fontproperties = font)
Out[13]: &matplotlib.text.Text at 0x6cad5c0&
In [14]: plt.show()
&　　我们的目标是训练一个感知器可以用两个解释变量分辨猫的类型。我们用阳性表示幼猫，用阴性表示成年猫。用感网络图可以呈现感知训练的过程。
　　（略）
&　　（三）感知器解决文档分类
　　scikit-learn提供了感知器功能。和我们用过的其他功能类似，Perceptron类的构造器接受超参数设置。Perceptron类有fit_transform()和predict方法，Perceptro类还提供了partial_fit()方法，允许分类器训练流式数据，并作出预测
　　在下面的例子当中，我们训练一个感知器对20个新闻类别的数据集进行分类。这个数据集20个网络新闻网站收集了近2万篇新闻。这个数据集经常用来进行文档的分类和聚类实验；scikit-learn提供了下载和读取数据集的简便方法。我们将训练一个感知器识别三个新闻类别：rec.sports.hockey、rec.sport.baseball和rec.auto。scikit-learn的Perceptron也支持多类分类，使用one versus all策略为训练集中每个类型训练分类器。我们将用TF-IDF加权词袋表示新闻文档。partial_fit()方法可以连接HashingVectorizer在内存有限的情况下训练较大的流式数据
　　首先我们用fetch_20newsgroups()下载并读取数据，和其他内建数据一致，这个函数返回对象包括data,target和target_name属性。我们还去掉了每篇文章的页眉，页脚和引用文献。保留那些让分类更容易的解释变量，我们用TfidfVectorizer生成TF-IDF矢量，训练感知器，然后用测试集评估效果。
资料来源：《Machine Learning With scikit-learn》标签：&&&&&&&&&&&&&&&&&&&&&&&&&&&
&&国之画&&&& &&
版权所有 京ICP备号-2
迷上了代码！sklearn划分测试集-学网-提供健康,养生,留学,移民,创业,汽车等信息
sklearn划分测试集
sklearn中的cross validation模块,最主要的函数是如下函数: sklearn.cross_validation... 参数解释: clf是不同的分类器,可以是任何的分类器。比如支持向量机分类器。clf = sv...答：最近在拿 sklearn 做中文文本分类器， 网上找到的例子都是拿带标签的数据，二八划分后，八成用于训练模型，两成用于测试， 然后分析测试结果看精确度。 现在，我已经使用训练数据做好了模型训练（存在文本分类器的对象了）， 拿一段之前数据集里...答：有两种不同的方式： 使用sklearn.preprocessing.scale()函数，可以直接将给定数据进行标准化。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 &&& from sklearn import preprocessing &&& import numpy as np &&& X = np.array([[ 1., -1., 2.]...答：把数据集分为两部分：分别用于训练和测试 sklearn提供一个将数据集切分成训练集和测试集的函数。 [python] view plain copy from sklearn.cross_validation import train_test_split [python] view plain copy答：经过测试，nltk虽然有包装了sklearn的SklearnClassifier，但是还是很局限，我在测试随机森林分类器时就出现了运行错误，因此建议整个流程都使用nltk！答：1 首先需要安装Cython，网上下载后进行本地安装 python setup.py install 2 下载Sklearn包，进行本地安装（使用pip或easy_install总是出错，如can not import murmurhash3_32，最终本地安装成功） 3 安装后可用nosetests -v sklearn来进行测试答：1 首先需要安装Cython，网上下载后进行本地安装 python setup.py install 2 下载Sklearn包，进行本地安装（使用pip或easy_install总是出错，如can not import murmurhash3_32，最终本地安装成功） 3 安装后可用nosetests -v sklearn来进行测试答：from sklearn import linear_model#线性回归clf = linear_model.LinearRegression()#训练clf.fit ([[0, 0], [1, 1], [2, 2]], [0, 1, 2])#表达式参数clf.coef_#测试improt numpy as npx = np.array([1,1])y = x.dot(clf.coef_)答：在Eclipse中查看JDK类库的源代码！！！ 设置： 1.点“window”-& "Preferences" -& "Java" -& "Installed JRES" 2.此时"Installed JRES"右边是列表窗格，列出了系统中的 JRE 环境，选择你的JRE，然后点边上的 "Edit..."， 会出现一个窗口(Edit JRE...答：1首先需要安装Cython，网上下载后进行本地安装pythonsetup.pyinstall2下载Sklearn包，进行本地安装（使用pip或easy_install总是出错，如cannotimportmurmurhash3_32，最终本地安装成功）3安装后可用nosetests-vsklearn来进行测试
您可能还关注:&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
大类导航： |中国领先的IT技术网站
51CTO旗下网站
基于 Python 和 Scikit-Learn 的机器学习介绍
我叫Alex，我在机器学习和网络图分析（主要是理论）有所涉猎。我同时在为一家俄罗斯移动运营商开发大数据产品。这是我第一次在网上写文章，不喜勿喷。
作者：来源：Python开发者| 16:16
你好，%用户名%！
我叫Alex，我在机器学习和网络图分析（主要是理论）有所涉猎。我同时在为一家俄罗斯移动运营商开发大数据产品。这是我第一次在网上写文章，不喜勿喷。
现在，很多人想开发高效的算法以及参加机器学习的竞赛。所以他们过来问我：&该如何开始？&。一段时间以前，我在一个俄罗斯联邦政府的下属机构中领导了媒体和社交网络大数据分析工具的开发。我仍然有一些我团队使用过的文档，我乐意与你们分享。前提是读者已经有很好的数学和机器学习方面的知识（我的团队主要由MIPT（莫斯科物理与技术大学）和数据分析学院的毕业生构成）。
这篇文章是对数据科学的简介，这门学科最近太火了。机器学习的竞赛也越来越多（如，Kaggle, TudedIT），而且他们的资金通常很可观。
R和Python是提供给数据科学家的最常用的两种工具。每一个工具都有其优缺点，但Python最近在各个方面都有所胜出（仅为鄙人愚见，虽然我两者都用）。这一切的发生是因为Scikit-Learn库的腾空出世，它包含有完善的文档和丰富的机器学习算法。
请注意，我们将主要在这篇文章中探讨机器学习算法。通常用Pandas包去进行主数据分析会比较好，而且这很容易你自己完成。所以，让我们集中精力在实现上。为了确定性，我们假设有一个特征-对象矩阵作为输入，被存在一个*.csv文件中。
首先，数据要被加载到内存中，才能对其操作。Scikit-Learn库在它的实现用使用了NumPy数组，所以我们将用NumPy来加载*.csv文件。让我们从UCI Machine Learning Repository下载其中一个数据集。
import numpy as np
import urllib
# url with dataset
url = &http://archive.ics.uci.edu/ml/machine-learning-databases/pima-indians-diabetes/pima-indians-diabetes.data&
# download the file
raw_data = urllib.urlopen(url)
# load the CSV file as a numpy matrix
dataset = np.loadtxt(raw_data, delimiter=&,&)
# separate the data from the target attributes
X = dataset[:,0:7]
y = dataset[:,8]
我们将在下面所有的例子里使用这个数据组，换言之，使用X特征物数组和y目标变量的值。
数据标准化
我们都知道大多数的梯度方法（几乎所有的机器学习算法都基于此）对于数据的缩放很敏感。因此，在运行算法之前，我们应该进行标准化，或所谓的规格化。标准化包括替换所有特征的名义值，让它们每一个的值在0和1之间。而对于规格化，它包括数据的预处理，使得每个特征的值有0和1的离差。Scikit-Learn库已经为其提供了相应的函数。
from sklearn import metrics
from sklearn.ensemble import ExtraTreesClassifier
model = ExtraTreesClassifier()
model.fit(X, y)
# display the relative importance of each attribute
print(model.feature_importances_)
特征的选取
毫无疑问，解决一个问题最重要的是是恰当选取特征、甚至创造特征的能力。这叫做特征选取和特征工程。虽然特征工程是一个相当有创造性的过程，有时候更多的是靠直觉和专业的知识，但对于特征的选取，已经有很多的算法可供直接使用。如树算法就可以计算特征的信息量。
from sklearn import metrics
from sklearn.ensemble import ExtraTreesClassifier
model = ExtraTreesClassifier()
model.fit(X, y)
# display the relative importance of each attribute
print(model.feature_importances_)
其他所有的方法都是基于对特征子集的高效搜索，从而找到最好的子集，意味着演化了的模型在这个子集上有最好的质量。递归特征消除算法（RFE）是这些搜索算法的其中之一，Scikit-Learn库同样也有提供。
from sklearn.feature_selection import RFE
from sklearn.linear_model import LogisticRegression
model = LogisticRegression()
# create the RFE model and select 3 attributes
rfe = RFE(model, 3)
rfe = rfe.fit(X, y)
# summarize the selection of the attributes
print(rfe.support_)
print(rfe.ranking_)
算法的开发
正像我说的，Scikit-Learn库已经实现了所有基本机器学习的算法。让我来瞧一瞧它们中的一些。
大多数情况下被用来解决分类问题（二元分类），但多类的分类（所谓的一对多方法）也适用。这个算法的优点是对于每一个输出的对象都有一个对应类别的概率。
from sklearn import metrics
from sklearn.linear_model import LogisticRegression
model = LogisticRegression()
model.fit(X, y)
print(model)
# make predictions
expected = y
predicted = model.predict(X)
# summarize the fit of the model
print(metrics.classification_report(expected, predicted))
print(metrics.confusion_matrix(expected, predicted))
朴素贝叶斯
它也是最有名的机器学习的算法之一，它的主要任务是恢复训练样本的数据分布密度。这个方法通常在多类的分类问题上表现的很好。
from sklearn import metrics
from sklearn.naive_bayes import GaussianNB
model = GaussianNB()
model.fit(X, y)
print(model)
# make predictions
expected = y
predicted = model.predict(X)
# summarize the fit of the model
print(metrics.classification_report(expected, predicted))
print(metrics.confusion_matrix(expected, predicted))
kNN（k-最近邻）方法通常用于一个更复杂分类算法的一部分。例如，我们可以用它的估计值做为一个对象的特征。有时候，一个简单的kNN算法在良好选择的特征上会有很出色的表现。当参数（主要是metrics）被设置得当，这个算法在回归问题中通常表现出最好的质量。
from sklearn import metrics
from sklearn.neighbors import KNeighborsClassifier
# fit a k-nearest neighbor model to the data
model = KNeighborsClassifier()
model.fit(X, y)
print(model)
# make predictions
expected = y
predicted = model.predict(X)
# summarize the fit of the model
print(metrics.classification_report(expected, predicted))
print(metrics.confusion_matrix(expected, predicted))
分类和回归树（CART）经常被用于这么一类问题，在这类问题中对象有可分类的特征且被用于回归和分类问题。决策树很适用于多类分类。
from sklearn import metrics
from sklearn.tree import DecisionTreeClassifier
# fit a CART model to the data
model = DecisionTreeClassifier()
model.fit(X, y)
print(model)
# make predictions
expected = y
predicted = model.predict(X)
# summarize the fit of the model
print(metrics.classification_report(expected, predicted))
print(metrics.confusion_matrix(expected, predicted))
支持向量机
SVM（支持向量机）是最流行的机器学习算法之一，它主要用于分类问题。同样也用于逻辑回归，SVM在一对多方法的帮助下可以实现多类分类。
from sklearn import metrics
from sklearn.svm import SVC
# fit a SVM model to the data
model = SVC()
model.fit(X, y)
print(model)
# make predictions
expected = y
predicted = model.predict(X)
# summarize the fit of the model
print(metrics.classification_report(expected, predicted))
print(metrics.confusion_matrix(expected, predicted))
除了分类和回归问题，Scikit-Learn还有海量的更复杂的算法，包括了聚类， 以及建立混合算法的实现技术，如Bagging和Boosting。
如何优化算法的参数
在编写高效的算法的过程中最难的步骤之一就是正确参数的选择。一般来说如果有经验的话会容易些，但无论如何，我们都得寻找。幸运的是Scikit-Learn提供了很多函数来帮助解决这个问题。
作为一个例子，我们来看一下规则化参数的选择，在其中不少数值被相继搜索了：
import numpy as np
from sklearn.linear_model import Ridge
from sklearn.grid_search import GridSearchCV
# prepare a range of alpha values to test
alphas = np.array([1,0.1,0.01,0.001,0.0001,0])
# create and fit a ridge regression model, testing each alpha
model = Ridge()
grid = GridSearchCV(estimator=model, param_grid=dict(alpha=alphas))
grid.fit(X, y)
print(grid)
# summarize the results of the grid search
print(grid.best_score_)
print(grid.best_estimator_.alpha)
有时候随机地从既定的范围内选取一个参数更为高效，估计在这个参数下算法的质量，然后选出最好的。
import numpy as np
from scipy.stats import uniform as sp_rand
from sklearn.linear_model import Ridge
from sklearn.grid_search import RandomizedSearchCV
# prepare a uniform distribution to sample for the alpha parameter
param_grid = {'alpha': sp_rand()}
# create and fit a ridge regression model, testing random alpha values
model = Ridge()
rsearch = RandomizedSearchCV(estimator=model, param_distributions=param_grid, n_iter=100)
rsearch.fit(X, y)
print(rsearch)
# summarize the results of the random parameter search
print(rsearch.best_score_)
print(rsearch.best_estimator_.alpha)
至此我们已经看了整个使用Scikit-Learn库的过程，除了将结果再输出到一个文件中。这个就作为你的一个练习吧，和R相比Python的一大优点就是它有很棒的文档说明。
在下一篇文章中，我们将深入探讨其他问题。我们尤其是要触及一个很重要的东西&&特征的建造。我真心地希望这份材料可以帮助新手数据科学家尽快开始解决实践中的机器学习问题。最后，我祝愿那些刚刚开始参加机器学习竞赛的朋友拥有耐心以及马到成功！【编辑推荐】【责任编辑： TEL：（010）】
大家都在看猜你喜欢
头条头条外电头条头条
24H热文一周话题本月最赞
讲师：1人学习过
讲师：27人学习过
讲师：0人学习过
精选博文论坛热帖下载排行
本书是一本介绍Windows系统上的用户态程序排错方法和技巧的书。本书分为4个章节，先介绍最重要的、通用的思考方法，以便制定排错步骤；再介...
订阅51CTO邮刊