自旋电子学和自旋电子器件_图文_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
自旋电子学和自旋电子器件
&&自旋电子学和自旋电子器件
阅读已结束，下载文档到电脑
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，方便使用
还剩3页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢为什么没有设想采用让飞船自旋的方法_新闻中心_新浪网
为什么没有设想采用让飞船自旋的方法
.cn 日20:15 新浪科技
飞船上不会采用这种旋转方法创造人工重力，原因是：(1)飞船的主要目的是维持科学和技术研究所需的失重环境，不需要它旋转；(2)达到上述人为重力目的需要有特殊的旋转接合装置和密封装置，这是非常复杂、繁重和高费用的。(3)旋转部位必须设计更加坚固，使得它的重量增加；(4) 带有旋转部件的飞船对物体的不平衡是十分敏感的：它会像一个不平衡的轮胎开始摇晃起来，为了防止它的摇晃，必须增加附加的载荷；非旋转部位的摇摆影响了飞船上的研究。(5)在飞船这样短半径里产生的人工重力对人的内耳的运动/方位感觉器官是
一种不舒服的刺激，例如它产生的科里奥利力和加速度可以刺激人的内耳。
相关专题：&
&【】【】【
【】【】【】
/ 20:13:34 / 20:12:18 / 20:11:12 / 20:10:47 / 20:10:22 / 20:09:46 / 20:09:05 / 20:08:32 / 20:08:15 / 20:06:49
电话：010- 欢迎批评指正
Copyright & 1996 - 2005 SINA Inc.
All Rights Reserved&img data-rawheight=&880& src=&/v2-ae7abb9abb545ebf6f3f74c1e23c7bcf_b.png& data-rawwidth=&1800& class=&origin_image zh-lightbox-thumb& width=&1800& data-original=&/v2-ae7abb9abb545ebf6f3f74c1e23c7bcf_r.png&&&p&&br&&/p&&p&&b&&i&A是并五苯的化学结构&/i&&/b&&/p&&p&&b&&i&B 图为实验获得的并五苯STM（扫描隧道显微镜，Scanning tunneling Microscopy）图像&/i&&/b&&/p&&p&&b&&i&C D是并五苯的Non-Contact AFM （无接触原子力显微镜 Non-contact Atomic force microscopy ) 图像&/i&&/b& &/p&&p&非常适合回答这个问题，就是做这个研究的。&/p&&p&要探测电子云，方法有许多。任何与电子相关的现象都可以用来探测电子的轨道。比如一些答案中提到的XRD衍射方法。可以提供轨道的信息。&/p&&p&但我估计题主更希望直观的了解，电子云是如何分部的，电子云的样子是怎样的？&/p&&p&目前最接近可以看到轨道的形状的显微技术就是，扫描隧道显微镜（STM）&/p&&p&STM的原理是，利用极细金属针尖逐渐靠近材料表面。当这个距离在几个埃时，就会有量子遂川效应。就会有微小的电流产生，而这个电流的大小，是依赖于电子某个轨道的电子波函数与针尖金属原子的S轨道波函数的卷积。这意味着，所测得的电流反应了电子的态密度。&/p&&p&严格来说， STM看到的并不严格是轨道。而是某个轨道波函数与金属针尖原子的轨道卷积。&/p&&p&但是的确可以通过已知的金属针尖原子的轨道波函数去反推轨道波函数。&/p&&p&STM可以通过调节不同的偏压，来实现对特定轨道的成像。比如占据轨道或者空轨道。&/p&&p&&br&&/p&&img data-rawheight=&484& src=&/v2-b19a0dfe02ba16e52102_b.png& data-rawwidth=&946& class=&origin_image zh-lightbox-thumb& width=&946& data-original=&/v2-b19a0dfe02ba16e52102_r.png&&&p&&b&&i&比如这个并五苯，a中的最高占据分子轨道 （HOMO）和b中的最低未占据分子轨道 （LUMO）形状是不同的&/i&&/b&&/p&&p&&b&&i&并且，STM测得的轨道形状和理论计算的非常接近。&/i&&/b&&/p&&p&&br&&/p&&p&另外NC AFM虽然看不到具体轨道的形状，但也可以更好的看出分子骨架。它主要是与利用CO分子作为探针去靠近电子云。这会让高频音叉的振动频率改变，其改变大小和CO分子与被测分子之间的距离有关。就是电子云之间的排斥和吸引力。&/p&&p&&br&&/p&&img data-rawheight=&1800& src=&/v2-583ae998ec23f4ec532a9a57cb55ee28_b.png& data-rawwidth=&1699& class=&origin_image zh-lightbox-thumb& width=&1699& data-original=&/v2-583ae998ec23f4ec532a9a57cb55ee28_r.png&&&p&&b&&i&比如这个coronoid分子结构，AFM看的非常清晰。但其实电子云不是如此。这是看到的分子骨架。&/i&&/b&&/p&&p&&b&&i&所以AFM非常适合区分细节的结构。比如有机分子的五元六元环。例如下面这个分子&/i&&/b&&/p&&p&&br&&/p&&img data-rawheight=&395& src=&/v2-c9bbd49de28812cea8e05c_b.png& data-rawwidth=&350& class=&content_image& width=&350&&&p&&br&&/p&&p&但其实，目前真正要说实空间看到或者反映了轨道的，还是STM。&/p&&p&&br&&/p&&p&这俩都是人类的极限分辨显微镜。没有之一。&/p&&p&想了解，去搜索scanning tunneling microscope &/p&&p&和non-contact atomic force microscope&/p&&p&&br&&/p&&p&也欢迎物理、化学专业的师弟师妹们了解这个无比神奇瑰丽的领域。想读这个方向的博士的。可以联系我，德国每年有许多相关研究组找我推荐国内硕士去读博士。最好有超高真空stm经验。&/p&
A是并五苯的化学结构B 图为实验获得的并五苯STM（扫描隧道显微镜，Scanning tunneling Microscopy）图像C D是并五苯的Non-Contact AFM （无接触原子力显微镜 Non-contact Atomic force microscopy ) 图像 非常适合回答这个问题，就是做这个研究的。要探测电…
&p&1982年，加州圣何塞医院的急诊室送来了一位42岁的奇怪病人卡里洛，他不能说话也不能动，就好象是全身的肌肉都被冷冻住了。医生们一番检查过后没有发现任何可疑的问题，而他不能说话也无法问询，一名医学生注意到他的手能轻微的移动一点点，于是想了个办法，把一支笔用绷带缠在了他的手上。但花了半个多小时，卡里落在笔记本上只潦草的写出了一句话：“我不知道发生了什么事情，我不能工作、无法移动。”&/p&&p&&br&&/p&&p&然而，当问及他是否服用了任何药物时，关键时刻来了，他写道：“海洛因”。但是他的症状又与海洛因和其它毒品所造成的完全不同，医生们从未见过这样的病例。特别是当了解到他只有30岁的女友胡安妮塔也出现了同样的症状，这更加令人困惑不解。她由于害怕可能因为吸毒而被捕，在家里躲了两个星期没有来医院。随着时间的推移，又有几名同样的年轻病人被发现，最小的康妮是毒贩的女友只有21岁，但医生们仍然束手无策，根本搞不清楚究竟发生了什么。&/p&&p&&br&&/p&&p&直到1984年，斯坦福大学神经学家威廉·兰斯顿第一个提出了更深入的见解，在检查时他震惊于这些症状与帕金森氏症晚期病人的症状竟然如此相似：肌肉僵直、不能产生自主运动。但是帕金森的发病是一个逐渐的过程，并且45岁以前很少会在临床上有显著表现，而这些年轻的海洛因吸食者却在几天之内就发展出了帕金森氏症晚期的全部症状。兰斯顿怀疑，他们必然是注射了一种新型的、被当作海洛因销售的人工合成毒品，从而引发了帕金森氏症的急性发作。他召开了新闻发布会，宣布毒品市场上出现了有问题的不良海洛因，并呼吁任何吸食后身体有僵硬和震颤的人去医院。&/p&&p&&br&&/p&&p&事实证明兰斯顿的诊断是正确的，帕金森氏症是由于黑质细胞坏死而导致的，黑质是脑干的一个核团、基底神经节的一部分，这些细胞是多巴胺神经递质的首要来源。虽然兰斯顿没有在CT和MRI扫描中看到结构损坏，但随后的正电子断层扫描研究表明，无论有没有发展出帕金森氏症，注射了这种毒品的人都发生了多巴胺代谢减退。在使用高剂量的左旋多巴治疗后，他们很快表现出正性反应，肌肉放松了、可以进行一些程度有限的活动。&/p&&p&&br&&/p&&p&公共卫生当局和警方开始追查这些毒品来源，彼时毒贩子的化学家们正在与法庭展开竞赛，他们不停的制造出各种合成药物，而且严格上来说还不一定是严重非法的。因为当法律禁止一种药物时，他们会略微调整其分子结构，使其成为一种有同样嗨翻天效果的新型毒品。&/p&&p&&br&&/p&&p&在还没有互联网的时代，使用质谱仪分析过的毒品样本，需要与位于华盛顿的唯一综合数据库中的4万种已鉴定出的物质进行比较，这是一项相当费时的繁琐工作。幸运的是，一位毒理学家回忆起70年代曾经遇到过同样特殊的情况。1976年，一名马里兰州化学系的学生基德斯顿，在实验室中私自合成毒品MPPP，但在最后一步酯化时部分中间产物的羟基在硫酸中脱水，变成了杂质MPTP。他给自己注射这种不纯的毒品三天之后，就开始出现了帕金森症状。基德斯顿的帕金森病通过长期服用左旋多巴维持治疗能够缓解，但是他却在18个月后由于过度使用可卡因而死亡，瘾君子是很难被拯救的。在尸检时发现他的大脑黑质中产生多巴胺的神经细胞受到了损害。&/p&&p&&br&&/p&&p&MPTP的中文名称叫做“1-甲基-4-苯基-1,2,3,6-四氢吡啶”，这个东西本身并没有毒性，但却能通过血脑屏障。分解多巴胺的酶会破坏它而生成一种称为MPP+的化学物质，这是一种神经毒素能够有选择性的损坏黑质细胞。&/p&&p&&br&&/p&&p&致病物质最终水落石出，科学家们欣喜异常，然而这种激动的心情并非是好奇心得到了满足所导致的。实际上是因为帕金森氏症的发病率日益升高，对人类健康的影响越来越大，但科学家在研究上却始终也无法取得多少突破，进展极其缓慢。最主要的原因是缺乏实验对象，总不能用活病人来做实验啊～～&/p&&p&&br&&/p&&p&但在非人动物上极难引发帕金森氏症，灵长类在自然状态下也根本不会患这种病，可能是由于它们的寿命较短。运用传统的损伤方法损毁黑质也非常困难，因为它距离关键的脑干核团很近。在这次意外事件中偶然发现的MPTP作用，令科学家们浮想联翩，能否人为的通过这种药物制造出帕金森实验动物呢？&/p&&p&&br&&/p&&p&结果不负众望，一种新的动物模型诞生了。虽然这些吸毒病人是不幸的，但是对于帕金森氏症的研究突破有着划时代的重要意义，为治疗方法带来了巨大飞跃，这些成果都直接来源于对MPTP动物模型的研究。例如，对患者中的卡里洛、胡安妮塔和康妮90年代在瑞典进行了实验性手术，将流产胎儿的黑质细胞分离出来植入他们大脑中的相应损伤区域。恢复后，虽然最严重的康妮只能走上大约10英尺就不得不坐下休息，另外两人的运动功能恢复得更好一些，但这却是在多年对抗帕金森氏症的研究过程中，取得的一个重要里程碑。还有一些药物和治疗方法也都获得了不错的进展，而这都源于MPTP这种似乎“有趣的毒素”。&/p&&p&&br&&/p&&p&在2000年，又发现了天然杀虫剂鱼藤酮，在长期小剂量持续用药的情况下能够选择性的引起大鼠帕金森氏综合症。这是一种从鱼藤属、尖荚豆属和灰叶属植物中提取的广谱杀虫剂，几千年前南美洲的土著居民就知道把这些植物的根茎碾压出来的汁液撒入池塘中，使鱼变得麻木而易于捕捉。由于鱼藤酮的含量很低，所以这种方法捕获的鱼吃了并没有什么副作用，并且可以入药，有的护肤品中含有鱼藤酮用来杀螨虫。这种神经毒素的稳定性差、持续作用时间短，暴露于空气中1～3天就会降解为低毒或无毒的物质。&/p&&p&&br&&/p&&p&不过，MPTP事件也使得一些科学家怀疑，部分帕金森氏症可能是由于长期接触类似的有毒物质引起的。研究人员在加拿大一个乡村地区寻找罪魁祸首的化学物质，这里的帕金森发病率比其它地方高5倍；而在关岛，至1965年有五分之一的人死于帕金森。芝加哥帕金森基金会向全国各地的患者发出了36000张问卷，调查他们住过的城镇、饮用水源和25平方英里内的工业，以对环境影响进行研究。&/p&&p&&br&&/p&&p&从这个事件中也可以进一步看出，珍爱生命需要彻底的远离毒品。。。&/p&&img src=&/v2-46c82daa79c4f688f67c148abe6b529c_b.jpg& data-rawwidth=&1023& data-rawheight=&682& class=&origin_image zh-lightbox-thumb& width=&1023& data-original=&/v2-46c82daa79c4f688f67c148abe6b529c_r.jpg&&&p&即使是美女调制的。。。喂到你嘴里。。也不要吃下去。。。&/p&&img src=&/v2-60ea9e2018174dfb012e_b.jpg& data-rawwidth=&866& data-rawheight=&1299& class=&origin_image zh-lightbox-thumb& width=&866& data-original=&/v2-60ea9e2018174dfb012e_r.jpg&&&p&因为你不知道她使用了什么妖术～&/p&&img src=&/v2-94b968bbfafcc3576eaf_b.png& data-rawwidth=&900& data-rawheight=&674& class=&origin_image zh-lightbox-thumb& width=&900& data-original=&/v2-94b968bbfafcc3576eaf_r.png&&&p&欲仙欲死的迷幻过去之后，看清楚它们的真实面目就已经来不及了。。。&/p&&img src=&/v2-2c7e579be1de11cc6cd5_b.jpg& data-rawwidth=&900& data-rawheight=&636& class=&origin_image zh-lightbox-thumb& width=&900& data-original=&/v2-2c7e579be1de11cc6cd5_r.jpg&&&p&. &/p&&p&--------------------------------------------------&/p&&p&&a href=&/question//answer/& class=&internal&&人的自我意识是怎样产生的？ 意识到底是什么呢？&/a&
&/p&&p&&a href=&/p/& class=&internal&&人造生命之路——对起源和未来的不懈追寻！&/a&
&/p&&p&&a href=&/p/& class=&internal&&欧罗巴星球（木卫二）解析，是否真的会有生命存在？&/a&
&/p&&p&&a href=&/p/& class=&internal&&冰封千百万年的南极冰下湖泊，其生态系统如何进化残存至今？&/a&
&/p&&p&. &/p&
1982年，加州圣何塞医院的急诊室送来了一位42岁的奇怪病人卡里洛，他不能说话也不能动，就好象是全身的肌肉都被冷冻住了。医生们一番检查过后没有发现任何可疑的问题，而他不能说话也无法问询，一名医学生注意到他的手能轻微的移动一点点，于是想了个办法，…
&img src=&/50/v2-b85b8b24de05f5d15c8c_b.jpg& data-rawwidth=&640& data-rawheight=&427& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/50/v2-b85b8b24de05f5d15c8c_r.jpg&&&p&&/p&&img src=&/v2-b85b8b24de05f5d15c8c_b.jpg& data-rawwidth=&640& data-rawheight=&427& class=&origin_image zh-lightbox-thumb& width=&640& data-original=&/v2-b85b8b24de05f5d15c8c_r.jpg&&&p&图片来源：&a href=&/?target=http%3A//& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&http://&/span&&span class=&visible&&&/span&&span class=&invisible&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&h2&&b&编者按：&/b&&/h2&&p&前几篇主要介绍了概率与统计中的两个重要学派：频率学派和贝叶斯学派，从而引申出了概率与统计领域最基本的问题：什么是概率、它又从何而来。&/p&&p&而此篇则将以概率与统计中一个重要的概念——随机过程作为起点，去探讨一个酒鬼回家的可能。&/p&&blockquote&&b&概率论专栏&/b&&br&&a href=&/?target=https%3A//mp./s%3F__biz%3DMzIyNDA2NTI4Mg%3D%3D%26mid%3D%26idx%3D1%26sn%3D0c6643bec24f2f6131b7eac7dchksm%3Df3aee03b55a4a03cf46df452fcf1bce273aa9e3b3989bda27a932acc3%26scene%3D21%23wechat_redirect& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&& 上帝教人掷骰子——“神童”帕斯卡与概率论&i class=&icon-external&&&/i&&/a&&br&&a href=&/?target=https%3A//mp./s%3F__biz%3DMzIyNDA2NTI4Mg%3D%3D%26mid%3D%26idx%3D2%26sn%3Dcab4a886ce3f%26chksm%3Df3a664f6c4d1eded9745deb6ec9dcb4e8fcd4edd8b520%26scene%3D21%23wechat_redirect& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&& 似是而非的答案：概率论悖论&i class=&icon-external&&&/i&&/a&&br&&a href=&/?target=https%3A//mp./s%3F__biz%3DMzIyNDA2NTI4Mg%3D%3D%26mid%3D%26idx%3D2%26sn%3D7d6bf5b29bba7f99cae403c%26chksm%3Df3a665b8c4d1ecae1a1cb384c4eb5f5e4dd3dd83dd3ff809e84b6befe%26scene%3D21%23wechat_redirect& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&& 别相信直觉：概率论帮助侦破“财务造假”&i class=&icon-external&&&/i&&/a&&br&&a href=&/?target=https%3A//mp./s%3F__biz%3DMzIyNDA2NTI4Mg%3D%3D%26mid%3D%26idx%3D2%26sn%3Ded580b38f96a93a4cbe258bchksm%3Df3ae11b053ea3d15dae984daa795abbabfc0cb903bac6e02dscene%3D21%23wechat_redirect& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&& 赌徒谬误：赌博与大数定律&i class=&icon-external&&&/i&&/a&&br&&a href=&/?target=https%3A//mp./s%3F__biz%3DMzIyNDA2NTI4Mg%3D%3D%26mid%3D%26idx%3D2%26sn%3D3c455c263b593a18d2e8%26chksm%3Df3a66fdbc4d1e6cdafd127c2de34afbed5d635d462bdd5c%26scene%3D21%23wechat_redirect& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&& 无所不在的概率分布钟型曲线&i class=&icon-external&&&/i&&/a&&br&&a href=&/?target=https%3A//mp./s%3F__biz%3DMzIyNDA2NTI4Mg%3D%3D%26mid%3D%26idx%3D3%26sn%3Ddd509ec688a5%26chksm%3Df3afbd4d367e9cb504b6eef6d83f309ba3814%26scene%3D21%23wechat_redirect& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&& 概率之本质—从主观概率到量子贝叶斯&i class=&icon-external&&&/i&&/a&&/blockquote&&p&&b&撰文 | 张天蓉 （美国德州大学奥斯汀分校理论物理博士）&/b&&/p&&p&&b&责编 | 吕浩然&/b&&/p&&p&&b&知识分子&/b&为更好的智趣生活&b&ID：The-Intellectual&/b&&/p&&p&想象在曼哈顿东西南北格点化的街道中有一个小醉汉，他每次到达一个交叉路口时都会随机选择前后左右四个方向其中的一个，然后继续前进（或后退）；在走到下一个路口时又随机选择一次方向……如此继续下去，他所经过的路径会具有什么样的特点呢？&/p&&p&数学家们将这样的问题称之为“酒鬼漫步”，甚至将酒鬼的路径抽象为一个数学模型：无规行走，或称随机游走（random walk）。而因曼哈顿的酒鬼只能在二维的城市地面上游荡，所以这也是一种“二维无规行走”，见图1。&/p&&p&&br&&/p&&img src=&/v2-1b90b21a5faec0f69a07c7_b.jpg& data-rawwidth=&592& data-rawheight=&263& class=&origin_image zh-lightbox-thumb& width=&592& data-original=&/v2-1b90b21a5faec0f69a07c7_r.jpg&&&p&&i&图1：酒鬼漫步和二维无规行走路径&/i&&/p&&ol&&li&&b&随机过程与伯努利过程&/b&&/li&&/ol&&p&无规行走是一类随机过程。何谓随机过程？之前我们以丢硬币为例介绍了随机变量，随机过程就是一系列随机变量的集合。比如说，每丢一次硬币，便产生一个随机变量X，那么，我们一次又一次地丢下去，便产生出一系列的随机变量X1，X2…… Xi ……，酒鬼的漫步也类似，总的路径是酒鬼多次随机选择行走的所有路径的集合。随机变量序列集合起来，便形成了“随机过程”。随机过程中的Xi，可看作是时间 ti 的“函数”。&/p&&p&与经典物理学类似，物理系统随时间演化的过程，要遵循牛顿物理学的规律。随机过程也有它的运动规律。但不同的是，随机过程的变量是取值不确定的随机变量，这使得随机过程相比于“不随机的过程”更难以处理。&/p&&p&此处还应介绍一个新的定义——伯努利过程。丢一次硬币产生一个取值为1或0的随机变量X，那么，接连丢下去产生的随机变量的集合就被称为伯努利过程。伯努利过程是一个时间离散，取值也离散的随机过程，其中随机变量的样本空间只有两个取值：成功（1）、或失败（0），成功的概率为p。例如，掷一个6面对称的骰子，如果将“3”出现的概率定为成功的话，则多次掷骰子的结果是一个p=1/6的伯努利过程。&/p&&ol&&li&&b&马尔可夫链&/b&[1]&/li&&/ol&&p&伯努利过程比较乏味，因为得到正面的概率是个固定值p，每次抛掷的结果互相独立，这种独立性是构成之前所介绍的“赌徒谬误”的基础。&/p&&p&然而，真实随机变量之间，往往存在着互相依赖的关系。比如说，考虑明天北京下雨或天晴的可能性，一般来说与北京今天、昨天的气候状况有关。&/p&&img src=&/v2-4bed003dda526fbb2218d9_b.jpg& data-rawwidth=&498& data-rawheight=&187& class=&origin_image zh-lightbox-thumb& width=&498& data-original=&/v2-4bed003dda526fbb2218d9_r.jpg&&&p&&i&图2：典型的马尔可夫过程&/i&&/p&&p&简单而言，假设明天下雨的概率只与今天的天气有关，则“雨晴”的转换可以用一个如图2a的图形来描述。图中，“雨”和“晴” 两种状态之间被数条带箭头的曲线连接。这些连线表示从今天的状态，如何预测明天的状态。比如说，从状态“雨”出发有两条连线：结束于状态“晴”的右边那一条标上了“0.6”，意思是说：“今天雨明天晴的概率是60%”；左边曲线绕了一圈又返回“雨”，标识0.4，即“明天继续下雨的概率是40%”。可以类似地理解从状态“晴”出发的两条曲线：如果今天晴，那么明天有80%的可能性晴，20%的可能性下雨。&/p&&p&时间上离散的过程，也被称为“链”，上述例子是一个典型的、也是最简单的马尔可夫链，它也得名于俄罗斯数学家安德烈·马尔可夫（Andreyevich Markov，）。马尔可夫链具有马尔可夫性质，也被称为“无记忆性”或“无后效性”，即下一状态的概率分布只由当前状态决定，与过去的事件无关。反映到上述案例中，明天“晴雨”的概率只与今天的状态有关，而与昨天以及更早之前的气候均无关。&/p&&p&除了用图形来表示马尔可夫链之外，“雨晴”变换关系也可以用图2b的转换矩阵P来描述。矩阵中的数值，表示系统演化“一步”后状态之间的转移概率。矩阵表示中的状态是一个矢量，图2b中，今天的状态被表示为一个分量为0.3和0.7的矢量，明天的状态则由P乘以今天之状态而得到。&/p&&img src=&/v2-959be3dfb4fec798ebc1_b.jpg& data-rawwidth=&561& data-rawheight=&257& class=&origin_image zh-lightbox-thumb& width=&561& data-original=&/v2-959be3dfb4fec798ebc1_r.jpg&&&p&&i&图3：时齐马尔可夫链&/i&&/p&&p&值得注意的是，上述矩阵中的转移概率并不随时间而变化，即矩阵中的各个元（0.4, 0.6, 0.2, 0.8）的数值是固定的，这种马尔可夫过程页叫做时齐马尔可夫过程。比如说，如图3所示，假设北京任何一天的“晴雨”状态都由前一天的状态乘以同样的转换矩阵P而得到，则这个过程是时齐的。通常考虑的马尔可夫过程，都被假定是“时齐”的。&/p&&p&除了“时齐”性之外，人们还对长时间后趋于稳定状态的马尔科夫过程颇为感兴趣。&/p&&p&假设一周内的股票市场只用简单的3种状态表示：牛市、熊市、停滞不前。其转移概率如图4所示。&/p&&img src=&/v2-28362fcaf8d1dd15bca71cb3dfb9e60f_b.jpg& data-rawwidth=&592& data-rawheight=&256& class=&origin_image zh-lightbox-thumb& width=&592& data-original=&/v2-28362fcaf8d1dd15bca71cb3dfb9e60f_r.jpg&&&p&&i&图4：股票市场的极限概率分布&/i&&/p&&p&当时间足够长的时候，这个马尔可夫链产生的一系列随机状态趋向一个极限向量，即图4中右下角所示的矢量Xlimit =[0.47, 0.3, 0.23]，也就是系统最后的稳态向量。按照这个特殊的股票市场模型，长远的市场趋势趋于稳定，即每周的股票情况是：47%的概率是牛市、30%熊市、23%停滞不前。&/p&&ol&&li&&b&酒鬼失足、赌徒破产及鸟儿回家&/b&&/li&&/ol&&p&无规行走可以看做是马尔科夫链的特例[2]，它的状态空间不是像上述抛硬币等例子中那种由简单的几种有限的基本状态构成的，而是由无限延伸的“物理空间”构成，这儿的“空间”可以是任意维度的。&/p&&p&那么，为什么说酒鬼漫步是马尔可夫链呢？因为，醉汉在时刻 ti+1 的状态（即位置）仅由他在时刻 ti 的状态（xi, yi），以及他随机选择的方向所决定，与过去（ti 之前）走过的路径无关。&/p&&p&我们再来讨论一个“酒鬼掉下悬崖”的趣题。前文曾经介绍过高尔顿钉板实验，可作为一维无规行走的例子。高尔顿钉板虽然貌似一个二维空间，但因为小球在垂直方向的运动并不是随机的，而是每次固定向下1格，因此可以视作一个向下的时间轴，而水平方向则是一个一维无规行走，见图5。&/p&&img src=&/v2-6b9105219bbe762418aba_b.jpg& data-rawwidth=&437& data-rawheight=&184& class=&origin_image zh-lightbox-thumb& width=&437& data-original=&/v2-6b9105219bbe762418aba_r.jpg&&&p&&i&图5：求一维酒鬼掉下悬崖的概率&/i&&/p&&p&在图5中，钉板的水平方向为x轴，垂直向下为时间轴。悬崖处设为x=0（图5左边虚线）。假设酒鬼（顶端的小球）起始时位于x=n的格点位置，即离悬崖有n格之遥。酒鬼朝下漫步过程中的每一步，向右（x增大）概率为p，向左概率为（1-p）。现在问：酒鬼从位置n漫游，掉下悬崖的概率是多少（悬崖的位置在x=0处，所以，当随机变量x的值到达0，可作为酒鬼掉下了悬崖的判据）？&/p&&p&先考虑一个简化的具体问题，比如说，设酒鬼漫步时向右走的概率p=2/3，向左走的概率为q=1-p=1/3，那么，酒鬼从x=1的位置开始漫游掉下悬崖的概率是多少？&/p&&p&也许有人会很快就得出答案：酒鬼从x=1向左走一步就到了悬崖，而他向左走的概率为1/3。那么，他掉下悬崖的概率不就是1/3吗？事情并不是那么简单。1/3是酒鬼第一步向左走掉下悬崖的概率，但他第一步向右走仍然有可能掉下悬崖，比如说，右走一步之后又再左走两步不也一样到达x=0的格点吗？所以，掉下悬崖的总概率比1/3要大，要加上第一步向右走到了x=2的点但后来仍然掉下悬崖的概率。&/p&&p&为了更清楚地分析这个问题，我们将酒鬼从x=1处漫步到x=0处的概率记为P1。这个概率显然就是刚才简化问题中要求解的：从x=1处开始漫步掉入悬崖的概率。同时，从这个问题的平移对称性考虑，P1也是酒鬼从任何x=k左移一个格点，漫步（不管多少步）到达x=k-1格点位置的概率。需要注意：酒鬼走一步，与他的格点位置移动一格是两码事，位置从x=k左移到x=k-1，也许要走好几步，这与两点之间的“路径与位移”是一个道理。&/p&&p&除了P1之外，将从x=2处开始漫步掉入悬崖的概率记为P2=P12 ，x=3处的概率记为P3=P13……以此类推，如刚才所分析的，对P1可以列出一个等式：&/p&&p&P1 = 1-p+pP12&/p&&p&其中，p是酒鬼朝悬崖反方向游走的概率。由此可以解出P1 = 1或者P1= (1-p)/p。对这个问题有意义的解是P1= (1-p)/p，Pn=P1n 。&/p&&p&当p=1/2时，P1=1，意味着酒鬼最终一定会掉下悬崖；当p1，Pn也一样，但概率最多只能为1。所以，如果酒鬼朝悬崖反方向的概率不足1/2的话，无论他开始时距离悬崖多远，酒鬼也是肯定要掉下悬崖的；如果p=2/3，算出P1=1/2，Pn=(1/2)n，n越大，即酒鬼初始位置离悬崖越远，失足的可能性便越小。&/p&&p&无规行走模型的应用范围很广，酒鬼失足悬崖的问题也有许多不同的故事版本，但描述的数学模型基本一致。比如说，赌徒破产问题就是其中一例：赌徒在赌场赌博，赢的概率是p，输的概率1-p，每次的赌注为1元，假设赌徒最开始时有赌金n元，赢了赌金加一元，输了赌金减一元。问：赌徒输光的概率是多少？这个问题与上面解决的酒鬼悬崖问题的数学模型完全一样，赌金的数目对应于酒鬼漫步中的一维距离x，悬崖位置x=0便对应于赌金输光赌徒破产。从上面分析可知，即使p=1/2，酒鬼也必定掉下悬崖，即赌徒最终一定破产。&/p&&p&酒鬼失足问题还可以稍加变换构成一些新型的趣题。比如说，假设酒鬼的路上两边都有悬崖，计算分别掉到两边悬崖的概率；赌博问题上，便相当于两个赌徒A和B赌博，看谁先输光。&/p&&p&也可以假设酒鬼的路上根本没有悬崖，且路的两头都可以无限延伸，酒鬼从自家门口出发，要你计算，酒鬼出去漫游之后，最后还能够回到家的概率等于多少？&/p&&p&美籍匈牙利数学家波利亚（George Pólya，）认真研究了以上所提的“酒鬼回家”问题[3]。&/p&&p&根据刚才的讨论，酒鬼随机游走在长度无限（一维）没有悬崖的路上，时左时右，但只要时间足够长，他最终总能回到出发点。因此，最终回家的概率是100% 。二维的情形也类似，只要时间足够长，这个醉鬼总能回到家，概率仍然是 100% 。波利亚在 1921 年证明了这点，但三维的答案又如何呢？&/p&&p&波利亚令人吃惊地证明了在维数比2更高的情况下，酒鬼回家的概率远小于1！比如，在三维网格中随机游走，最终能回到出发点的概率只有 34% ，这也被称为波利亚定理（见图6）。&/p&&img src=&/v2-ffa_b.jpg& data-rawwidth=&593& data-rawheight=&230& class=&origin_image zh-lightbox-thumb& width=&593& data-original=&/v2-ffa_r.jpg&&&p&&i&图6：“酒鬼小鸟回家”定理&/i&&/p&&p&酒鬼不可能在空中游走，而鸟儿的活动空间却是三维的，因此，美国日裔数学家角谷静夫（Shizuo Kakutani，）将波利亚定理用一句通俗又十分风趣的语言来总结：喝醉的酒鬼总能找到回家的路，喝醉的小鸟则可能永远也回不了家[4]。&/p&&p&无规行走也是物理学中布朗运动的数学模型，欲知详情，且听下回分解。&/p&&p&&br&&/p&&p&&b&参考文献：&/b&&/p&&p&【1】维基百科：马尔可夫链&/p&&p&&a href=&/?target=https%3A//zh.wikipedia.org/wiki/%25E9%25A9%25AC%25E5%25B0%%258F%25AF%25E5%25A4%25AB%25E9%2593%25BE& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&zh.wikipedia.org/wiki/%&/span&&span class=&invisible&&E9%A9%AC%E5%B0%94%E5%8F%AF%E5%A4%AB%E9%93%BE&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&【2】wikipedia：&a href=&/?target=https%3A//en.wikipedia.org/wiki/Random_walk& class=& external& target=&_blank& rel=&nofollow noreferrer&&&span class=&invisible&&https://&/span&&span class=&visible&&en.wikipedia.org/wiki/R&/span&&span class=&invisible&&andom_walk&/span&&span class=&ellipsis&&&/span&&i class=&icon-external&&&/i&&/a&&/p&&p&【3】Finch, S. R. &Pólya's Random Walk Constant.& §5.9 in Mathematical Constants. Cambridge, England: Cambridge University Press, pp. 322-331, 2003.&/p&&p&【4】A joke by Shizuo Kakutani at a UCLA colloquium talk as attributed in Rick Durrett's book Probability:Theory and Examples.&/p&&p&&br&&/p&&p&制版编辑：吕浩然丨&/p&&p&&b&本页刊发内容未经书面许可禁止转载及使用&/b&&/p&&p&&b&公众号、报刊等转载请联系授权&/b&&/p&&p&&b&知识分子&/b&为更好的智趣生活&b&ID：The-Intellectual&/b&&/p&
图片来源：编者按：前几篇主要介绍了概率与统计中的两个重要学派：频率学派和贝叶斯学派，从而引申出了概率与统计领域最基本的问题：什么是概率、它又从何而来。而此篇则将以概率与统计中一个重要的概念——随机过程作为起点，去探讨一…
&p&论脑洞，我只服Paul Krugman（1978）这篇&a href=&///?target=http%3A///s%3Fwd%3Dpaperuri%253A%d17d68a2d44e71e844f36d3e97a%2529%26filter%3Dsc_long_sign%26sc_ks_para%3Dq%253DTHE%2520THEORY%2520OF%2520INTERSTELLAR%2520TRADE%26sc_us%3Dtn%3DSE_baiduxueshu_c1gjeupa%26ie%3Dutf-8& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&THE THEORY OF INTERSTELLAR TRADE&i class=&icon-external&&&/i&&/a&。&/p&&img src=&/v2-2eff4d2b38fda1aff14cf87_b.png& data-rawwidth=&620& data-rawheight=&288& class=&origin_image zh-lightbox-thumb& width=&620& data-original=&/v2-2eff4d2b38fda1aff14cf87_r.png&&&p&这篇论文佐证了相比于经济学奖，Krugman更应该拿文学奖。以下是他的两个“无用却正确”的定理：&/p&&blockquote&星际贸易理论第一基本定理：当贸易发生在两个处于同一惯性系中的星球之间时，运输中的货物的利率成本应该根据惯性系的时钟来计算，而非运输工具上的时钟。&/blockquote&&p&以及，&/p&&blockquote&星际贸易理论第二基本定理：若智能生命体能够在同一惯性系的两个星球上持有资产，那么竞争将会使两个星球的利率均等化。&/blockquote&&p&以下是Krugman（1978）的经典语录：&/p&&blockquote&Is it too much to suggest that current work might prove as influential in this development as the work of Adam Smith was in the initial settlement of Massachusetts and Virginia?&/blockquote&&p&刚刚看完《星球大战》的Krugman燃烧了自己的中二之魂：“这样说会不会有点过：我现在在星际贸易理论方面的工作，最终会变得像马萨诸塞州与弗吉尼亚州殖民地开辟之际，亚当斯密的工作一样影响深远？”&/p&&blockquote&These complications make the theory of interstellar trade appear at first quite alien to ou presumably it seems equally human to alien trade theorists.&/blockquote&&p&双关……“星际贸易理论乍看上去与传统贸易模型很alien，不过想必对于alien贸易学家来说它看上去一样地human”。&/p&&blockquote&I do not pretend to develop here a theory which is UNIVERSALLY valid, but it may at least have some GALATIC relevance.&/blockquote&&p&&br&&/p&&blockquote&The remainder of this paper is, will be, or has been, depending on the reader's inertial frame, divided into three sections.&/blockquote&&p&“本文余下的内容分为，或将分为，或已经分为三个部分，取决读者所处的惯性系。”&/p&&blockquote&It should be noted that, while the subject of this paper is silly, the analysis actcually does make sense. This paper, then, is a serious analysis of a ridiculous subject, which of course, is the opposite of what is usual in economics.&/blockquote&&p&“读者应该注意，尽管本文的主题是愚蠢的，但是本文的分析却是有道理的。因此，本文是对一个荒谬的主题的严肃分析，与一般经济学研究恰恰相反。”&/p&&blockquote&physicists are not as tolerant as economists of the practice of assuming difficulties away&/blockquote&&p&在用假设把困难问题排除掉这方面，物理学家可没有经济学家那么宽容。&/p&&blockquote&This can easily be demostrated by representing the voyage in Minkowski space-time, i.e., withe a real space axis and an imaginary time axis. The ship's velocity can then be represented by a
the rotation of the time axis is shown in Figure II.&/blockquote&&p&……这可以很简单地在Minkowski space-time中展示，也就是说用实数（real）轴表示空间，用虚数（Imaginary）轴表示时间。飞船的速度可以用坐标轴的旋转来表示；时间轴的旋转如图二所示。&/p&&p&&br&&/p&&img src=&/v2-ca9ac76eae9_b.png& data-rawwidth=&402& data-rawheight=&523& class=&content_image& width=&402&&&blockquote&(Readers who find Figure II puzzling should recall that a diagram of an imaginary axis must, of course, itself be imaginary.)&/blockquote&&p&（读者们若对图二感到困惑，应该注意：一幅表示虚数轴（imaginary axis）的示意图，本身就应该是imaginary的）&/p&&blockquote&Readers may, however, wish to use general relativity to extend the analysis to trade between planets with large relative motion. This extension is left as an exercise for interested readers because the author does not understand the theory of general relativity, and therefore cannot do it himself.&/blockquote&&p&然而，读者也许希望使用广义相对论推广上文（在狭义相对论框架下）的分析。这样的推广留作课后习题，因为作者本人也不懂广义相对论……&/p&&blockquote&A proof of the First Fundermental Theorem in the presence of transportation costs may be found in an unwritten working paper by the auther (Krugman 1987).&/blockquote&&p&存在运输成本的前提下，对第一基本定理的证明可以参考本文作者的一篇未写的工作论文（Krugman, 1987）&/p&&p&最后一段又中二起来了：&/p&&blockquote&宇宙空间是否是经济学的最后边疆？可以肯定，本文仅仅是这个主题的第一次探索，然而它的可能性却是无穷的（当然，在蜷曲的时空里，它的可能性是“无穷”（limitless）的同时，也可以是有尽（finite）的！）。我甚至还没有涉及到迷人的星际金融学！&/blockquote&&p&&br&&/p&&blockquote&Those of us working on this field are still a small band, but we know the Force is with us.&/blockquote&&p&我们研究这个领域的人还只是少数，但是我们知道，原力与我们同在。&/p&&p&这下你该理解为什么会有以下的封面设计了吧：&/p&&p&&br&&/p&&img src=&/v2-eb6f0674507aeca4474eecbad47b5cd4_b.png& data-rawwidth=&310& data-rawheight=&444& class=&content_image& width=&310&&&p&参考文献：&/p&&p&Krugman P. THE THEORY OF INTERSTELLAR TRADE[J]. Economic Inquiry, ):.&/p&&p&-----------------------------------&/p&&p&想起了另一篇刊在《经济学（季刊）》上的文章，《&a href=&///?target=http%3A//ki.net/KCMS/detail/detail.aspx%3Fdbcode%3DCJFQ%26dbname%3DCJFDLAST2016%26filename%3DJJXUuid%3DWEEvREcwSlJHSldRa1Fhb09jMjQydEc3WHZOcmc5RStWTFh5RHBhZnE5UT0%3D%25249A4hF_YAuvQ5obgVAqNKPCYcEjKensW4ggI8Fm4gTkoUKaID8j8gFw& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&好男人都结婚了吗?&i class=&icon-external&&&/i&&/a&》。毕竟经济学帝国主义，没有啥是它不能研究的。&/p&&p&&br&&/p&&img src=&/v2-59a1beefab0a5d558f4dffd8ccb32aa8_b.png& data-rawwidth=&684& data-rawheight=&477& class=&origin_image zh-lightbox-thumb& width=&684& data-original=&/v2-59a1beefab0a5d558f4dffd8ccb32aa8_r.png&&
论脑洞，我只服Paul Krugman（1978）这篇。这篇论文佐证了相比于经济学奖，Krugman更应该拿文学奖。以下是他的两个“无用却正确”的定理：星际贸易理论第一基本定理：当贸易发生在两个处于同一惯性系中的星球之间时，运输…
&p&泻药，这真是个好问题&/p&&p&其实鱼是可以在空气中呼吸的！！！&/p&&p&首先，呼吸的原理，所有动物呼吸的必须靠身体或身体的某个部位和空气充分接触。
这样才能发生有效气体交换。
个体很小的动物体表就足够充分接触，所以不需要专门的呼吸器官。&/p&&img src=&/v2-74e2e6eb0ac76e60dd7dacf0f562c155_b.jpg& data-rawwidth=&1111& data-rawheight=&846& class=&origin_image zh-lightbox-thumb& width=&1111& data-original=&/v2-74e2e6eb0ac76e60dd7dacf0f562c155_r.jpg&&&p&鱼鳃的结构，超多的分支鳃丝，每条鳃丝上还有无数的鳃小片，毛细血管极其丰富，形成极大的表面积。&/p&&p&&img src=&/v2-f2805cffe0f701f29467ceb6d13b31a6_b.jpg& data-rawwidth=&620& data-rawheight=&480& class=&origin_image zh-lightbox-thumb& width=&620& data-original=&/v2-f2805cffe0f701f29467ceb6d13b31a6_r.jpg&&&/p&&br&&p&鱼的鳃必须泡在水里才能在鳃丝软骨的弹性作用下彻底舒展开每一根鳃丝，达到最大表面积，在鳃盖一张一合的配合下（看起来就是鱼嘴一张一合），水流过鳃丝，完成气体交换。&/p&&p&到了空气中，鳃丝被水的张力黏在一起，表面积大大减小，呼吸能力大大降低。&/p&&p&因此，结论就是鱼可以在空气中呼吸，只是呼吸的效率大大降低。&/p&&br&&p&不过靠一些人工手段，鱼在空气中还是能呼吸存活较长的一段时间。 &/p&&p&这里一定要提到弓鱼技术。 &/p&&p&弓鱼是福建建瓯地区不靠水运输活鱼的独特技术。&/p&&img src=&/v2-0b88f7bd82e9d0d601fa_b.jpg& data-rawwidth=&500& data-rawheight=&333& class=&origin_image zh-lightbox-thumb& width=&500& data-original=&/v2-0b88f7bd82e9d0d601fa_r.jpg&&&br&&img src=&/v2-e44f2c4b633_b.jpg& data-rawwidth=&502& data-rawheight=&357& class=&origin_image zh-lightbox-thumb& width=&502& data-original=&/v2-e44f2c4b633_r.jpg&&&p&（光骑自行车也能卖活鱼）&/p&&img src=&/v2-232d965b679abc0cbf3f7e7_b.jpg& data-rawwidth=&500& data-rawheight=&625& class=&origin_image zh-lightbox-thumb& width=&500& data-original=&/v2-232d965b679abc0cbf3f7e7_r.jpg&&&br&&img src=&/v2-35bcb240c79eb0562251_b.jpg& data-rawwidth=&541& data-rawheight=&363& class=&origin_image zh-lightbox-thumb& width=&541& data-original=&/v2-35bcb240c79eb0562251_r.jpg&&&p&如图头尾栓结成弓状，鳃盖被迫打开，鳃丝直接接触空气，空气一直处于流动状态通过鱼鳃，这样鱼就能在空气中小小地呼吸了。过一段时间，鳃丝脱水干燥坏死，鱼就会窒息而亡。&/p&&p&弓好的鱼可以在空气中存活十多个小时。&/p&&p&（端起碗来吃鱼，放下筷子谈鱼道的，有多远滚多远，一律删评拉黑不谢）&/p&
泻药，这真是个好问题其实鱼是可以在空气中呼吸的！！！首先，呼吸的原理，所有动物呼吸的必须靠身体或身体的某个部位和空气充分接触。
这样才能发生有效气体交换。
个体很小的动物体表就足够充分接触，所以不需要专门的呼吸器官。鱼鳃的结构，超多的分支鳃…
&img src=&/50/b_b.jpg& data-rawwidth=&489& data-rawheight=&388& class=&origin_image zh-lightbox-thumb& width=&489& data-original=&/50/b_r.jpg&&&p&PCA（Principal Component Analysis）是一种常用的数据分析方法。PCA通过线性变换将原始数据变换为一组各维度线性无关的表示，可用于提取数据的主要特征分量，常用于高维数据的降维。网上关于PCA的文章有很多，但是大多数只描述了PCA的分析过程，而没有讲述其中的原理。这篇文章的目的是介绍PCA的基本数学原理，帮助读者了解PCA的工作机制是什么。&/p&&p&当然我并不打算把文章写成纯数学文章，而是希望用直观和易懂的方式叙述PCA的数学原理，所以整个文章不会引入严格的数学推导。希望读者在看完这篇文章后能更好的明白PCA的工作原理。&/p&&h2&1. 数据的向量表示及降维问题&/h2&&p&一般情况下，在数据挖掘和&a href=&/?target=http%3A//lib.csdn.net/base/2& class=& wrap external& target=&_blank& rel=&nofollow noreferrer&&机器学习&i class=&icon-external&&&/i&&/a&中，数据被表示为向量。例如某个淘宝店2012年全年的流量及交易情况可以看成一组记录的集合，其中每一天的数据是一条记录，格式如下：&/p&&p&(日期, 浏览量, 访客数, 下单数, 成交数, 成交金额)&/p&&p&其中“日期”是一个记录标志而非度量值，而数据挖掘关心的大多是度量值，因此如果我们忽略日期这个字段后，我们得到一组记录，每条记录可以被表示为一个五维向量，其中一条看起来大约是这个样子：&/p&&img src=&/equation?tex=%%2C25%2C13%2C%5E%5Cmathsf%7BT%7D& alt=&(500,240,25,13,2312.15)^\mathsf{T}& eeimg=&1&&&br&&p&注意这里我用了转置，因为习惯上使用列向量表示一条记录（后面会看到原因），本文后面也会遵循这个准则。不过为了方便有时我会省略转置符号，但我们说到向量默认都是指列向量。&/p&&p&我们当然可以对这一组五维向量进行分析和挖掘，不过我们知道，很多机器学习算法的复杂度和数据的维数有着密切关系，甚至与维数呈指数级关联。当然，这里区区五维的数据，也许还无所谓，但是实际机器学习中处理成千上万甚至几十万维的情况也并不罕见，在这种情况下，机器学习的资源消耗是不可接受的，因此我们必须对数据进行降维。&/p&&p&降维当然意味着信息的丢失，不过鉴于实际数据本身常常存在的相关性，我们可以想办法在降维的同时将信息的损失尽量降低。&/p&&p&举个例子，假如某学籍数据有两列M和F，其中M列的取值是如何此学生为男性取值1，为女性取值0；而F列是学生为女性取值1，男性取值0。此时如果我们统计全部学籍数据，会发现对于任何一条记录来说，当M为1时F必定为0，反之当M为0时F必定为1。在这种情况下，我们将M或F去掉实际上没有任何信息的损失，因为只要保留一列就可以完全还原另一列。&/p&&p&当然上面是一个极端的情况，在现实中也许不会出现，不过类似的情况还是很常见的。例如上面淘宝店铺的数据，从经验我们可以知道，“浏览量”和“访客数”往往具有较强的相关关系，而“下单数”和“成交数”也具有较强的相关关系。这里我们非正式的使用“相关关系”这个词，可以直观理解为“当某一天这个店铺的浏览量较高（或较低）时，我们应该很大程度上认为这天的访客数也较高（或较低）”。后面的章节中我们会给出相关性的严格数学定义。&/p&&p&这种情况表明，如果我们删除浏览量或访客数其中一个指标，我们应该期待并不会丢失太多信息。因此我们可以删除一个，以降低机器学习算法的复杂度。&/p&&p&上面给出的是降维的朴素思想描述，可以有助于直观理解降维的动机和可行性，但并不具有操作指导意义。例如，我们到底删除哪一列损失的信息才最小？亦或根本不是单纯删除几列，而是通过某些变换将原始数据变为更少的列但又使得丢失的信息最小？到底如何度量丢失信息的多少？如何根据原始数据决定具体的降维操作步骤？&/p&&p&要回答上面的问题，就要对降维问题进行数学化和形式化的讨论。而PCA是一种具有严格数学基础并且已被广泛采用的降维方法。下面我不会直接描述PCA，而是通过逐步分析问题，让我们一起重新“发明”一遍PCA。&/p&&h2&2. 向量的表示及基变换&/h2&&p&既然我们面对的数据被抽象为一组向量，那么下面有必要研究一些向量的数学性质。而这些数学性质将成为后续导出PCA的理论基础。&/p&&h2&3. 内积与投影&/h2&&p&下面先来看一个高中就学过的向量运算：内积。两个维数相同的向量的内积被定义为：&/p&&img src=&/equation?tex=%28a_1%2Ca_2%2C%5Ccdots%2Ca_n%29%5E%5Cmathsf%7BT%7D%5Ccdot+%28b_1%2Cb_2%2C%5Ccdots%2Cb_n%29%5E%5Cmathsf%7BT%7D%3Da_1b_1%2Ba_2b_2%2B%5Ccdots%2Ba_nb_n& alt=&(a_1,a_2,\cdots,a_n)^\mathsf{T}\cdot (b_1,b_2,\cdots,b_n)^\mathsf{T}=a_1b_1+a_2b_2+\cdots+a_nb_n& eeimg=&1&&&br&&p&内积运算将两个向量映射为一个实数。其计算方式非常容易理解，但是其意义并不明显。下面我们分析内积的几何意义。假设&img src=&/equation?tex=A& alt=&A& eeimg=&1&&和&img src=&/equation?tex=B& alt=&B& eeimg=&1&&是两个&img src=&/equation?tex=n& alt=&n& eeimg=&1&&维向量，我们知道&img src=&/equation?tex=n& alt=&n& eeimg=&1&&维向量可以等价表示为&img src=&/equation?tex=n& alt=&n& eeimg=&1&&维空间中的一条从原点发射的有向线段，为了简单起见我们假设&img src=&/equation?tex=A& alt=&A& eeimg=&1&&和&img src=&/equation?tex=B& alt=&B& eeimg=&1&&均为二维向量，则&img src=&/equation?tex=A%3D%28x_1%2Cy_1%29& alt=&A=(x_1,y_1)& eeimg=&1&&，&img src=&/equation?tex=B%3D%28x_2%2Cy_2%29& alt=&B=(x_2,y_2)& eeimg=&1&&。则在二维平面上&img src=&/equation?tex=A& alt=&A& eeimg=&1&&和&img src=&/equation?tex=B& alt=&B& eeimg=&1&&可以用两条发自原点的有向线段表示，见下图：&/p&&img src=&/8d64151ceed0eed4de6374dc_b.png& data-rawwidth=&598& data-rawheight=&593& class=&origin_image zh-lightbox-thumb& width=&598& data-original=&/8d64151ceed0eed4de6374dc_r.png&&&p&好，现在我们从&img src=&/equation?tex=A& alt=&A& eeimg=&1&&点向&img src=&/equation?tex=B& alt=&B& eeimg=&1&&所在直线引一条垂线。我们知道垂线与&img src=&/equation?tex=B& alt=&B& eeimg=&1&&的交点叫做&img src=&/equation?tex=A& alt=&A& eeimg=&1&&在&img src=&/equation?tex=B& alt=&B& eeimg=&1&&上的投影，再设&img src=&/equation?tex=A& alt=&A& eeimg=&1&&与&img src=&/equation?tex=B& alt=&B& eeimg=&1&&的夹角是&img src=&/equation?tex=%5Calpha+& alt=&\alpha & eeimg=&1&&，则投影的矢量长度为&img src=&/equation?tex=%7CA%7Ccos%28%5Calpha+%29& alt=&|A|cos(\alpha )& eeimg=&1&&，其中&img src=&/equation?tex=%7CA%7C%3D%5Csqrt%7Bx_1%5E2%2By_1%5E2%7D& alt=&|A|=\sqrt{x_1^2+y_1^2}& eeimg=&1&&是向量&img src=&/equation?tex=A& alt=&A& eeimg=&1&&的模，也就是&img src=&/equation?tex=A& alt=&A& eeimg=&1&&线段的标量长度。&/p&&p&注意这里我们专门区分了矢量长度和标量长度，标量长度总是大于等于0，值就是线段的长度；而矢量长度可能为负，其绝对值是线段长度，而符号取决于其方向与标准方向相同或相反。&/p&&p&到这里还是看不出内积和这东西有什么关系，不过如果我们将内积表示为另一种我们熟悉的形式：&/p&&img src=&/equation?tex=A%5Ccdot+B%3D%7CA%7C%7CB%7Ccos%28%5Calpha+%29& alt=&A\cdot B=|A||B|cos(\alpha )& eeimg=&1&&&br&&p&现在事情似乎是有点眉目了：&img src=&/equation?tex=A& alt=&A& eeimg=&1&&与&img src=&/equation?tex=B& alt=&B& eeimg=&1&&的内积等于&img src=&/equation?tex=A& alt=&A& eeimg=&1&&到&img src=&/equation?tex=B& alt=&B& eeimg=&1&&的投影长度乘以&img src=&/equation?tex=B& alt=&B& eeimg=&1&&的模。再进一步，如果我们假设&img src=&/equation?tex=B& alt=&B& eeimg=&1&&的模为1，即让&img src=&/equation?tex=%7CB%7C%3D1& alt=&|B|=1& eeimg=&1&&，那么就变成了：&/p&&img src=&/equation?tex=A%5Ccdot+B%3D%7CA%7Ccos%28%5Calpha+%29& alt=&A\cdot B=|A|cos(\alpha )& eeimg=&1&&&br&&p&也就是说，设向量&img src=&/equation?tex=B& alt=&B& eeimg=&1&&的模为1，则&img src=&/equation?tex=A& alt=&A& eeimg=&1&&与&img src=&/equation?tex=B& alt=&B& eeimg=&1&&的内积值等于&img src=&/equation?tex=A& alt=&A& eeimg=&1&&向&img src=&/equation?tex=B& alt=&B& eeimg=&1&&所在直线投影的矢量长度！这就是内积的一种几何解释，也是我们得到的第一个重要结论。在后面的推导中，将反复使用这个结论。&/p&&h2&4. 基&/h2&&p&下面我们继续在二维空间内讨论向量。上文说过，一个二维向量可以对应二维笛卡尔直角坐标系中从原点出发的一个有向线段。例如下面这个向量：&/p&&p&&img src=&/df6a713c1b97cc55bd20afce46ace718_b.png& data-rawwidth=&599& data-rawheight=&596& class=&origin_image zh-lightbox-thumb& width=&599& data-original=&/df6a713c1b97cc55bd20afce46ace718_r.png&&在代数表示方面，我们经常用线段终点的点坐标表示向量，例如上面的向量可以表示为&img src=&/equation?tex=%283%2C2%29& alt=&(3,2)& eeimg=&1&&，这是我们再熟悉不过的向量表示。&/p&&p&不过我们常常忽略，只有一个&img src=&/equation?tex=%283%2C2%29& alt=&(3,2)& eeimg=&1&&本身是不能够精确表示一个向量的。我们仔细看一下，这里的3实际表示的是向量在x轴上的投影值是3，在y轴上的投影值是2。也就是说我们其实隐式引入了一个定义：以x轴和y轴上正方向长度为1的向量为标准。那么一个向量&img src=&/equation?tex=%283%2C2%29& alt=&(3,2)& eeimg=&1&&实际是说在x轴投影为3而y轴的投影为2。注意投影是一个矢量，所以可以为负。&/p&&p&更正式的说，向量(x,y)实际上表示线性组合：&/p&&img src=&/equation?tex=x%281%2C0%29%5E%5Cmathsf%7BT%7D%2By%280%2C1%29%5E%5Cmathsf%7BT%7D& alt=&x(1,0)^\mathsf{T}+y(0,1)^\mathsf{T}& eeimg=&1&&&br&&p&不难证明所有二维向量都可以表示为这样的线性组合。此处&img src=&/equation?tex=%281%2C0%29& alt=&(1,0)& eeimg=&1&&和&img src=&/equation?tex=%280%2C1%29& alt=&(0,1)& eeimg=&1&&叫做二维空间中的一组基。&/p&&img src=&/b4b5ea98c90f2abed81d470_b.png& data-rawwidth=&598& data-rawheight=&594& class=&origin_image zh-lightbox-thumb& width=&598& data-original=&/b4b5ea98c90f2abed81d470_r.png&&&p&&b&所以，要准确描述向量，首先要确定一组基，然后给出在基所在的各个直线上的投影值，就可以了。&/b&只不过我们经常省略第一步，而默认以(1,0)和(0,1)为基。&/p&&p&我们之所以默认选择(1,0)和(0,1)为基，当然是比较方便，因为它们分别是x和y轴正方向上的单位向量，因此就使得二维平面上点坐标和向量一一对应，非常方便。但实际上任何两个线性无关的二维向量都可以成为一组基，所谓线性无关在二维平面内可以直观认为是两个不在一条直线上的向量。&/p&&p&例如，(1,1)和(-1,1)也可以成为一组基。一般来说，我们希望基的模是1，因为从内积的意义可以看到，如果基的模是1，那么就可以方便的用向量点乘基而直接获得其在新基上的坐标了！实际上，对应任何一个向量我们总可以找到其同方向上模为1的向量，只要让两个分量分别除以模就好了。例如，上面的基可以变为&img src=&/equation?tex=%28%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%2C%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%29& alt=&(\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}})& eeimg=&1&&和&img src=&/equation?tex=%28-%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%2C%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%29& alt=&(-\frac{1}{\sqrt{2}},\frac{1}{\sqrt{2}})& eeimg=&1&&。&/p&&p&现在，我们想获得(3,2)在新基上的坐标，即在两个方向上的投影矢量值，那么根据内积的几何意义，我们只要分别计算(3,2)和两个基的内积，不难得到新的坐标为&img src=&/equation?tex=%28%5Cfrac%7B5%7D%7B%5Csqrt%7B2%7D%7D%2C-%5Cfrac%7B1%7D%7B%5Csqrt%7B2%7D%7D%29& alt=&(\frac{5}{\sqrt{2}},-\frac{1}{\sqrt{2}})& eeimg=&1&&。下图给出了新的基以及(3,2)在新基上坐标值的示意图：&/p&&img src=&/ff47d66fa67d78fa6b78d_b.png& data-rawwidth=&598& data-rawheight=&595& class=&origin_image zh-lightbox-thumb& width=&598& data-original=&/ff47d66fa67d78fa6b78d_r.png&&&p&另外这里要注意的是，我们列举的例子中基是正交的（即内积为0，或直观说相互垂直），但可以成为一组基的唯一要求就是线性无关，非正交的基也是可以的。不过因为正交基有较好的性质，所以一般使用的基都是正交的。&/p&&h2&5. 基变换的矩阵表示&/h2&&p&下面我们找一种简便的方式来表示基变换。还是拿上面的例子，想一下，将(3,2)变换为新基上的坐标，就是用(3,2)与第一个基做内积运算，作为第一个新的坐标分量，然后用(3,2)与第二个基做内积运算，作为第二个新坐标的分量。实际上，我们可以用矩阵相乘的形式简洁的表示这个变换：&/p&&img src=&/equation?tex=%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D+%5Cbegin%7Bpmatrix%7D+3+%5C%5C+2+%5Cend%7Bpmatrix%7D+%3D+%5Cbegin%7Bpmatrix%7D+5%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix} \begin{pmatrix} 3 \\ 2 \end{pmatrix} = \begin{pmatrix} 5/\sqrt{2} \\ -1/\sqrt{2} \end{pmatrix}& eeimg=&1&&&br&&p&太漂亮了！其中矩阵的两行分别为两个基，乘以原向量，其结果刚好为新基的坐标。可以稍微推广一下，如果我们有m个二维向量，只要将二维向量按列排成一个两行m列矩阵，然后用“基矩阵”乘以这个矩阵，就得到了所有这些向量在新基下的值。例如(1,1)，(2,2)，(3,3)，想变换到刚才那组基上，则可以这样表示：&/p&&img src=&/equation?tex=%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D+%5Cbegin%7Bpmatrix%7D+1+%26+2+%26+3+%5C%5C+1+%26+2+%26+3+%5Cend%7Bpmatrix%7D+%3D+%5Cbegin%7Bpmatrix%7D+2%2F%5Csqrt%7B2%7D+%26+4%2F%5Csqrt%7B2%7D+%26+6%2F%5Csqrt%7B2%7D+%5C%5C+0+%26+0+%26+0+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix} \begin{pmatrix} 1 & 2 & 3 \\ 1 & 2 & 3 \end{pmatrix} = \begin{pmatrix} 2/\sqrt{2} & 4/\sqrt{2} & 6/\sqrt{2} \\ 0 & 0 & 0 \end{pmatrix}& eeimg=&1&&&br&&p&于是一组向量的基变换被干净的表示为矩阵的相乘。&/p&&p&一般的，如果我们有M个N维向量，想将其变换为由R个N维向量表示的新空间中，那么首先将R个基按行组成矩阵A，然后将向量按列组成矩阵B，那么两矩阵的乘积AB就是变换结果，其中AB的第m列为A中第m列变换后的结果。&/p&&p&数学表示为：&/p&&img src=&/equation?tex=%5Cbegin%7Bpmatrix%7D+p_1+%5C%5C+p_2+%5C%5C+%5Cvdots+%5C%5C+p_R+%5Cend%7Bpmatrix%7D+%5Cbegin%7Bpmatrix%7D+a_1+%26+a_2+%26+%5Ccdots+%26+a_M+%5Cend%7Bpmatrix%7D+%3D+%5Cbegin%7Bpmatrix%7D+p_1a_1+%26+p_1a_2+%26+%5Ccdots+%26+p_1a_M+%5C%5C+p_2a_1+%26+p_2a_2+%26+%5Ccdots+%26+p_2a_M+%5C%5C+%5Cvdots+%26+%5Cvdots+%26+%5Cddots+%26+%5Cvdots+%5C%5C+p_Ra_1+%26+p_Ra_2+%26+%5Ccdots+%26+p_Ra_M+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} p_1 \\ p_2 \\ \vdots \\ p_R \end{pmatrix} \begin{pmatrix} a_1 & a_2 & \cdots & a_M \end{pmatrix} = \begin{pmatrix} p_1a_1 & p_1a_2 & \cdots & p_1a_M \\ p_2a_1 & p_2a_2 & \cdots & p_2a_M \\ \vdots & \vdots & \ddots & \vdots \\ p_Ra_1 & p_Ra_2 & \cdots & p_Ra_M \end{pmatrix}& eeimg=&1&&&br&&p&其中&img src=&/equation?tex=p_i& alt=&p_i& eeimg=&1&&是一个行向量，表示第&img src=&/equation?tex=i& alt=&i& eeimg=&1&&个基，&img src=&/equation?tex=a_j& alt=&a_j& eeimg=&1&&是一个列向量，表示第&img src=&/equation?tex=j& alt=&j& eeimg=&1&&个原始数据记录。&/p&&p&特别要注意的是，这里R可以小于N，而R决定了变换后数据的维数。也就是说，我们可以将一N维数据变换到更低维度的空间中去，变换后的维度取决于基的数量。因此这种矩阵相乘的表示也可以表示降维变换。&/p&&p&最后，上述分析同时给矩阵相乘找到了一种物理解释：两个矩阵相乘的意义是将右边矩阵中的每一列列向量变换到左边矩阵中每一行行向量为基所表示的空间中去。更抽象的说，一个矩阵可以表示一种线性变换。很多同学在学线性代数时对矩阵相乘的方法感到奇怪，但是如果明白了矩阵相乘的物理意义，其合理性就一目了然了。&/p&&h1&6. 协方差矩阵及优化目标&/h1&&p&上面我们讨论了选择不同的基可以对同样一组数据给出不同的表示，而且如果基的数量少于向量本身的维数，则可以达到降维的效果。但是我们还没有回答一个最最关键的问题：如何选择基才是最优的。或者说，如果我们有一组N维向量，现在要将其降到K维（K小于N），那么我们应该如何选择K个基才能最大程度保留原有的信息？&/p&&p&要完全数学化这个问题非常繁杂，这里我们用一种非形式化的直观方法来看这个问题。&/p&&p&为了避免过于抽象的讨论，我们仍以一个具体的例子展开。假设我们的数据由五条记录组成，将它们表示成矩阵形式：&/p&&img src=&/equation?tex=%5Cbegin%7Bpmatrix%7D+1+%26+1+%26+2+%26+4+%26+2+%5C%5C+1+%26+3+%26+3+%26+4+%264+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} 1 & 1 & 2 & 4 & 2 \\ 1 & 3 & 3 & 4 &4 \end{pmatrix}& eeimg=&1&&&br&&p&其中每一列为一条数据记录，而一行为一个字段。为了后续处理方便，我们首先将每个字段内所有值都减去字段均值，其结果是将每个字段都变为均值为0（这样做的道理和好处后面会看到）。&/p&&p&我们看上面的数据，第一个字段均值为2，第二个字段均值为3，所以变换后：&/p&&img src=&/equation?tex=%5Cbegin%7Bpmatrix%7D+-1+%26+-1+%26+0+%26+2+%26+0+%5C%5C+-2+%26+0+%26+0+%26+1+%26+1+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}& eeimg=&1&&&br&&p&我们可以看下五条数据在平面直角坐标系内的样子：&/p&&p&&img src=&/eb59ef81a_b.png& data-rawwidth=&598& data-rawheight=&592& class=&origin_image zh-lightbox-thumb& width=&598& data-original=&/eb59ef81a_r.png&&现在问题来了：如果我们必须使用一维来表示这些数据，又希望尽量保留原始的信息，你要如何选择？&/p&&p&通过上一节对基变换的讨论我们知道，这个问题实际上是要在二维平面中选择一个方向，将所有数据都投影到这个方向所在直线上，用投影值表示原始记录。这是一个实际的二维降到一维的问题。&/p&&p&那么如何选择这个方向（或者说基）才能尽量保留最多的原始信息呢？一种直观的看法是：希望投影后的投影值尽可能分散。&/p&&p&以上图为例，可以看出如果向x轴投影，那么最左边的两个点会重叠在一起，中间的两个点也会重叠在一起，于是本身四个各不相同的二维点投影后只剩下两个不同的值了，这是一种严重的信息丢失，同理，如果向y轴投影最上面的两个点和分布在x轴上的两个点也会重叠。所以看来x和y轴都不是最好的投影选择。我们直观目测，如果向通过第一象限和第三象限的斜线投影，则五个点在投影后还是可以区分的。&/p&&p&下面，我们用数学方法表述这个问题。&/p&&h2&7. 方差&/h2&&p&上文说到，我们希望投影后投影值尽可能分散，而这种分散程度，可以用数学上的方差来表述。此处，一个字段的方差可以看做是每个元素与字段均值的差的平方和的均值，即：&/p&&img src=&/equation?tex=Var%28a%29%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7B%28a_i-%5Cmu%29%5E2%7D& alt=&Var(a)=\frac{1}{m}\sum_{i=1}^m{(a_i-\mu)^2}& eeimg=&1&&&br&&p&由于上面我们已经将每个字段的均值都化为0了，因此方差可以直接用每个元素的平方和除以元素个数表示：&/p&&img src=&/equation?tex=Var%28a%29%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_i%5E2%7D& alt=&Var(a)=\frac{1}{m}\sum_{i=1}^m{a_i^2}& eeimg=&1&&&img src=&/equation?tex=Var%28a%29%3D%5Cfrac%7B1%7D+%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_i%5E2%7D& alt=&Var(a)=\frac{1} {m}\sum_{i=1}^m{a_i^2}& eeimg=&1&&&br&&p&于是上面的问题被形式化表述为：寻找一个一维基，使得所有数据变换为这个基上的坐标表示后，方差值最大。&/p&&h2&8. 协方差&/h2&&p&对于上面二维降成一维的问题来说，找到那个使得方差最大的方向就可以了。不过对于更高维，还有一个问题需要解决。考虑三维降到二维问题。与之前相同，首先我们希望找到一个方向使得投影后方差最大，这样就完成了第一个方向的选择，继而我们选择第二个投影方向。&/p&&p&如果我们还是单纯只选择方差最大的方向，很明显，这个方向与第一个方向应该是“几乎重合在一起”，显然这样的维度是没有用的，因此，应该有其他约束条件。从直观上说，让两个字段尽可能表示更多的原始信息，我们是不希望它们之间存在（线性）相关性的，因为相关性意味着两个字段不是完全独立，必然存在重复表示的信息。&/p&&p&数学上可以用两个字段的协方差表示其相关性，由于已经让每个字段均值为0，则：&/p&&img src=&/equation?tex=Cov%28a%2Cb%29%3D%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_ib_i%7D& alt=&Cov(a,b)=\frac{1}{m}\sum_{i=1}^m{a_ib_i}& eeimg=&1&&&br&&p&可以看到，在字段均值为0的情况下，两个字段的协方差简洁的表示为其内积除以元素数m。&/p&&p&当协方差为0时，表示两个字段完全独立。为了让协方差为0，我们选择第二个基时只能在与第一个基正交的方向上选择。因此最终选择的两个方向一定是正交的。&/p&&p&至此，我们得到了降维问题的优化目标：将一组N维向量降为K维（K大于0，小于N），其目标是选择K个单位（模为1）正交基，使得原始数据变换到这组基上后，各字段两两间协方差为0，而字段的方差则尽可能大（在正交的约束下，取最大的K个方差）。&/p&&h2&9. 协方差矩阵&/h2&&p&上面我们导出了优化目标，但是这个目标似乎不能直接作为操作指南（或者说算法），因为它只说要什么，但根本没有说怎么做。所以我们要继续在数学上研究计算方案。&/p&&p&我们看到，最终要达到的目的与字段内方差及字段间协方差有密切关系。因此我们希望能将两者统一表示，仔细观察发现，两者均可以表示为内积的形式，而内积又与矩阵相乘密切相关。于是我们来了灵感：&/p&&p&假设我们只有a和b两个字段，那么我们将它们按行组成矩阵X：&/p&&img src=&/equation?tex=X%3D%5Cbegin%7Bpmatrix%7D+a_1+%26+a_2+%26+%5Ccdots+%26+a_m+%5C%5C+b_1+%26+b_2+%26+%5Ccdots+%26+b_m+%5Cend%7Bpmatrix%7D& alt=&X=\begin{pmatrix} a_1 & a_2 & \cdots & a_m \\ b_1 & b_2 & \cdots & b_m \end{pmatrix}& eeimg=&1&&&br&&p&然后我们用X乘以X的转置，并乘上系数1/m：&/p&&img src=&/equation?tex=%5Cfrac%7B1%7D%7Bm%7DXX%5E%5Cmathsf%7BT%7D%3D%5Cbegin%7Bpmatrix%7D+%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_i%5E2%7D+%26+%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_ib_i%7D+%5C%5C+%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Ba_ib_i%7D+%26+%5Cfrac%7B1%7D%7Bm%7D%5Csum_%7Bi%3D1%7D%5Em%7Bb_i%5E2%7D+%5Cend%7Bpmatrix%7D& alt=&\frac{1}{m}XX^\mathsf{T}=\begin{pmatrix} \frac{1}{m}\sum_{i=1}^m{a_i^2} & \frac{1}{m}\sum_{i=1}^m{a_ib_i} \\ \frac{1}{m}\sum_{i=1}^m{a_ib_i} & \frac{1}{m}\sum_{i=1}^m{b_i^2} \end{pmatrix}& eeimg=&1&&&br&&p&奇迹出现了！这个矩阵对角线上的两个元素分别是两个字段的方差，而其它元素是a和b的协方差。两者被统一到了一个矩阵的。&/p&&p&根据矩阵相乘的运算法则，这个结论很容易被推广到一般情况：&/p&&p&设我们有&img src=&/equation?tex=m& alt=&m& eeimg=&1&&个&img src=&/equation?tex=n& alt=&n& eeimg=&1&&维数据记录，将其按列排成&img src=&/equation?tex=n& alt=&n& eeimg=&1&&乘&img src=&/equation?tex=m& alt=&m& eeimg=&1&&的矩阵&img src=&/equation?tex=+X& alt=& X& eeimg=&1&&，设&img src=&/equation?tex=C%3D%5Cfrac%7B1%7D%7Bm%7DXX%5E%5Cmathsf%7BT%7D& alt=&C=\frac{1}{m}XX^\mathsf{T}& eeimg=&1&&，则&img src=&/equation?tex=C& alt=&C& eeimg=&1&&是一个对称矩阵，其对角线分别个各个字段的方差，而第&img src=&/equation?tex=i& alt=&i& eeimg=&1&&行&img src=&/equation?tex=j& alt=&j& eeimg=&1&&列和&img src=&/equation?tex=j& alt=&j& eeimg=&1&&行&img src=&/equation?tex=i& alt=&i& eeimg=&1&&列元素相同，表示&img src=&/equation?tex=i& alt=&i& eeimg=&1&&和&img src=&/equation?tex=j& alt=&j& eeimg=&1&&两个字段的协方差。&/p&&h2&10. 协方差矩阵对角化&/h2&&p&根据上述推导，我们发现要达到优化目前，等价于将协方差矩阵对角化：即除对角线外的其它元素化为0，并且在对角线上将元素按大小从上到下排列，这样我们就达到了优化目的。这样说可能还不是很明晰，我们进一步看下原矩阵与基变换后矩阵协方差矩阵的关系：&/p&&p&设原始数据矩阵X对应的协方差矩阵为C，而P是一组基按行组成的矩阵，设Y=PX，则Y为X对P做基变换后的数据。设Y的协方差矩阵为D，我们推导一下D与C的关系：&/p&&img src=&/equation?tex=%5Cbegin%7Barray%7D%7Bl+l+l%7D+D+%26+%3D+%26+%5Cfrac%7B1%7D%7Bm%7DYY%5E%5Cmathsf%7BT%7D+%5C%5C+%26+%3D+%26+%5Cfrac%7B1%7D%7Bm%7D%28PX%29%28PX%29%5E%5Cmathsf%7BT%7D+%5C%5C+%26+%3D+%26+%5Cfrac%7B1%7D%7Bm%7DPXX%5E%5Cmathsf%7BT%7DP%5E%5Cmathsf%7BT%7D+%5C%5C+%26+%3D+%26+P%28%5Cfrac%7B1%7D%7Bm%7DXX%5E%5Cmathsf%7BT%7D%29P%5E%5Cmathsf%7BT%7D+%5C%5C+%26+%3D+%26+PCP%5E%5Cmathsf%7BT%7D+%5Cend%7Barray%7D& alt=&\begin{array}{l l l} D & = & \frac{1}{m}YY^\mathsf{T} \\ & = & \frac{1}{m}(PX)(PX)^\mathsf{T} \\ & = & \frac{1}{m}PXX^\mathsf{T}P^\mathsf{T} \\ & = & P(\frac{1}{m}XX^\mathsf{T})P^\mathsf{T} \\ & = & PCP^\mathsf{T} \end{array}& eeimg=&1&&&br&&p&现在事情很明白了！我们要找的P不是别的，而是能让原始协方差矩阵对角化的P。换句话说，优化目标变成了寻找一个矩阵P，满足&img src=&/equation?tex=PCP%5E%5Cmathsf%7BT%7D& alt=&PCP^\mathsf{T}& eeimg=&1&&是一个对角矩阵，并且对角元素按从大到小依次排列，那么P的前K行就是要寻找的基，用P的前K行组成的矩阵乘以X就使得X从N维降到了K维并满足上述优化条件。&/p&&p&至此，我们离“发明”PCA还有仅一步之遥！&/p&&p&现在所有焦点都聚焦在了协方差矩阵对角化问题上，有时，我们真应该感谢数学家的先行，因为矩阵对角化在线性代数领域已经属于被玩烂了的东西，所以这在数学上根本不是问题。&/p&&p&由上文知道，协方差矩阵&img src=&/equation?tex=C& alt=&C& eeimg=&1&&是一个是对称矩阵，在线性代数上，实对称矩阵有一系列非常好的性质：&/p&&p&1）实对称矩阵不同特征值对应的特征向量必然正交。&/p&&p&2）设特征向量&img src=&/equation?tex=%5Clambda& alt=&\lambda& eeimg=&1&&重数为r，则必然存在r个线性无关的特征向量对应于&img src=&/equation?tex=%5Clambda& alt=&\lambda& eeimg=&1&&，因此可以将这r个特征向量单位正交化。&/p&&p&由上面两条可知，一个&img src=&/equation?tex=n& alt=&n& eeimg=&1&&行&img src=&/equation?tex=n& alt=&n& eeimg=&1&&列的实对称矩阵一定可以找到n个单位正交特征向量，设这&img src=&/equation?tex=n& alt=&n& eeimg=&1&&个特征向量为&img src=&/equation?tex=e_1%2Ce_2%2C%5Ccdots%2Ce_n& alt=&e_1,e_2,\cdots,e_n& eeimg=&1&&，我们将其按列组成矩阵：&/p&&img src=&/equation?tex=E%3D%5Cbegin%7Bpmatrix%7D+e_1+%26+e_2+%26+%5Ccdots+%26+e_n+%5Cend%7Bpmatrix%7D& alt=&E=\begin{pmatrix} e_1 & e_2 & \cdots & e_n \end{pmatrix}& eeimg=&1&&&br&&p&则对协方差矩阵C有如下结论：&/p&&img src=&/equation?tex=E%5E+%5Cmathsf%7BT%7DCE%3D%5CLambda%3D%5Cbegin%7Bpmatrix%7D+%5Clambda_1+%26+%26+%26+%5C%5C+%26+%5Clambda_2+%26+%26+%5C%5C+%26+%26+%5Cddots+%26+%5C%5C+%26+%26+%26+%5Clambda_n+%5Cend%7Bpmatrix%7D& alt=&E^ \mathsf{T}CE=\Lambda=\begin{pmatrix} \lambda_1 & & & \\ & \lambda_2 & & \\ & & \ddots & \\ & & & \lambda_n \end{pmatrix}& eeimg=&1&&&br&&p&其中&img src=&/equation?tex=%5CLambda& alt=&\Lambda& eeimg=&1&&为对角矩阵，其对角元素为各特征向量对应的特征值（可能有重复）。&/p&&p&以上结论不再给出严格的数学证明，对证明感兴趣的朋友可以参考线性代数书籍关于“实对称矩阵对角化”的内容。&/p&&p&到这里，我们发现我们已经找到了需要的矩阵P：&/p&&img src=&/equation?tex=P%3DE%5E%5Cmathsf%7BT%7D& alt=&P=E^\mathsf{T}& eeimg=&1&&&br&&p&P是协方差矩阵的特征向量单位化后按行排列出的矩阵，其中每一行都是C的一个特征向量。如果设P按照&img src=&/equation?tex=%5CLambda& alt=&\Lambda& eeimg=&1&&中特征值的从大到小，将特征向量从上到下排列，则用P的前K行组成的矩阵乘以原始数据矩阵X，就得到了我们需要的降维后的数据矩阵Y。&/p&&p&至此我们完成了整个PCA的数学原理讨论。在下面的一节，我们将给出PCA的一个实例。&/p&&h1&11. 算法及实例&/h1&&p&为了巩固上面的理论，我们在这一节给出一个具体的PCA实例。&/p&&p&&b&PCA算法&/b&&/p&&p&总结一下PCA的算法步骤：&/p&&p&设有m条n维数据。&/p&&p&1）将原始数据按列组成n行m列矩阵X&/p&&p&2）将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值&/p&&p&3）求出协方差矩阵&img src=&/equation?tex=C%3D%5Cfrac%7B1%7D%7Bm%7DXX%5E%5Cmathsf%7BT%7D& alt=&C=\frac{1}{m}XX^\mathsf{T}& eeimg=&1&&&/p&&p&4）求出协方差矩阵的特征值及对应的特征向量&/p&&p&5）将特征向量按对应特征值大小从上到下按行排列成矩阵，取前k行组成矩阵P&/p&&p&6）Y=PX即为降维到k维后的数据&/p&&p&&b&实例1&/b&&/p&&p&这里以上文提到的&/p&&img src=&/equation?tex=%5Cbegin%7Bpmatrix%7D+-1+%26+-1+%26+0+%26+2+%26+0+%5C%5C+-2+%26+0+%26+0+%26+1+%26+1+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}& eeimg=&1&&&br&&p&为例，我们用PCA方法将这组二维数据其降到一维。&/p&&p&因为这个矩阵的每行已经是零均值，这里我们直接求协方差矩阵：&/p&&img src=&/equation?tex=C%3D+%5Cfrac+%7B1%7D%7B5%7D%5Cbegin%7Bpmatrix%7D+-1+%26+-1+%26+0+%26+2+%26+0+%5C%5C+-2+%26+0+%26+0+%26+1+%26+1+%5Cend%7Bpmatrix%7D%5Cbegin%7Bpmatrix%7D+-1+%26+-2+%5C%5C+-1+%26+0+%5C%5C+0+%26+0+%5C%5C+2+%26+1+%5C%5C+0+%26+1+%5Cend%7Bpmatrix%7D%3D%5Cbegin%7Bpmatrix%7D+%5Cfrac%7B6%7D%7B5%7D+%26+%5Cfrac%7B4%7D%7B5%7D+%5C%5C+%5Cfrac%7B4%7D%7B5%7D+%26+%5Cfrac%7B6%7D%7B5%7D+%5Cend%7Bpmatrix%7D& alt=&C= \frac {1}{5}\begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}\begin{pmatrix} -1 & -2 \\ -1 & 0 \\ 0 & 0 \\ 2 & 1 \\ 0 & 1 \end{pmatrix}=\begin{pmatrix} \frac{6}{5} & \frac{4}{5} \\ \frac{4}{5} & \frac{6}{5} \end{pmatrix}& eeimg=&1&&&br&&p&然后求其特征值和特征向量，具体求解方法不再详述，可以参考相关资料。求解后特征值为：&/p&&img src=&/equation?tex=%5Clambda_1%3D2%2C%5Clambda_2%3D2%2F5& alt=&\lambda_1=2,\lambda_2=2/5& eeimg=&1&&&br&&p&其对应的特征向量分别是：&/p&&img src=&/equation?tex=c_1%3D%5Cbegin%7Bpmatrix%7D+1+%5C%5C+1+%5Cend%7Bpmatrix%7D%2Cc_2%3D%5Cbegin%7Bpmatrix%7D+-1+%5C%5C+1+%5Cend%7Bpmatrix%7D& alt=&c_1=\begin{pmatrix} 1 \\ 1 \end{pmatrix},c_2=\begin{pmatrix} -1 \\ 1 \end{pmatrix}& eeimg=&1&&&br&&p&其中对应的特征向量分别是一个通解，&img src=&/equation?tex=c_1& alt=&c_1& eeimg=&1&&和&img src=&/equation?tex=c_2& alt=&c_2& eeimg=&1&&可取任意实数。那么标准化后的特征向量为：&/p&&img src=&/equation?tex=%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%5C%5C+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D%2C%5Cbegin%7Bpmatrix%7D+-1%2F%5Csqrt%7B2%7D+%5C%5C+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D& alt=&\begin{pmatrix} 1/\sqrt{2} \\ 1/\sqrt{2} \end{pmatrix},\begin{pmatrix} -1/\sqrt{2} \\ 1/\sqrt{2} \end{pmatrix}& eeimg=&1&&&br&&p&因此我们的矩阵P是：&/p&&img src=&/equation?tex=P%3D%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D& alt=&P=\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}& eeimg=&1&&&br&&p&可以验证协方差矩阵C的对角化：&/p&&img src=&/equation?tex=PCP%5E%5Cmathsf%7BT%7D%3D%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5C%5C+-1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D%5Cbegin%7Bpmatrix%7D+6%2F5+%26+4%2F5+%5C%5C+4%2F5+%26+6%2F5+%5Cend%7Bpmatrix%7D%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+-1%2F%5Csqrt%7B2%7D+%5C%5C+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D%3D%5Cbegin%7Bpmatrix%7D+2+%26+0+%5C%5C+0+%26+2%2F5+%5Cend%7Bpmatrix%7D& alt=&PCP^\mathsf{T}=\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \\ -1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}\begin{pmatrix} 6/5 & 4/5 \\ 4/5 & 6/5 \end{pmatrix}\begin{pmatrix} 1/\sqrt{2} & -1/\sqrt{2} \\ 1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}=\begin{pmatrix} 2 & 0 \\ 0 & 2/5 \end{pmatrix}& eeimg=&1&&&br&&br&&p&最后我们用P的第一行乘以数据矩阵，就得到了降维后的表示：&/p&&img src=&/equation?tex=Y%3D%5Cbegin%7Bpmatrix%7D+1%2F%5Csqrt%7B2%7D+%26+1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D%5Cbegin%7Bpmatrix%7D+-1+%26+-1+%26+0+%26+2+%26+0+%5C%5C+-2+%26+0+%26+0+%26+1+%26+1+%5Cend%7Bpmatrix%7D%3D%5Cbegin%7Bpmatrix%7D+-3%2F%5Csqrt%7B2%7D+%26+-1%2F%5Csqrt%7B2%7D+%26+0+%26+3%2F%5Csqrt%7B2%7D+%26+-1%2F%5Csqrt%7B2%7D+%5Cend%7Bpmatrix%7D& alt=&Y=\begin{pmatrix} 1/\sqrt{2} & 1/\sqrt{2} \end{pmatrix}\begin{pmatrix} -1 & -1 & 0 & 2 & 0 \\ -2 & 0 & 0 & 1 & 1 \end{pmatrix}=\begin{pmatrix} -3/\sqrt{2} & -1/\sqrt{2} & 0 & 3/\sqrt{2} & -1/\sqrt{2} \end{pmatrix}& eeimg=&1&&&br&&br&&p&降维投影结果如下图：&/p&&p&&b&&img src=&/bfefee84b03bbff7dde06f_b.png& data-rawwidth=&595& data-rawheight=&593& class=&origin_image zh-lightbox-thumb& width=&595& data-original=&/bfefee84b03bbff7dde06f_r.png&&实例2&/b&&/p&&div class=&highlight&&&pre&&code class=&language-matlab&&&span&&/span&&span class=&k&&function&/span& &span class=&nf&&linear_PCA&/span&
&span class=&c&&%% PARAMETERS&/span&
&span class=&n&&N&/span& &span class=&p&&=&/span& &span class=&mi&&500&/span&&span class=&p&&;&/span&
&span class=&c&&% number of data points&/span&
&span class=&n&&R&/span& &span class=&p&&=&/span& &span class=&p&&[&/span&&span class=&o&&-&/span&&span class=&p&&.&/span&&span class=&mi&&9&/span& &span class=&p&&.&/span&&span class=&mi&&4&/span&&span class=&p&&;&/span& &span class=&p&&.&/span&&span class=&mi&&1&/span& &span class=&p&&.&/span&&span class=&mi&&2&/span&&span class=&p&&];&/span& &span class=&c&&% covariance matrix&/span&
&span class=&c&&%% PROGRAM&/span&
&span class=&n&&tic&/span&
&span class=&n&&X&/span& &span class=&p&&=&/span& &span class=&nb&&randn&/span&&span class=&p&&(&/span&&span class=&n&&N&/span&&span class=&p&&,&/span&&span class=&mi&&2&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&R&/span&&span class=&p&&;&/span& &span class=&c&&% correlated two-dimensional data&/span&
&span class=&p&&[&/span&&span class=&n&&E&/span&&span class=&p&&,&/span&&span class=&n&&v&/span&&span class=&p&&,&/span&&span class=&n&&Xp&/span&&span class=&p&&]&/span& &span class=&p&&=&/span& &span class=&n&&km_pca&/span&&span class=&p&&(&/span&&span class=&n&&X&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&);&/span&
&span class=&c&&% obtain eigenvector matrix E, eigenvalues v and principal components Xp&/span&
&span class=&n&&toc&/span&
&span class=&c&&%% OUTPUT&/span&
&span class=&n&&Y&/span& &span class=&p&&=&/span& &span class=&n&&X&/span&&span class=&o&&*&/span&&span class=&n&&E&/span&&span class=&p&&(:,&/span&&span class=&mi&&2&/span&&span class=&p&&);&/span&
&span class=&n&&figure&/span&&span class=&p&&;&/span& &span class=&n&&hold&/span& &span class=&n&&on&/span&
&span class=&n&&plot&/span&&span class=&p&&(&/span&&span class=&n&&X&/span&&span class=&p&&(:,&/span&&span class=&mi&&1&/span&&span class=&p&&),&/span&&span class=&n&&X&/span&&span class=&p&&(:,&/span&&span class=&mi&&2&/span&&span class=&p&&),&/span&&span class=&s&&'.'&/span&&span class=&p&&)&/span&
&span class=&n&&plot&/span&&span class=&p&&(&/span&&span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&1&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&Xp&/span&&span class=&p&&,&/span&&span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&2&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&Xp&/span&&span class=&p&&,&/span&&span class=&s&&'.r'&/span&&span class=&p&&)&/span&
&span class=&n&&plot&/span&&span class=&p&&(&/span&&span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&1&/span&&span class=&p&&,&/span&&span class=&mi&&2&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&Y&/span&&span class=&p&&,&/span&&span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&2&/span&&span class=&p&&,&/span&&span class=&mi&&2&/span&&span class=&p&&)&/span&&span class=&o&&*&/span&&span class=&n&&Y&/span&&span class=&p&&,&/span&&span class=&s&&'.b'&/span&&span class=&p&&)&/span&
&span class=&n&&plot&/span&&span class=&p&&([&/span&&span class=&mi&&0&/span& &span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&1&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&)],[&/span&&span class=&mi&&0&/span& &span class=&n&&E&/span&&span class=&p&&(&/span&&span class=&mi&&2&/span&&span class=&p&&,&/span&&span class=&mi&&1&/span&&span class=&p&&)],&/span&&span class=&s&&'g'&/span&&span class=&p&&,&/span&&span class=&s&&'LineWidth'&/span&&span class=&p&&,&/span&&span class=&mi&&4&/span&&span class=&p&&)&/span&
&span class=&n&&plot&/span&&span class=&p&&([&/span&&span class=&mi&&0&/span& &span class=&n&&E&/span&&span class=&p&&(&/span&&span class=
