什么样的人能成为数据科学家？ 大学问网-教育科研社交网站热门推荐：
　　大数据文摘作品
　　原文作者: Christian Bonilla
　　选文&翻译: 吴佳乐 薛菲
　　校对:Aileen
　　本篇文章是大数据文摘志愿者吴佳乐推荐，虽然她只是大三学生，但是对数据充满激情，愿意付出，如果你与她类似，请点击文末&阅读原文&，填表，大数据文摘将组建学生群，让我们一起学习、共同进步。
　　数据科学家日益突显的影响力令人惊叹――每次读到这种论调的文章我都感到好笑。虽然不是所有文章都像《哈佛商业评论》一样宣称数据科学家将是“21世纪最热门的职业”，但是，几乎都是千篇一律的“我们预见了未来”的语气。我认为这种观点并没有错，但是在这种趋势中，我没有发现什么是值得惊奇或者是新鲜的。如果《洋葱报》(The Onion, 美国最受欢迎的幽默讽刺杂志)要报道，我想标题应该是：
　　“最新研究表明，精通数学和编程的人被大量地雇佣”。
　　这有什么新鲜的呢？自从上世纪70年代以来，擅长数学和编程的人们就在华尔街发家致富了。随着越来越多的公司产生海量的数据，对于数学和编程技能的需求已经延伸到了新兴的行业，更不必说技术部门了。但是，数学和编程只是价值正在迅速上升的量化分析能力中的一部分。去年8月纽约时报的一篇文章是一个极好的例子，能够说明新闻媒体对此的热切关注度：一位在旧金山工作的服务生Paul Minton，在决心成为一名数据科学家后，经过3个月的编程和数据分析课程，年薪就从2万变成了六位数。看呐，一个数据科学的奇迹！
　　补充一点细节（这篇文章指出了此点非常值得赞扬，虽然只是略带而过）：Minton拥有数学专业的本科学位。换句话说，他是一位非常聪明的服务生。我不了解Minton，也不想妄加评论他本人或者纽约时报或者服务生。但是，大多数人是没有天资在如此短的时间内实现同样的转变的。我在以前的博客和书中曾经说过，我是编程学校和非传统学习平台的忠实拥护者。但是不能只注意到Minton“仅仅3个月”就完成了他的非凡转变，却忽略了他之前数年的教育中包含了微积分，统计学，概率论和其他这些除了编程技术以外的高深课程，这些都是取得数学本科学位所必须的。我猜Minton至少对MATLAB有一点印象。对于大多数人而言，他们不仅没有数年的相关训练，而且即使接受免费培训他们也不一定能够掌握编程能力。我就是其中之一。
　　相比于我大学时期，现在的就业市场需要数学和统计学能力已经不再是秘密，但是这并不意味着它们更容易学习。在我大学的朋友中，我的量化分析能力至多是略高于平均水平。虽然我的微积分和统计学学得非常好，但是良好的数学基础使我能够应付我的经济学专业的同时，也让我发现擅长数学不再是我的长期优势。我清楚地认识到，我的职业生涯无法仅仅建立在我比其他人数学更好的基础上。对于数学，我想大多数人有这样的意识后都会比周围人更加困扰。
　　我之所以提出这些是希望当你为自己的数学学位感到害羞，听到数据科学家的需求量巨大就如听到国家橄榄球联盟的四分卫收入很高一样时，能够清醒地说，“是的，当然如此。”
　　好消息是，即使不能成为一位数据科学家，通过培养自己的数据思维，你仍然能够提升自身价值，使工作更出色。
　　◆ ◆ ◆
当今职场秘密武器：用数据说话
　　这些年有一件让事情让我震惊：大多数人对自己公司的数据的了解少之又少。我接触过的大多数公司里根本没有几个人有能力用最基本的方法分析他们的数据，更别提有足够的数据科学家人手了。最近有个大型酒店集团的营销经理向我吐槽：公司里“也就2-3个人”可以分析原始的销售数据，只有他们对业务和内部信息系统都有足够的了解。我接触的另一个商用品分销公司有几万名员工，但是只有5、6个人可以快速地回答公司高层提出的问题，其他的人要么不够了解数据库要么不够了解公司业务。还有一个大型零售连锁集团里只有很小一撮人可以很快地分析他们的原始数据。很多公司甚至专门设立了”客户洞察”部门。他们的使命是专门帮助其他部门解决跟那些该死的数据有关的问题。
　　是什么造成了这种现象呢？
　　这些公司的信息系统应该负一部分责任。现在有很多企业因为时间的积累或者是多次并购，继承了很多个不同类型的信息系统。这些系统对于没有技术背景的人来说非常难以使用。仅仅这一条就可以让大多数的人对于公司的原始数据望而却步。但是更大的障碍其实是人的惰性。就算公司有还不错的分析数据的工具（比如一个关系型数据库），也只有少数的人有耐心和好学心去了解。其他大多数人只是想等待数据出现在一个Excel表格里或者一个展示板上供他们使用。这不简单是需要学习一门新的查询语言（SQL）的问题。要想要明白公司的数据模型是怎样的，数据是怎么样存储的这些都需要反复实验，这会消耗很多耐心和精力。现实世界中的数据和在商学院中用的数据是完全不一样的，手里的数据永远没有书里的那么整洁可靠。这就是为什么绝大部分人都直接使用他们的IT部门整合好的数据。这些数据比较靠谱，不需要考虑太多跟数据本身无关的事情。
　　但是仅仅使用这些别人写好的数据报告和展示板有一个问题，就是你很难在职场中脱颖而出。因为大家的信息都是对称的，这些数据的一丝一毫所有人都看的清清楚楚。虽然数据的质量很重要，但这会大大限制你创新的能力。当你手中别人给你做好的数据并不能帮助你解答你想知道的问题时怎么办？举个例子，假设你想测试一下那些全家自驾游的客人在酒店的消费特征。这时你需要自己筛选分析那些只来过酒店一次，点了儿童菜单的东西到房间里而且还加了一张折叠床的客户。这种分析可以让你的老板认真听取你报告的内容。这种问题如果可以自己解决比要要别人帮助好十倍。
　　解决这些问题并不难，不需要高中毕业就可以搞定。你只需要合适的数据加上一颗好学心。
　　◆ ◆ ◆
提出简单的问题可以事半功倍
　　有人说聪明的人喜欢问复杂的问题，但是绝顶聪明的人往往会问简单的问题。的确，最重要的业务问题往往也是最简单的问题。比如：为什么客户没有选择竞争对手的产品而是选择了我们的产品？为什么曾经选择了我们产品的人却最终放弃了这个产品？我们应该为了增加销售量而降价吗？当你是职场新人的时候你往往在埋头做一些细节的工作，没人会问你这种问题。但随着你经验增多，真正可以搞定这些问题的时候你可以开始为解决公司最根本最重要的问题做贡献，升职加薪走向人生巅峰！
　　回顾我的职业生涯，我学到最有用的业务技能就是SQL，用这个语言我可以直接查询一个公司的原始运营数据，直接了解关于这个公司业务的基本特点。我渐渐发现自己很擅长提出不错的问题，需要的只是一些能帮我解决这些问题的工具。更重要的是，当一个人用过内部的数据库查询过公司的信息后你就会发现，使用数据库的经验可以教你提出更好的问题。说白了就是，用过数据库之后就知道怎样可以提出一个在数据库中可以精确回答的问题。这让人没有以前那么懒惰，因为计算机和人不一样，它并不懂得怎样揣摩你真正的意图。这样在不知不觉中就学会了如何更加系统地思考。
　　原文链接：/blog-native//not-a-data-scientist-no-problem-you-can-still-be-data-savvy-than-most
往期精彩文章推荐，点击图片可阅读
　　[干货] 一个数据科学家的新年计划
　　大师告诉你，学习数学有什么用
【编译团队简介】
（大数据文摘后台回复“志愿者”了解如何加入我们）
请先登录再操作
请先登录再操作
微信扫一扫分享至朋友圈
普及数据思维，传播数据文化；专注大数据，每日有分享。
知名IT评论人，曾就职于多家知名IT企业，现是科幻星系创建人
未来在这里发声。
新媒体的实践者、研究者和批判者。
立足终端领域，静观科技变化。深入思考，简单陈述。
智能硬件领域第一自媒体。'Connection refused(C#111, localhost:8384)',
'string' => '',
'code' => 0,
'file' => '/data/zimeiti/xunsearch/lib/XS.php',
'line' => 2481,
'trace' =>
'file' => '/data/zimeiti/xunsearch/lib/XS.php',
'line' => 2293,
'function' => 'connect',
'class' => 'XSServer',
'type' => '->',
'file' => '/data/zimeiti/xunsearch/lib/XS.php',
'line' => 1400,
'function' => 'open',
'class' => 'XSServer',
'type' => '->',
0 => '8384',
'file' => '/data/zimeiti/xunsearch/lib/XS.php',
'line' => 2278,
'function' => 'open',
'class' => 'XSSearch',
'type' => '->',
0 => '8384',
'file' => '/data/zimeiti/xunsearch/lib/XS.php',
'line' => 394,
'function' => '__construct',
'class' => 'XSServer',
'type' => '->',
0 => '8384',
XS::__set_state(array(
'_index' => NULL,
'_search' => NULL,
'_scws' => NULL,
'_scheme' =>
XSFieldScheme::__set_state(array(
'_fields' =>
XSFieldMeta::__set_state(array(
'name' => 'aid',
'cutlen' => 0,
'weight' => 1,
'type' => 10,
'vno' => 0,
'tokenizer' => 'full',
'flag' => 1,
'title' =>
XSFieldMeta::__set_state(array(
'name' => 'title',
'cutlen' => 0,
'weight' => 5,
'type' => 11,
'vno' => 1,
'tokenizer' => 0,
'flag' => 19,
XSFieldMeta::__set_state(array(
'name' => 'html',
'cutlen' => 300,
'weight' => 1,
'type' => 12,
'vno' => 255,
'tokenizer' => 0,
'flag' => 17,
'_typeMap' =>
10 => 'aid',
11 => 'title',
12 => 'html',
'_vnoMap' =>
0 => 'aid',
1 => 'title',
255 => 'html',
'_bindScheme' =>
XSFieldScheme::__set_state(array(
'_fields' =>
XSFieldMeta::__set_state(array(
'name' => 'aid',
'cutlen' => 0,
'weight' => 1,
'type' => 10,
'vno' => 0,
'tokenizer' => 'full',
'flag' => 1,
'title' =>
XSFieldMeta::__set_state(array(
'name' => 'title',
'cutlen' => 0,
'weight' => 5,
'type' => 11,
'vno' => 1,
'tokenizer' => 0,
'flag' => 19,
XSFieldMeta::__set_state(array(
'name' => 'html',
'cutlen' => 300,
'weight' => 1,
'type' => 12,
'vno' => 255,
'tokenizer' => 0,
'flag' => 17,
'_typeMap' =>
10 => 'aid',
11 => 'title',
12 => 'html',
'_vnoMap' =>
0 => 'aid',
1 => 'title',
255 => 'html',
'_config' =>
'project.name' => 'zimeiti',
'project.default_charset' => 'UTF-8',
'server.index' => '8383',
'server.search' => '8384',
'type' => 'id',
'title' =>
'type' => 'title',
'type' => 'body',
'file' => '/data/zimeiti/xunsearch/lib/XS.php',
'line' => 260,
'function' => 'getSearch',
'class' => 'XS',
'type' => '->',
'file' => '/data/zimeiti/include/common.php',
'line' => 33,
'function' => '__get',
'class' => 'XSComponent',
'type' => '->',
0 => 'search',
'file' => '/data/zimeiti/article.php',
'line' => 29,
'function' => 'similar',
0 => '566389',
'previous' => NULL,
点击上方“蓝色字体”可快捷关注。谢科，Twitter Data Science Team&Data Science = statistics who uses python and lives in San Francisco&恰好我马上启程到Twitter的data science team，而且恰巧懂一点点统计和住在旧金山，所以冲动地没有邀请就厚脸回答了:D我认为有几个大方面1）学好python现在几乎所以公司的数据都可以api给你，而python的数据处理能力强大且方便。加之在machine learning的很多算法上，python也独俏一方。另外，它的简明方便迅速迭代开发，15分钟写完个算法就可以看效果了。除此之外，py还有点酷酷的感觉。任何程序拿matlab和c++都是可以写的，不过我真没认识过哪个d愿意自己把自己扔那个不酷的框框里:D对不规则输入的处理也给python一个巨大的优势。通常来说，在我现在日常的工作里，所有的数据都是以纯文本但是非格式的形式存储的（raw text, unstructured data)。问题在于，这些文本不可以直接当作各种算法的输入，你需要分词，分句提取特征整理缺失数据除掉异类（outlier）在这些时候，python可谓是神器。这里做的1-4都可以直接在scikit-learn里面找到对应的工具，而且，即使是要自己写一个定制的算法处理某些特殊需求，也就是一百行代码的事情。简而言之，对于数据科学面临的挑战，python可以让你短平快地解决手中的问题，而不是担心太多实现细节。2）学好统计学习略拗口。统计学习的概念就是“统计机器学习方法”。统计和计算机科学前几十年互相平行着，互相造出了对方造出的一系列工具，算法。但是直到最近人们开始注意到，计算机科学家所谓的机器学习其实就是统计里面的prediction而已。因此这两个学科又开始重新融合。为什么统计学习很重要？因为，纯粹的机器学习讲究算法预测能力和实现，但是统计一直就强调“可解释性”。比如说，针对今天微博股票发行就上升20%，你把你的两个预测股票上涨还是下跌的model套在新浪的例子上，然后给你的上司看。Model-1有99%的预测能力，也就是99%的情况下它预测对，但是Model-2有95%，不过它有例外的一个附加属性——可以告诉你为什么这个股票上涨或者下跌。试问，你的上司会先哪个？问问你自己会选哪个？显然是后者。因为前者虽然有很强的预测力（机器学习），但是没有解释能力（统计解释）。而作为一个数据科学家，80%的时间你是需要跟客户，团队或者上司解释为什么A可行B不可行。如果你告诉他们，“我现在的神经网络就是能有那么好的预测力可是我根本就没法解释上来”，那么，没有人会愿意相信你。具体一些，怎么样学习统计学习？先学好基本的概率学。如果大学里的还给老师了（跟我一样），那么可以从MIT的概率论教材【1】入手。从第1章到第9章看完并做完所有的习题。（p.s.面试Twitter的时候被问到一个拿球后验概率的问题，从这本书上抓来的）。了解基本的统计检验及它们的假设，什么时候可以用到它们。快速了解统计学习有哪些术语，用来做什么目的，读这本【5】。学习基本的统计思想。有frequentist的统计，也有bayesian的统计。前者的代表作有【2】，后者看【3】。前者是统计学习的圣书，偏frequentist，后者是pattern recognition的圣书，几乎从纯bayesian的角度来讲。注意，【2】有免费版，作者把它全放在了网上。而且有一个简易版，如果感觉力不从心直接看【2】，那么可以先从它的简易版开始看。简易版【4】是作者在coursera上开课用的大众教材，简单不少（不过仍然有很多闪光点，通俗易懂）。对于【3】，一开始很难直接啃下来，但是啃下来会受益匪浅。注意，以上的书搜一下几乎全可以在网上搜到别人传的pdf。有条件的同学可以买一下纸制版来读，体验更好并且可以支持一下作者。所有的书我都买了纸制版，但是我知道在国内要买本书有多不方便（以及原版书多贵）。读完以上的书是个长期过程。但是大概读了一遍之后，我个人觉得是非常值得的。如果你只是知道怎么用一些软件包，那么你一定成不了一个合格的data scientist。因为只要问题稍加变化，你就不知道怎么解决了。如果你感觉自己是一个二吊子数据科学家（我也是）那么问一下下面几个问题，如果有2个答不上来，那么你就跟我一样，真的还是二吊子而已，继续学习吧。为什么在神经网络里面feature需要standardize而不是直接扔进去对Random Forest需要做Cross-Validatation来避免overfitting吗？用naive-bayesian来做bagging，是不是一个不好的选择？为什么？在用ensembe方法的时候，特别是Gradient Boosting Tree的时候，我需要把树的结构变得更复杂（high variance, low bias)还是更简单（low variance, high bias)呢？为什么？如果你刚开始入门，没有关系，回答不出来这些问题很正常。如果你是一个二吊子，体会一下，为什么你跟一流的data scientist还有些差距——因为你不了解每个算法是怎么工作，当你想要把你的问题用那个算法解决的时候，面对无数的细节，你就无从下手了。说个题外话，我很欣赏一个叫Jiro的寿司店，它的店长在（东京？）一个最不起眼的地铁站开了一家全世界最贵的餐馆，预订要提前3个月。怎么做到的？70年如一日练习如何做寿司。70年！除了丧娶之外的假期，店长每天必到，8个小时工作以外继续练习寿司做法。其实学数据科学也一样，沉下心来，练习匠艺。3）学习数据处理这一步不必独立于2）来进行。显然，你在读这些书的时候会开始碰到各种算法，而且这里的书里也会提到各种数据。但是这个年代最不值钱的就是数据了（拜托，为什么还要用80年代的“加州房价数据”？），值钱的是数据分析过后提供给决策的价值。那么与其纠结在这么悲剧的80年代数据集上，为什么不自己搜集一些呢？开始写一个小程序，用API爬下Twitter上随机的tweets（或者weibo吧。。。）对这些tweets的text进行分词，处理噪音（比如广告）用一些现成的label作为label，比如tweet里会有这条tweet被转发了几次尝试写一个算法，来预测tweet会被转发几次在未见的数据集上进行测试如上的过程不是一日之功，尤其刚刚开始入门的时候。慢慢来，耐心大于进度。4）变成全能工程师（full stack engineer）在公司环境下，作为一个新入职的新手，你不可能有优待让你在需要写一个数据可视化的时候，找到一个同事来给你做。需要写把数据存到数据库的时候，找另一个同事来给你做。况且即使你有这个条件，这样频繁切换上下文会浪费更多时间。比如你让同事早上给你塞一下数据到数据库，但是下午他才给你做好。或者你需要很长时间给他解释，逻辑是什么，存的方式是什么。最好的变法，是把你自己武装成一个全能工作师。你不需要成为各方面的专家，但是你一定需要各方面都了解一点，查一下文档可以上手就用。会使用NoSQL。尤其是MongoDB学会基本的visualization，会用基础的html和javascript，知道d3【6】这个可视化库，以及highchart【7】学习基本的算法和算法分析，知道如何分析算法复杂度。平均复杂度，最坏复杂度。每次写完一个程序，自己预计需要的时间（用算法分析来预测）。推荐普林斯顿的算法课【8】（注意，可以从算法1开始，它有两个版本）写一个基础的服务器，用flask【9】的基本模板写一个可以让你做可视化分析的backbone。学习使用一个顺手的IDE，VIM， pycharm都可以。5）读，读，读！除了闭门造车，你还需要知道其它数据科学家在做些啥。涌现的各种新的技术，新的想法和新的人，你都需要跟他们交流，扩大知识面，以便更好应对新的工作挑战。通常，非常厉害的数据科学家都会把自己的blog放到网上供大家参观膜拜。我推荐一些我常看的。另外，学术圈里也有很多厉害的数据科学家，不必怕看论文，看了几篇之后，你就会觉得：哈！我也能想到这个！读blog的一个好处是，如果你跟他们交流甚欢，甚至于你可以从他们那里要一个实习来做！betaworks首席数据科学家，Gilad Lotan的博客，我从他这里要的intern :D Gilad LotanEd Chi，六年本科硕士博士毕业的神人，google data science http:///Hilary Mason，bitly首席科学家，纽约地区人尽皆知的数据科学家：在它们这里看够了之后，你会发现还有很多值得看的blog（他们会在文章里面引用其它文章的内容），这样滚雪球似的，你可以有够多的东西早上上班的路上读了：）6）要不要上个研究生课程？先说我上的网络课程：Coursera.orghttps://www.coursera.org/course/machlearning前者就不说了，人人都知道。后者我则更喜欢，因为教得更广阔，上课的教授也是世界一流的机器学习学者，而且经常会有一些很妙的点出来，促进思考。对于是不是非要去上个研究生（尤其要不要到美国上），我觉得不是特别有必要。如果你收到了几个著名大学数据科学方向的录取，那开开心心地来，你会学到不少东西。但是如果没有的话，也不必纠结。我曾有幸上过或者旁听过美国这里一些顶级名校的课程，我感觉它的作用仍然是把你领进门，以及给你一个能跟世界上最聪明的人一个交流机会（我指那些教授）。除此之外，修行都是回家在寝室进行的。然而现在世界上最好的课程都摆在你的面前，为什么还要舍近求远呢。总结一下吧我很幸运地跟一些最好的数据科学家交流共事过，从他们的经历看和做事风格来看，真正的共性是他们都很聪明——你也可以他们都很喜欢自己做的东西——如果你不喜欢应该也不会看这个问题他们都很能静下心来学东西——如果足够努力你也可以【1】Introduction to Probability and Statistics【2】Hastie, Trevor, et al. The elements of statistical learning. Vol. 2. No. 1. New York: Springer, 2009. 免费版【3】Bishop, Christopher M. Pattern recognition and machine learning. Vol. 1. New York: springer, 2006.【4】Introduction to Statistical Learning 免费版【5】Wasserman, Larry. All of statistics: a concise course in statistical inference. Springer, 2004.【6】http://d3js.org/【7】http://www./【8】Coursera.org【9】http://flask.pocoo.org/扫描下方“二维码”欢迎关注。
你也许也会喜欢
& .cc All Rights Reserved. 内容版权问题请联系 admin#955.cc如果说“大数据”是一扇门，使人们得以更深入地认识这个世界和世界上的人，那么，数据科学家就是把这扇门推开的人。我们所做的工作，是收集和处理数据，建立模型，预测事件——从人群预警到商业决策，数据都可以提供可靠的参考。夸张点儿说，在这个信息时代，数据科学家仿佛充当了先知的角色。那么，如何做一名数据科学家？数据科学家需要什么样的素质和技能，工作中采用何种思维方式，是怎样面对隐私问题的？尽可以在这里问我。
共76个提问，
澎湃新闻APP下载