360开机时间排名——正态分布应用案例_小蚊子数据分析_【传送门】
360开机时间排名——正态分布应用案例
小蚊子数据分析
在这里，我给大家使用一个案例，一个大家在日常生活中经常看到，但是却可能没有深入去思考的案例，来讲解一下统计学的应用场景，这个场景涉及到的一个理论就是正态分布理论。 下面两个图案你们肯定非常熟悉，对，就是360杀毒软件的开机耗时页面。 大家脑洞大开，想象一下，这个功能软件工程师是怎么设计的呢？ 你可能会觉得它是这样子实现的： 1、收集所有用户的开机时间的数据，排好序放在一个数据库中； 2、然后根据你的开机时间，找出你的排名，除以总用户数，就是你击败电脑占比。 是的，这样子设计排名算法是非常合理，但是有以下几个问题： 1、你电脑开机的时候，没有连接网络怎么办呢？那就无法请求到所有的用户的数据了对吧。 2、就算所有的用户的数据，已经下载到你本地，根据不完全统计，360的用户数，估计也超过10亿了吧，上10亿行的数据进行比较统计，放在开机这个地方，恐怕不妥，而且做过软件开发的人都知道，这种同步数据的方式，非常蛋疼。 那么我觉得它是怎么设计的呢？ 我会这样子设计，首先，收集尽量多的用户的开机时间，然后，查看时间的分布如何。（开机时间数据链接: /s/1jGu8ZXk 密码: epah）注：以下代码均为R语言代码实现 data <- read.csv("D:\\data\\\\startTime.csv") mean(data[, 1]) sd(data[, 1]) hist(
data[, 1], prob=TRUE,
main="开机时间频率直方图",
ylab="频率", xlab="开机时间（秒）" ) lines(density(data[, 1]), col="red") 从这个图中，我们可以看到，开机时间貌似符合正态分布，有戏！对吧，但是我只能用貌似，因为我还没有检测数据的正态性，好，我们使用R来检测一下开机时间是否符合正态分布。 检测正态分布的方法： 绘制QQ图，QQ图判断法：查看我们的数据，是否绝大部分落在中间直线的附近。 qqnorm(
data[, 1],
main="QQ图",
ylab="y", xlab="x" ); qqline(data[, 1]); 可以看到，QQ图中，所有的点都落在了中间的直线上，直观上我们就可以判断这个数据的分布符合正态分布了。 验证了数据是正态分布的之后，事情就变得非常简单了，下面我们来看看如何进行建模。 一、建立正态分布的模型，只需要求出正态分布的均值和标准差即可，也就是： data_mean <- mean(data[, 1]) data_sd <- sd(data[, 1]) > data_mean [1] 50.7848 > data_sd [1] 11.10776 二、然后保存这个数据在软件中，有一个用户开机时间为38秒，那么他的排名是多少呢？ > 1 - pnorm(38, mean=data_mean, sd=data_sd) [1] 0.8751295 也就是说，我们使用pnorm函数，根据正态分布的性质，就可以求出这个用户的排名是87.5%了。 这样子设计这个功能，是否非常地简单，快捷呢？但是很多人可能想不到是这样子设计的，我自己根据自己的学习历程，思考了一下，为什么我们会想不到这个问题可以这样子解决呢？我觉得是大学教育的问题，大学里面，很多时候举例子，都是很传统的例子，大家在学习正态分布的时候，还记得教授给我们举例是用什么例子吗？对就是考试的平均分，以及学生成绩排名的例子，还记得吗？因为教授有很多这种学生的成绩数据嘛，刚好就拿来举例子，这没有什么不妥。 不妥的是，你们还记得这个排名是如何计算的吗？我估计你们已经忘记了，因为是一种非常笨重的方法，就是从一本标准正态分布表里面查的，艾玛，这么挫的方法，怎么可能让你觉得它是一个可以让计算机自动计算的问题呢？pnorm函数，完全可以替代那本所谓的标准正态分布表了，所以，如果大学里面大家都有pnorm这个函数，估计大家就可以想到这个方法了。 注：本文没有使用到奇虎360公司的任何数据，所有数据都是通过模拟出来的，方案也是我个人YY的，如果做对了，纯属巧合，如果不对，你们可以批判我，请不要告我，谢谢周先生不杀之恩。--------------------------------------------云课堂课程优惠返场活动活动时间：6月19日-6月21日第一重优惠：领取优惠劵址：/topics/highfor618/第二重优惠：小蚊子数据分析系列课程均有5-8折扣
/u/wzdata系列课程优惠：（1）数据分析入门必备基础课程打包
7.4折优惠包含课程《SQL数据分析实战》《Excel数据分析实战》《PPT数据分析报告实战》优惠地址：/series/47001.htm（2）Python数据分析与数据挖掘实战 系列课程
7.4折优惠包括课程：Python数据分析实战Python数据挖掘实战优惠地址：/series/.htm（3）R数据分析与数据挖掘实战 系列课程
7.4折优惠包括课程：R数据分析实战R统计分析实战R数据挖掘实战优惠地址：/series/.htm
觉得不错，分享给更多人看到
小蚊子数据分析 微信二维码
分享这篇文章
6月21日 21:47
小蚊子数据分析 最新文章
小蚊子数据分析 热门文章Camera 360应用隐私数据泄露的分析
很多流行的Android应用都泄露了隐私数据。我们发现另一款流行的Google Play应用，&Camera 360 Ultimate&,不仅对用户的照片进行了优化，但也不经意间泄露了隐私数据，可以让恶意的用户不经过认证就接触到用户Camera 360的云账户和照片。
在这个发现之前，FireEye的研究者发现了在Camera 360应用和其他应用中大量使用的SSL协议漏洞。这些漏洞被通过使用中间人攻击的方法利用，并且对用户的隐私构成了严重的威胁。
Android应用开发者应该采取更对的安全措施来为他们的用户提供更安全的手机使用体验。
0x01 概要和介绍
Camera 360是一个流行的照片拍摄和编辑应用。它在世界范围内有数百万的用户。这个应用会为照片的存储提供免费的云服务。为了使用这些云特色，用户会创建一个可以通过www.访问的云账户。
云访问是通过用户名和密码来进行限制的。但是当应用访问晕的时候，它就会通过未加密的形式泄露隐私数据，比如在Android系统日志（logcat）和网络通信过程中。可以读取logcat或者捕获网络通信的应用就可以偷取的这个数据。在你的WiFi网络中的恶意用户也可以通过WiFi嗅探来偷取这个数据。
泄露的数据可以被用来下载所有用户的照片，除了在那些用户隐私相册中的照片。隐私相册通常都会使用一个额外的密码来保护重要的图像数据。这个应用不会对这些隐私图像进行操作，并且所有从设备上上传的图像都是默认为非隐私的。
0x02 技术细节
我们分析了Camera 360的最新的版本（6.2）以及先前的版本（6.1.2，6.1.1和6.1），然后在所有的这些版本中都发现了数据泄露。
泄露的数据可以被用来通过如下的步骤来对用户的照片进行未授权访问：
通过使用泄露的证书来创建新的登录会话。然后，从服务器获取到图像的密钥并且使用它们来下载图像。
劫持登录会话，使用泄露的token来下载图像
使用泄露的图像密钥来下载图像而不需要认证
并且，捕获的网络通信内的图像可以被很贱的提取和查看。
以下是所有的细节。
0x03 创建一个登录会话
Camera 360应用使用HTTPS登录到服务器，这也就意味着敏感的登录数据不能被轻易的通过网络通信来获取到。在登录的过程中，应用会把隐私数据记录到logcat上去，而这些数据可以被在同一时间运行在这个设备上的其他应用读取到。
Camera 360记录了用户的Email地址，password hash值和其他相关的一些数据。当这些数据泄露的时候，它们就可以被用来创建一个单独的登录会话。作为对登录请求的回应，服务器会返回一个token、用户ID和其他的账户信息。这个token和用户ID可以被用来获取服务器上所有非加密的图像的密钥。利用这些密钥，所有相关的图像都可以被下载下来。
下图展示了我们测试过程中生成的日志信息：
通过对这个应用进行逆向分析，我们发现了他的HTTPS登录URL。在上面提到的日志信息中的数据可以被用来在这个HTTPS请求中创建一个登录会话。这个不带参数的URL如下图所示：
任何可以读取logcat的应用都可以获得这些登录的数据并且创建它们自己的登录会话。Logcat可以用READ_LOGS权限来读，而这个权限对所有运行在Android4.0和以下的版本上的应用都是可以得到的。但是自从Android4.1（jelly bean）以后，这个权限不再会被授权给第三方应用。
通过逆向这个应用，我们也可以发现密码的hash值是原始密码的双重MD5并且是unsalted的。攻击者可以通过使用字典攻击来获取原始的密码，使用彩虹表或者暴力破解来生成一个匹配hash值的字串。破解密码并不是必须的，只要这个hash值可以被直接用来创建登录会话。密码的hash值和窃取到的Email地址可以用来登录camera 360以及云（管理系统）。
0x04 使用泄露的tokens劫持会话
作为对应用登录请求的回应，服务器返回一个token、用户ID和其他账户信息。camera 360会在下一个验证自身的请求中使用这个token和用户ID。
对我们测试账户的服务器响应如下所示：
这个token是不会过期并且是固定的。它会保持有效即使用户已经登出，因为会话变量只是被在客户端删除了而不是服务器端。因此，成功的请求可以在任何时候通过使用这个token来发送。
Camera 360把这些token，以及用户ID、其他应用和设备相关的数据泄漏到了logcat和网络通信上。任何可以读取logcat的Android应用、任何运行在设备上或者在设备的WiFi网络中的网络嗅探器都可以偷取到这些数据。这些泄露的数据可以被用来发送未认证的请求给服务器，也可以笑在云端的所有非隐私图像。
0x05 泄露到logcat的数据
Camera 360会在登录的过程中和用户打开云端账户相关的活动时泄露数据到logcat。
以下是日志信息的两个例子：
在上面的信息中，uid和user Id被设置成了相同的用户ID。token，user token和localkey被设置成了相同的token值。
0x06 泄露到网络通信中的数据
这个应用使用HTTPS发送登录请求，但是下一次的请求是通过HTTP发送的，一同发送的还有一个未加密的认证token和user ID。这些未加密的数据可以轻易的从网络通信中读到。[1]&&&
【声明】:黑吧安全网()登载此文出于传递更多信息之目的，并不代表本站赞同其观点和对其真实性负责，仅适于网络安全技术爱好者学习研究使用，学习中请遵循国家相关法律法规。如有问题请联系我们，联系邮箱，我们会在最短的时间内进行处理。
上一篇：【】【】大数据安全分析成未来方向 360市场份额第一
发表于 17:48|
来源齐鲁晚报|
作者齐鲁晚报
摘要：近日，国内知名ICT研究机构赛迪顾问发布《中国大数据安全分析市场白皮书》， 360企业安全以25%的市场份额，名列行业第一。
近日，国内知名ICT研究机构赛迪顾问发布《中国大数据安全分析市场白皮书》， 360企业安全以25%的市场份额，名列行业第一。根据白皮书，中国大数据安全分析市场自2014年起开始逐渐成型，2015 年市场总体规模约2.8 亿元。
大数据安全分析是指运用大数据技术对信息系统提供保护的相关安全产品、服务及解决方案。主要产品类型包括大数据安全管理平台和未知威胁感知系统。
大数据安全分析成应对安全挑战的新方向
近年来，信息安全形式显著恶化，因网站或平台被黑客攻击，导致个人信息泄露的事件屡见不鲜。其中，金融领域的黑客攻击危害尤为巨大。2016年2月，孟加拉国央行在美联储账号被黑，资金遭到莫名转移，涉案金额达一亿美元。2015年12月，乌克兰电网危机发生，直接导致该国部分地区的电力供应中断，造成了巨大的社会危害。
企业IT环境变化令安全威胁复杂性急剧增加，尤其是高级持续攻击的出现，改变了传统安全攻防态势。高级持续攻击往往采用多种综合的攻击手法、多种恶意软件，甚至0day漏洞与社会工程方法，能够绕过传统基于规则的防护产品的检测。日渐增多的高级威胁令传统安全防护产品无法做到有效的发现，失去防御能力。
在这种背景下，大数据安全技术作为海量数据实时分析处理的新兴技术，成为安全防护理念转型的核心与关键，得到了业界的高度关注。目前，势科技、McAfee、360、启明星辰等业界知名厂商都推出了基于大数据的安全产品。
基于大数据安全分析技术和威胁情报支撑的新一代安全产品，其思路就是将终端和边界安全产品收集的本地数据通过大数据手段进行分析，再结合云端威胁情报支持，提升安全设备的协调防御能力，提升企业的威胁检测和响应能力，真正实现安全智能。
目前，大数据安全分析已经成为全球信息安全发展的趋势和方向。Gartner预测，到2016年，40%的企业将部署大数据分析系统，专门应对信息安全。
安全大数据与大数据安全分析成安全企业核心竞争力
在应对各类未知威胁的过程中， 拥有大数据安全分析能力以及丰富安全大数据，正在成为安全企业的核心竞争力。
一方面，大数据安全分析能力，使得安全设备可以快速处理安全数据，可以近乎实时地分析出异常行为数据，从而做出及时的响应。而基于丰富安全大数据的威胁情报，则赋予安全设备更智能发现异常行为的能力。
对于国内的大数据安全分析市场状况，《白皮书》指出，奇虎360进入我国大数据安全分析市场时间较早，经过多年耕耘，目前为大数据安全分析行业的领头企业。启明星辰和绿盟科技在安全检测和安全管理平台方面的研发和建设经验深厚，在市场份额上紧随其后，分列二、三位。从2015年大数据安全分析市场销售情况来看，360的竞争优势十分明显。
从技术方面来看，360大数据安全分析的优势主要集中在四个方面：一、大数据领域技术实力雄厚，以数据驱动安全作为公司核心能力;二、作为互联网安全公司，具有海量用户基数与互联网安全数据;三、建立了中国首个威胁情报中心，具有领先的威胁情报生产能力;四、人才储备与技术积累突出，多次获得国际测评机构认可。
据悉，银行、电力、电信等关乎国家命脉的行业，安全性尤为突出，数据安全分析技术会率先被这些行业客户有效利用起来。
声明：CSDN登载此文出于传递更多信息之目的，并不意味着赞同其观点或证实其描述。
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章奇虎360数据分析师面试经验 - 职业圈
人分享 / 9846人浏览过
奇虎360 - 数据分析师(北京) 分享时间：
面试经历： 群面首先是自我介绍，为时两分钟以内吧。然后针对一个具体案例进行讨论，群面后直接给结果，就被刷了 面试官提的问题：
应聘途径：网上申请 面试内容：群面 面试难度：难度一般 面试感觉：一般
看过此面试的人还看过
“本人在天津 360允许电话给面试，大约4...… …”
“总共三轮面试，第一轮是技术面，问了很多关...… …”
“其实也不知道说什么好，主要是问的概率论的...… …”
“问了我一些研究生做的有关项目的问题，让我...… …”
“先自我介绍，然后就给了很多测试场景让我怎...… …”
“主要是根据你的简历开始聊，hr面就按照你...… …”
“通过新华网的微信公众号得知招聘实习生，于...… …”
“二面的时候挂掉了，一面面的都是JAVA基...… …”
还需查看更多信息？
相关公司面试经验
最新面试信息1、决定增加 swap 分区，首先在空间上创建一个分区，如/mnt/swap，例子增加1G
# dd if=/dev/zero of=/mnt/swap bs=1024 count=1000000
# dd if=/dev/zero of=/mnt/swap bs=1M count=1024
两条命令不同在于输入输出块大小
2、将文件设为swap
# mkswap /mnt/swap
3、激活swap
# swapon /mnt/swap
4、增加开机自动载，在/etc/fstab文件增加以下一行
最近php7出正式版，号称比php5.6快2倍，那么在gentoo下如何emerge呢，请参考：
# echo 'PHP_INI_VERSION=&production&' && /etc/portage/make.conf
// 生产环境使用production，开发环境使用development
# emerge --sync
# echo &=dev-lang/php-7.0.0 ~amd64& && /etc/portage/package.accept_keywords
# emerge php:7.0
// 安装指定版本php
默认安装时，提示错误信息
libtool: Version mismatch error.
This is libtool 2.2.6b, but the
libtool: definition of this LT_INIT comes from an older release.
libtool: You should recreate aclocal.m4 with macros from libtool 2.2.6b
libtool: and run autoconf again.
make: *** [imagick_file.lo] Erreur 63
解决方法：
# libtoolize --force
# autoheader
# autoconf
# ./configure
# make && make install
php安装pecl-imagick扩展后，发现并不支持使用png格式图片，
在服务器使用如下命令：
# identify -list format | grep -i png
若无结果，表明imagemagick安装时并没有使用png编译，则需要重新安装imagemagick
gentoo linux比较简单，编辑
# vim /etc/portage/package.use/imagemagick
写入media-gfx/imagemagick -openmp truetype png
emerge media-gfx/imagemagick 即可
当开启mysql数据库主从时，会产生大量如mysql-bin.00000* log的文件，这会大量耗费您的硬盘空间。
有四种解决方法：
1.关闭mysql主从，关闭binlog；
2.开启mysql主从，设置expire_logs_days；
3.手动清除binlog文件：
> PURGE {MASTER | BINARY} LOGS TO &#8216;log_name&#8217;;
> PURGE {MASTER | BINARY} LOGS BEFORE &#8216;date&#8217;;
> PURGE MASTER LOGS TO &#8216;MySQL-bin.17;;
> PURGE MASTER LOGS BEFORE &#-21 00:00:00&#8217;;
4、也可以重置master，删除所有binlog文件：
> RESET MASTER;
#emerge --sync
//升级整个portage目录
#emerge portage
//如果不是最新的portage，需要按提示执行此操作
#emerge python
//如果不是最新的python，需要按提示执行此操作
#python-updater
//执行完emerge python后执行此操作，执行前使用 eselect python list 查看及切换 python版本
#emerge -avuDN world
//按照 /var/lib/portage/world 文件下的包，重新构建整个系统
参数说明：
--ask (-a)
控制Portage显示它要更新的软件包列表，并让您决定是否继续更新
--verbose (-v) 在屏幕上输出完整的文件列表
--update (-u) 更新包的最佳版本
--deep (-D)
更新系统中的每个软件包
--newuse (-N) USE标记变更后，要使Portage检查USE标记的变动是否导致
需要安装新的软件包或者将现有的包重新编译
#emerge -av --depclean
//清除不需要（孤立）的软件包
#revdep-rebuild
//gentoolkit包里面的一个软件，用来检查系统的依赖关系是否都满足，
自动安装没有满足关系的包
#dispatch-conf
//更新系统的配置文件 也可以使用etc-update
#emerge -e world
//本地重新编译整个系统，USE标记变化不大时不需执行
参数说明： --emptytree (-e)
linux下使用 crontab -e 报错：
cannot chdir(/var/spool/cron), bailing out.
/var/spool/cron: Permission denied
解决方法如下：
chown cron:root /var/spool/cron
chmod 755 /var/spool/cron
chown root:crontab /var/spool/cron/crontabs
chmod 1730 /var/spool/cron/crontabs
chown root:root /var/spool/lastrun
chmod 750 /var/spool/lastrun