Mongo groupstata数据分组group后,怎么对stata数据分组group后的结果进行从大到小排序,并取前5个

关于GROUP BY 分组后使用HAVING筛选的问题。
[问题点数:40分,结帖人sixlsj]
本版专家分:0
结帖率 100%
CSDN今日推荐
本版专家分:76305
2017年 总版技术专家分年内排行榜第二
2017年9月 总版技术专家分月排行榜第一2017年6月 总版技术专家分月排行榜第一2017年4月 总版技术专家分月排行榜第一2017年2月 总版技术专家分月排行榜第一
2017年5月 总版技术专家分月排行榜第二2017年3月 总版技术专家分月排行榜第二
2018年7月 总版技术专家分月排行榜第三2017年10月 总版技术专家分月排行榜第三2017年8月 总版技术专家分月排行榜第三2017年7月 总版技术专家分月排行榜第三
本版专家分:76335
2017年 总版技术专家分年内排行榜第二
2017年9月 总版技术专家分月排行榜第一2017年6月 总版技术专家分月排行榜第一2017年4月 总版技术专家分月排行榜第一2017年2月 总版技术专家分月排行榜第一
2017年5月 总版技术专家分月排行榜第二2017年3月 总版技术专家分月排行榜第二
2018年7月 总版技术专家分月排行榜第三2017年10月 总版技术专家分月排行榜第三2017年8月 总版技术专家分月排行榜第三2017年7月 总版技术专家分月排行榜第三
本版专家分:4163
2018年7月 其他数据库开发大版内专家分月排行榜第一2018年3月 Oracle大版内专家分月排行榜第一
2018年7月 Oracle大版内专家分月排行榜第二2018年5月 Oracle大版内专家分月排行榜第二2018年4月 Oracle大版内专家分月排行榜第二
2018年2月 Oracle大版内专家分月排行榜第三
本版专家分:0
本版专家分:76335
2017年 总版技术专家分年内排行榜第二
2017年9月 总版技术专家分月排行榜第一2017年6月 总版技术专家分月排行榜第一2017年4月 总版技术专家分月排行榜第一2017年2月 总版技术专家分月排行榜第一
2017年5月 总版技术专家分月排行榜第二2017年3月 总版技术专家分月排行榜第二
2018年7月 总版技术专家分月排行榜第三2017年10月 总版技术专家分月排行榜第三2017年8月 总版技术专家分月排行榜第三2017年7月 总版技术专家分月排行榜第三
本版专家分:0
本版专家分:76335
2017年 总版技术专家分年内排行榜第二
2017年9月 总版技术专家分月排行榜第一2017年6月 总版技术专家分月排行榜第一2017年4月 总版技术专家分月排行榜第一2017年2月 总版技术专家分月排行榜第一
2017年5月 总版技术专家分月排行榜第二2017年3月 总版技术专家分月排行榜第二
2018年7月 总版技术专家分月排行榜第三2017年10月 总版技术专家分月排行榜第三2017年8月 总版技术专家分月排行榜第三2017年7月 总版技术专家分月排行榜第三
匿名用户不能发表回复!
其他相关推荐如何实现将 MongoDB中group分组后的结果,再存入到mongo数据库中_百度知道
如何实现将 MongoDB中group分组后的结果,再存入到mongo数据库中
答题抽奖
首次认真答题后
即可获得3次抽奖机会,100%中奖。
绿筱岸夤缘
绿筱岸夤缘
采纳数:205
获赞数:31
可以使用 {$group:{_id:&$_id&,&defaults&:{$push:&$name&}}},{$sort:{name:1}}{$limit:5}
使用mongoimport 在命令行执行如下: mongoimport -d test -c students students.dat -d test 指的是导入test 数据库(database)
为你推荐:
其他类似问题
个人、企业类
违法有害信息,请在下方选择后提交
色情、暴力
我们会通过消息、邮箱等方式尽快将举报结果通知您。mongodb 分组聚合查询
时间: 14:18:03
&&&& 阅读:139
&&&& 评论:
&&&& 收藏:0
标签:&&&&&&&&&&&&&&&&&&&&&&&&&&&使用聚合,db.集合名.aggregate… 而不是find
管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的参数。MongoDB的聚合管道将MongoDB文档在一个管道处理完毕后将结果传递给下一个管道处理。管道操作是可以重复的。
每一个操作符(集合)都会接受一连串的文档,对这些文档做一些类型转换,最后将转换后的文档作为结果传递给下一个操作符,对于最后一个操作符,是将结果返回给客户端
//分组(这里制定了分组字段 $+字段名)//这里可以理解为,吧lastModifyByUserCode 当作唯一标识 _id,字段count 用 $sum 计算 同一个lastModifyByUserCode出现次数
db.test.aggregate({‘$group‘:{‘_id‘:‘$lastModifyByUserCode‘,‘count‘:{‘$sum‘:1}}})
//根据多个字段分组
db.test.aggregate({$group:{_id:{lastModifyByUserCode:‘$lastModifyByUserCode‘,createTime:‘$createTime‘}}})
//显示其他字段(必须使用聚合[$sum,$avg,$first,$last,$max,$min,$push,$addToSet,$stdDevPop,$stdDevSamp])
db.test.aggregate({‘$group‘:{‘_id‘:‘$lastModifyByUserCode‘,‘count‘:{‘$sum‘:1},‘createTime‘:{‘$first‘:"$createTime"}}})
//投射,可以对字段重命名,可以创建字段副本(注意:在对字段重命名时,MongoDB并不会记录字段的历史名称,因此如果在"orginalfieldname"字段上有一个索引,聚合框架无法在下面的排序操作中使用这个索引,所以,应该尽量在修改字段名称之前使用索引)
db.test.aggregate({$project:{createTime2:‘$createTime‘,createTime3:‘$createTime‘,_id:0}})
$match&用于对文档集合进行筛选,支持find一样的筛选条件,不能在$match中使用地理空间操作符,(尽量把$match放在多个聚合中的第一个,这样可以有效利用索引)
而且根据官方文档,如果在$match使用了全文索引,后面跟着的聚合就不用再使用$text
标签:&&&&&&&&&&&&&&&&&&&&&&&&&&&原文:http://www.cnblogs.com/luoliangfei/p/7568254.html
教程昨日排行
&&国之画&&&& &&&&&&
&& &&&&&&&&&&&&&&
鲁ICP备号-4
打开技术之扣,分享程序人生!在 SegmentFault,学习技能、解决问题
每个月,我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。
问题对人有帮助,内容完整,我也想知道答案
问题没有实际价值,缺少关键内容,没有改进余地
先通过mongo中的聚合函数:group()后返回的是DBObject 对象,我想将其存入另一个集合中,怎么办???
答案对人有帮助,有参考价值
答案没帮助,是错误的答案,答非所问
后来,我自己知道了,直接放入一个文档中,插入集合中就可以。。
答案对人有帮助,有参考价值
答案没帮助,是错误的答案,答非所问
collection.aggregate([
'$match': {}
'$group': {}
out: 'OtherCollection'
需要MongoDB 2.6 +
且每次out会擦掉之前的数据
不希望被擦掉的话,将结构批量插入新集合
同步到新浪微博
分享到微博?
关闭理由:
删除理由:
忽略理由:
推广(招聘、广告、SEO 等)方面的内容
与已有问题重复(请编辑该提问指向已有相同问题)
答非所问,不符合答题要求
宜作评论而非答案
带有人身攻击、辱骂、仇恨等违反条款的内容
无法获得确切结果的问题
非开发直接相关的问题
非技术提问的讨论型问题
其他原因(请补充说明)
我要该,理由是:
在 SegmentFault,学习技能、解决问题
每个月,我们帮助 1000 万的开发者解决各种各样的技术问题。并助力他们在技术能力、职业生涯、影响力上获得提升。day27.MongoDB【Python教程】
day27.MongoDB【Python教程】
MongoDB 是一个基于分布式 文件存储的NoSQL数据库
由C++语言编写,运行稳定,性能高
旨在为 WEB 应用提供可扩展的高性能数据存储解决方案
查看官方网站 https://www.mongodb.com/
MongoDB特点
模式自由 :可以把不同结构的文档存储在同一个数据库里
面向集合的存储:适合存储 JSON风格文件的形式
完整的索引支持:对任何属性可索引
复制和高可用性:支持服务器之间的数据复制,支持主-从模式及服务器之间的相互复制。复制的主要目的是提供冗余及自动故障转移
自动分片:支持云级别的伸缩性:自动分片功能支持水平的数据库集群,可动态添加额外的机器
丰富的查询:支持丰富的查询表达方式,查询指令使用JSON形式的标记,可轻易查询文档中的内嵌的对象及数组
快速就地更新:查询优化器会分析查询表达式,并生成一个高效的查询计划
高效的传统存储方式:支持二进制数据及大型对象(如照片或图片)
一.基本操作
MongoDB将数据存储为一个文档,数据结构由键值(key=&value)对组成
MongoDB文档类似于JSON对象,字段值可以包含其他文档、数组、文档数组
安装管理mongodb环境
完成数据库、集合的管理
数据的增加、修改、删除、查询
SQL术语/概念
MongoDB术语/概念
collection
数据库表/集合
数据记录行/文档
数据字段/域
table joins
表连接,MongoDB不支持
primary key
primary key
主键,MongoDB自动将_id字段设置为主键
三元素:数据库,集合,文档
集合就是关系数据库中的表
文档对应着关系数据库中的行
文档,就是一个对象,由键值对构成,是json的扩展Bson形式
集合:类似于关系数据库中的表,储存多个文档,结构不固定,如可以存储如下文档在一个集合中
数据库:是一个集合的物理容器,一个数据库中可以包含多个文档
一个服务器通常有多个数据库
1.1.环境安装
下载mongodb的版本,两点注意
根据业界规则,偶数为稳定版,如1.6.X,奇数为开发版,如1.7.X
32bit的mongodb最大只能存放2G的数据,64bit就没有限制
到官网,选择合适的版本下载
移动到/usr/local/目录下
将可执行文件添加到PATH路径中
配置文件在/etc/mongod.conf
默认端口27017
使用终端连接
这个shell就是mongodb的客户端,同时也是一个js的编译器
终端退出连接
GUI:robomongo,解压后在bin目录下找到运行程序
界面如下:
1.2.数据库操作数据库切换
查看当前数据库名称
查看所有数据库名称
列出所有在物理上存在的数据库
切换数据库
如果数据库不存在,则指向数据库,但不创建,直到插入数据或创建集合时数据库才被创建
默认的数据库为test,如果你没有创建新的数据库,集合将存放在test数据库中
数据库删除
删除当前指向的数据库
如果数据库不存在,则什么也不做
1.3.集合操作集合创建
name是要创建的集合的名称
options是一个文档,用于指定集合的配置
选项参数是可选的,所以只需要到指定的集合名称。以下是可以使用的选项列表:
例1:不限制集合大小
例2:限制集合大小,后面学会插入语句后可以查看效果
参数capped:默认值为false表示不设置上限,值为true表示设置上限
参数size:当capped值为true时,需要指定此参数,表示上限大小,当文档达到上限时,会将之前的数据覆盖,单位为字节
查看当前数据库的集合
1.4.数据类型
下表为MongoDB中常用的几种数据类型:
Object ID:文档ID
String:字符串,最常用,必须是有效的UTF-8
Boolean:存储一个布尔值,true或false
Integer:整数可以是32位或64位,这取决于服务器
Double:存储浮点值
Arrays:数组或列表,多个值存储到一个键
Object:用于嵌入式的文档,即一个值为一个文档
Null:存储Null值
Timestamp:时间戳
Date:存储当前日期或时间的UNIX时间格式
每个文档都有一个属性,为_id,保证每个文档的唯一性
可以自己去设置_id插入文档
如果没有提供,那么MongoDB为每个文档提供了一个独特的_id,类型为objectID
objectID是一个12字节的十六进制数
前4个字节为当前时间戳
接下来3个字节的机器ID
接下来的2个字节中MongoDB的服务进程id
最后3个字节是简单的增量值
1.5.数据操作
插入文档时,如果不指定_id参数,MongoDB会为文档分配一个唯一的ObjectId
参数query:查询条件,类似sql语句update中where部分
参数update:更新操作符,类似sql语句update中set部分
参数multi:可选,默认是false,表示只更新找到的第一条记录,值为true表示把满足条件的文档全部更新
例3:全文档更新
例4:指定属性更新,通过操作符$set
例5:修改多条匹配到的数据
如果文档的_id已经存在则修改,如果文档的_id不存在则添加
参数query:可选,删除的文档的条件
参数justOne:可选,如果设为true或1,则只删除一条,默认false,表示删除多条
例8:只删除匹配到的第一条
例9:全部删除
关于size的示例
插入第一条数据库查询
插入第二条数据库查询
插入第三条数据库查询
插入第四条数据库查询
插入第五条数据库查询
1.6.数据查询基本查询
方法find():查询
方法findOne():查询,只返回第一个
方法pretty():将结果格式化
比较运算符
等于,默认是等于判断,没有运算符
小于或等于$lte
大于或等于$gte
例1:查询名称等于'gj'的学生
例2:查询年龄大于或等于18的学生
逻辑运算符
查询时可以有多个条件,多个条件之间需要通过逻辑运算符连接
逻辑与:默认是逻辑与的关系
例3:查询年龄大于或等于18,并且性别为1的学生
逻辑或:使用$or
例4:查询年龄大于18,或性别为0的学生
and和or一起使用
例5:查询年龄大于18或性别为0的学生,并且学生的姓名为gj
范围运算符
使用"$in","$nin" 判断是否在某个范围内
例6:查询年龄为18、28的学生
支持正则表达式
使用//或$regex编写正则表达式
例7:查询姓黄的学生
自定义查询
使用$where后面写一个函数,返回满足条件的数据
例7:查询年龄大于30的学生
1.6.1.limit&skipLimit
方法limit():用于读取指定数量的文档
参数NUMBER表示要获取文档的条数
如果没有指定参数则显示集合中的所有文档
例1:查询2条学生信息
方法skip():用于跳过指定数量的文档
参数NUMBER表示跳过的记录条数,默认值为0
例2:查询从第3条开始的学生信息
方法limit()和skip()可以一起使用,不分先后顺序
创建数据集
查询第5至8条数据
1.6.2.投影
在查询到的返回结果中,只选择必要的字段,而不是选择一个文档的整个字段
如:一个文档有5个字段,需要显示只有3个,投影其中3个字段即可
参数为字段与值,值为1表示显示,值为0不显示
对于需要显示的字段,设置为1即可,不设置即为不显示
特殊:对于_id列默认是显示的,如果不显示需要明确设置为0
1.6.3.排序
方法sort(),用于对结果集进行排序
参数1为升序排列
参数-1为降序排列
例1:根据性别降序,再根据年龄升序
1.6.4.统计个数
方法count()用于统计结果集中文档条数
也可以与为
例1:统计男生人数
例2:统计年龄大于20的男生人数
1.6.5.消除重复
方法distinct()对数据进行去重
例1:查找年龄大于18的性别(去重)
数据库创建、删除
集合创建、删除
文档增加、修改、删除
文档查询:find(),limit(),skip(),投影,sort(),count(),distinct()
创建科目集合sub,并进行数据的操作
查询sub中的数据
2.高级操作
讲解关于mongodb的高级操作,包括聚合、主从复制、分片、备份与恢复、MR
完成python与mongodb的交互
2.1.聚合 aggregate
聚合(aggregate)主要用于计算数据,类似sql中的sum()、avg()
管道在Unix和Linux中一般用于将当前命令的输出结果作为下一个命令的输入
在mongodb中,管道具有同样的作用,文档处理完毕后,通过管道进行下一次处理
$group:将集合中的文档分组,可用于统计结果
$match:过滤数据,只输出符合条件的文档
$project:修改输入文档的结构,如重命名、增加、删除字段、创建计算结果
$sort:将输入文档排序后输出
$limit:限制聚合管道返回的文档数、
$skip:跳过指定数量的文档,并返回余下的文档
$unwind:将数组类型的字段进行拆分
处理输入文档并输出
常用表达式
$sum:计算总和,$sum:1同count表示计数
$avg:计算平均值
$min:获取最小值
$max:获取最大值
$push:在结果文档中插入值到一个数组中
$first:根据资源文档的排序获取第一个文档数据
$last:根据资源文档的排序获取最后一个文档数据
2.1.1.$group
将集合中的文档分组,可用于统计结果
_id表示分组的依据,使用某个字段的格式为'$字段'
例1:统计男生、女生的总人数
Group by null
将集合中所有文档分为一组
例2:求学生总人数、平均年龄
例3:统计学生性别及学生姓名
使用$$ROOT可以将文档内容加入到结果集的数组中,代码如下
2.1.2.$match
用于过滤数据,只输出符合条件的文档
使用MongoDB的标准查询操作
例1:查询年龄大于20的学生
例2:查询年龄大于20的男生、女生人数
2.1.3.$project
修改输入文档的结构,如重命名、增加、删除字段、创建计算结果
例1:查询学生的姓名、年龄
例2:查询男生、女生人数,输出人数
2.1.4.$sort
将输入文档排序后输出
例1:查询学生信息,按年龄升序
例2:查询男生、女生人数,按人数降序
2.1.5.$limit&$skip$limit
限制聚合管道返回的文档数
例1:查询2条学生信息
跳过指定数量的文档,并返回余下的文档
例2:查询从第3条开始的学生信息
例3:统计男生、女生人数,按人数升序,取第二条数据
注意顺序:先写skip,再写limit
2.1.6.$unwind
将文档中的某一个数组类型字段拆分成多条,每条包含数组中的一个值
对某字段值进行拆分
对某字段值进行拆分
处理空数组、非数组、无字段、null情况
使用语法1查询
查看查询结果,发现对于空数组、无字段、null的文档,都被丢弃了
问:如何能不丢弃呢?
答:使用语法2查询
2.2.安全超级管理员
为了更安全的访问mongodb,需要访问者提供用户名和密码,于是需要在mongodb中创建用户
采用了角色-用户-数据库的安全管理方式
常用系统角色如下:
root:只在admin数据库中可用,超级账号,超级权限
Read:允许用户读取指定数据库
readWrite:允许用户读写指定数据库
创建超级管理用户
启用安全认证
修改配置文件
启用身份验证
注意:keys and values之间一定要加空格, 否则解析会报错
普通用户管理
使用超级管理员登录,然后进入用户管理操作
查看当前数据库的用户
创建普通用户
切换数据库,执行命令查看效果
修改用户:可以修改pwd、roles属性
2.3.复制(副本集)什么是复制
复制提供了数据的冗余备份,并在多个服务器上存储数据副本,提高了数据的可用性,并可以保证数据的安全性
复制还允许从硬件故障和服务中断中恢复数据
为什么要复制
数据灾难恢复
高(24* 7)数据可用性
无宕机维护
副本集对应用程序是透明
复制的工作原理
复制至少需要两个节点A、B...
A是主节点,负责处理客户端请求
其余的都是从节点,负责复制主节点上的数据
节点常见的搭配方式为:一主一从、一主多从
主节点记录在其上的所有操作,从节点定期轮询主节点获取这些操作,然后对自己的数据副本执行这些操作,从而保证从节点的数据与主节点一致
主节点与从节点进行数据交互保障数据的一致性
复制的特点
N 个节点的集群
任何节点可作为主节点
所有写入操作都在主节点上
自动故障转移
设置复制节点
接下来的操作需要打开多个终端窗口,而且可能会连接多台ubuntu主机,会显得有些乱,建议在xshell中实现
step1:创建数据库目录t1、t2
在Desktop目录下演示,其它目录也可以,注意权限即可
step2:使用如下格式启动mongod,注意replSet的名称是一致的
step3:连接主服务器,此处设置192.168.196.128:27017为主服务器
step4:初始化
初始化完成后,提示符如下图:
step5:查看当前状态
当前状态如下图:
step6:添加复本集
step7:复本集添加成功后,当前状态如下图:
step8:连接第二个mongo服务
step9:向主服务器中插入数据
step10:在从服务器中插查询
说明:如果在从服务器上进行读操作,需要设置rs.slaveOk()
删除从节点
关闭主服务器后,再重新启动,会发现原来的从服务器变为了从服务器,新启动的服务器(原来的从服务器)变为了从服务器
2.4.备份与恢复备份
-h:服务器地址,也可以指定端口号
-d:需要备份的数据库名称
-o:备份的数据存放位置,此目录中存放着备份出来的数据
-h:服务器地址
-d:需要恢复的数据库实例
--dir:备份数据所在位置
2.5.与python交互
点击查看官方文档 http://api.mongodb.com/python/current/tutorial.html
安装python包
引入包pymongo
连接,创建客户端
获得数据库test1
获得集合stu
查找一个文档
查找多个文档1
查找多个文档2
获取文档个数
备份与恢复
与python交互
熟练与python交互
责任编辑:
声明:该文观点仅代表作者本人,搜狐号系信息发布平台,搜狐仅提供信息存储空间服务。
今日搜狐热点

我要回帖

更多关于 groupby分组查询 的文章

 

随机推荐