JDBC地球一小时时插入一千条数据快吗,求大神回答。

来源：蜘蛛抓取(WebSpider) 时间：2016-06-04 12:12 标签： 空调一小时几度电
查看:3971|回复：6
大侠们，一千万条数据查询很慢。有什么解决方。求帮助
不同的业务模式会有不同的优化方法（比如加索引，Partition），还是具体问题具体分析。
1.把你的执行计划贴出来
2.执行查询的时候等待信息贴出来。
本帖最后由 lzf328 于
11:30 编辑
Microsoft SQL Server MVP
不忘初心，方得始终
大数据解决一般这种千万的数据量，就会考虑下分区表。看看你的表字段信息，有没有适合例如时间或者范围的字段可以实现去用分区表实现下。还有你这个表的查询时候有没有建立索引，走索引呀？还是要看看执行计划 。。
本帖最后由 waldens 于
21:00 编辑
助理工程师
一般可以考虑建立索引 或者 对数据库的语句进行优化，使用一些查询效率高的语句，这样可以减少查询时间，不妨把写的语句 贴出来....
谢谢，把数据库优化了，速度比以前快了
这个需要你贴出你的查询语句&&执行计划& &I/O统计 等相关数据&&单单说的话不好优化& &最基本的就是建立索引这些了& &还有1000W条数据& &也不一定就需要分区表
初级工程师
索引不错，可以看一下这方面的材料积极上进，爱好学习
经常参与各类话题的讨论，发帖内容较有主见
经常帮助其他会员答疑
活跃且尽责职守的版主
站长推荐 /6
about云|新出视频，openstack零基础入门，解决你ping不通外网难题
云计算hadoop视频大全(新增 yarn、flume|storm、hadoop一套视频
视频资料大优惠
大数据零基础由入门到实战
阶段1：hadoop零基础入门基础篇
阶段2：hadoop2入门
阶段3：大数据非hadoop系列课程
阶段4：项目实战篇
阶段5：大数据高级系列应用课程
阶段6：工作实用系列教程
等待验证会员请验证邮箱
新手获取积分方法
Powered byjava想一次性插入近百万的数据到数据库怎样才块啊，除了并发_java吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：535,011贴子：
java想一次性插入近百万的数据到数据库怎样才块啊，除了并发收藏
java想一次性插入近百万的数据到数据库怎样才块啊，除了并发是用加大数据库的连接池还是生成一个大的列表，然后上传列表？
java新手入门 我赢全面提升java开发能力,5万行代码100个项目实战训练!java新手入门-我赢报名送豪礼!,先到先得!java新手入门!
用一条insert插入多条数据比如每一百条／一千条数据组装成一个insert
jdbc批处理吧
这个问题我几个月前问过，楼上的方法
把插入的数据的java代码用循环包起来注意：oracle数据库可能修改某个配置参数才能用，否则后台报错！
批处理呗。
写100万个insert
登录百度帐号推荐应用
为兴趣而生，贴吧更懂你。或本书第一章提出了一个看似简单的问题，有最多1000万条不同的整型数据存在于硬盘的文件中，如何在1M内存的情况下对其进行尽可能快的排序。
每个数字用4byte，1M即可存储250 000个数据，显然，只要每次对250 000个数据排序，写入到文件中即可，重复40次。
那么如何选出每次遍历的二十五万条数据呢？有如下两个策略：
1、对一千万条数据遍历40次，第i次遍历时，判断数是否属于[i*250000,i*999），如果是，则读入内存，当第i次遍历完成时，内
存中有了二十五万条数据，这些数据比前i-1次遍历筛选出来的大，但是比后40-i次遍历的小。故，将第i次遍历选入内存中的数排序，输出到硬盘文件，
追加到i-1次输出到那个文件即可。
特点：简单，粗暴，但是遍历次数极多，只能串行，对文件进行了40次读取，本机运行耗时 2分17秒214毫秒。
2、对一千万条数据遍历1次，第i组 二十五万条数据存入内存，排序，输出到文件i，对一千万条数据完成一次遍历后，生成40个内容有序的临时文件，
在对这些文件归并，即可。
特点：对源文件只需要一次读入，排序可以采用多线程，IO次数仍然较高。串行情况下，本机运行耗时21秒221毫秒
那么如何能达到10秒以内呢？
那么分析一下这个问题的特点：
a、数据不超过最大值
b、所有数据不重复
c、每条数据仅是一个数
那么可以申请一个一千万位长的位向量，下标为i的位是1，则代表存在一个数i。
3、由此得到了一种针对此问题的位图排序方法。
申请长度为一千万位的位向量bit[]，所有位设置为0，顺序读取待排序文件，每读入一个数i，便将bit[i]置为1。当所有数据读入完成，便对
bit做从头到尾的遍历，如果bit[i]=1，则输出i到文件，当遍历完成，文件则已排好序。本机运行耗时9秒49毫秒。
备注： 无bit类型的编程语言如何实现位操作
以32位操作系统下的int类型为例。设需要申请N个位，则需要有a[N/32+1]个int类型方可容得下N位（当然，最后一个int中有些位被浪费了）
将第i位置为1的时候可以用如下操作：
第i位必然在 int型数组a的第 (i/32)个数中，偏移量是 (i%32)，将i位置为1，需要第(i/32)的数与一个数b相 或 即可，b要求是 (i%32)位为1，其他位均
为0，故有如下语句：
a[i/32] | (1 && (i%32));
为了保证达到最快的运算速度，上式改写为如下：
a[i &&5] |= (1 && (i & 31));
阅读(...) 评论()

我要回帖

更多关于 空调一小时几度电 的文章

 

随机推荐