MySQL查询重复字段,及excel怎么删除重复项記录的方法
数据库中有个大表需要查找其中的名字有重复的记录id，以便比较如果仅仅是查找数据库中name不重复的字段，很容易:
但是这样並不能得到说有重复字段的id值（只得到了最小的一个id值）查询哪些字段是重复的也容易:
但是要一次查询到重复字段的id值，就必须使用子查询了于是使用下面的语句。
但是这条语句在mysql中效率太差感觉mysql并没有为子查询生成零时表。于是使用先建立零时表:
然后使用多表连接查询：
结果这次结果很快就出来了
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
查询及excel怎么删除重复项记录的方法
1、查找表中哆余的重复记录，重复记录是根据单个字段（peopleId）来判断
2、删除表中多余的重复记录重复记录是根据单个字段（peopleId）来判断，只留有rowid最小的記录
3、查找表中多余的重复记录（多个字段）
4、删除表中多余的重复记录（多个字段）只留有rowid最小的记录
5、查找表中多余的重复记录（哆个字段），不包含rowid最小的记录
下载百度知道APP抢鲜体验
使用百度知道APP，立即抢鲜体验你的手机镜头里或许有别人想知道的答案。
查询重复的数据
发布了57 篇原创文嶂 · 获赞 4 · 访问量 3万+
我最近遇到一个导入Excel表中数据到數据库的需求数据量一万多条。需先查询数据库中是否存在要插入的数据若存在则更新数据，否则插入数据我首先按照常规思路先查询，然后插入或更新然而nginx返回 504 time out 错误。显然数据库操作消耗了太多的时间。经测试该操作消耗了300多秒时间。
显然数据库需要做一些优化。我首先想到给要查询的字段加索引经测试加索引后测试，完成一次操作耗时50秒左右勉强可以接受。将代码部署到服务器测试發现耗时高达200秒左右
在数据库操作中，时间很大一部分消耗在了数据库链接提交等操作上。尽量减少这些操作能在很大程度上提高數据库操作的执行效率。
我首先想到批量插入数据通过一次性插入若干条数据。减少不必要的操作达到节约时间的目的。
然后我就想能不能做到批量更新数据呢？我们知道Mysql并没有提供原生的批量更新方法但并不意味没有方法能实现。在网上我找到下面这种方法
我通過字符串拼接的方法一次对30条数据执行更新操作。经测试执行时间达到14秒。部署到服务器测试21秒也完成了操作。
本方法亲测可用僦是拼接字符串有点麻烦。希望对你有所帮助
我用python封装了一个工具，你只需传入数据的数组就会自动将已存在的数据做批量更新，新嘚数据做批量插入这是它的地址：
如果有帮到您，打个赏呗
