mysql一次写入10万条数据（Mysql，10W条随机批量插入（数据内容为字母和数字组合））

本文目录

• Mysql，10W条随机批量插入（数据内容为字母和数字组合）
• mysql 插入10万条记录，需要34秒，这个速度是慢还是快
• 一次性往mysql中插入10万条数据，用什么方法
• mysql导入excel十多万行
• mysql 批量更新10000+的数据，有什么效率比较高的方法

Mysql，10W条随机批量插入（数据内容为字母和数字组合）

可以用mktime();函数生成时间戳+rand("字符");，，，这种形式就不会重复了，要是你觉得mytime()函数生成时时间戳太长了可以用函数分割一之后在组合，就可以得到你想要的长度了，。大概就是这样了。

mysql 插入10万条记录，需要34秒，这个速度是慢还是快

• 批量导入的话你这速度算是很慢了，单条的话应该算快的

• 关于myisamchk的详细参数说明，可以参见它的使用帮助。需要注意的时在进行修改时必须确保MySQL服务器没有访问这个数据表，保险的情况下是最好在进行检测时把MySQL服务器Shutdown掉。

一次性往mysql中插入10万条数据，用什么方法

将10w分成1000个100，每次批量插入100条

insert into table_name (xxx) values (xxx),(xxx);

mysql导入excel十多万行

先贴原来的导入数据代码:
48304ba5e6f9fe08f3fa1abda7d326ab.png
8
import os
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "www.settings")
’’’
Django 版本大于等于1.7的时候，需要加上下面两句
import django
django.setup()
否则会抛出错误 django.core.exceptions.AppRegistryNotReady: Models aren’t loaded yet.
’’’
import django
if django.VERSION 》= (1, 7):#自动判断版本
django.setup()
from arrears.models import D072Qf
import xlrd #excel读工具
from datetime import datetime
from xlrd import xldate_as_tuple
import time
import random
time1 = time.time()
#data= xlrd.open_workbook(’11.xlsx’) 打开文件
with xlrd.open_workbook(’11.xlsx’) as data:
print u"读取文件结束,开始导入!"
time2 = time.time()
table = data.sheet_by_index(0) #获取工作表
time3 = time.time()
n=1
x = y = z = 0
WorkList =
for line in range(n,table.nrows):#nrows = table.nrows #行数 ncols = table.ncols #列数 print sh.row_values(rownum)
row = table.row_values(line)
if row: #查看行值是否为空
for i in :
if type(row) == float:
row)
if D072Qf.objects.filter(acct_month = row).exists():#判断该行值是否在数据库中重复
x = x + 1 #重复值计数
else:
WorkList.append(D072Qf(acct_month=row,
acct_name=row,
two_charge=row,
six_charge=row,
ten_charge=row,
threeyear_charge=row,
aging=row,
mkt_region_name=row,
prod_addr=row))
y = y + 1 #非重复计数
else:
z = z + 1 #空行值计数
n = n + 1
if n % 9999 == 0:
D072Qf.objects.bulk_create(WorkList)
WorkList =
time.sleep(random.random()) #让Cpu随机休息0 《= n 《 1.0 s
print "导入成功一次!"
print ’数据导入成功,导入’+str(y)+’条,重复’+str(x)+’条,有’+str(z)+’行为空!’
time4 = time.time()
print "读取文件耗时"+str(time2-time1)+"秒,导入数据耗时"+str(time4-time3)+"秒!"
48304ba5e6f9fe08f3fa1abda7d326ab.png
这条代码目前未全部将十几万行数据全部导入数据库中,只花了1个小时把5万行数据导入其中后,后面越来越慢,主要慢在excel表到了7万行数据左右后,读取excel中数据很慢了,总体来说影响导入速度有几个原因:
1、一直以来采用xlrd导入xls格式文件,如果文件有十几万行,只是读取文件就会花200秒,若换成csv则几乎不花时间
2、代码中这行语句也会影响速度,特别当数据库中数据很大时:if D072Qf.objects.filter(acct_month = row).exists():#判断该行值是否在数据库中重复
3、若一次性将字典添加十几万行数据,就windows的cpu而已是遭受不住的!所以建议1万条数据导入一次后,清空列表
改善后的代码:
优化部分:采用csv格式;取消掉检查重复数据语句;每5万导入一次数据
48304ba5e6f9fe08f3fa1abda7d326ab.png
#coding:utf-8
import os
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "www.settings")
’’’
Django 版本大于等于1.7的时候，需要加上下面两句
import django
django.setup()
否则会抛出错误 django.core.exceptions.AppRegistryNotReady: Models aren’t loaded yet.
’’’
import django
if django.VERSION 》= (1, 7):#自动判断版本
django.setup()
from arrears.models import D072Qf
import time
import random
time1 = time.time()
f = open(’11.csv’)
print u"读取文件结束,开始导入!"
time2 = time.time()
WorkList =
next(f) #将文件标记移到下一行
y = 0
n = 1
for line in f:
row = line.replace(’"’,’’) #将字典中的"替换空
row = row.split(’;’) #按;对字符串进行切片
y = y + 1
WorkList.append(D072Qf(acct_month=row,
acct_name=row,
two_charge=row,
six_charge=row,
ten_charge=row,
threeyear_charge=row,
aging=row,
mkt_region_name=row,
prod_addr=row))
n = n + 1
if n%50000==0:
print n
D072Qf.objects.bulk_create(WorkList)
WorkList =
time3 = time.time()
print "读取文件耗时"+str(time2-time1)+"秒,导入数据耗时"+str(time3-time2)+"秒!"
time3 = time.time()
print n
D072Qf.objects.bulk_create(WorkList)
print "读取文件耗时"+str(time2-time1)+"秒,导入数据耗时"+str(time3-time2)+"秒!"
WorkList =
print "成功导入数据"+str(y)+"条"
f.close()
48304ba5e6f9fe08f3fa1abda7d326ab.png
结果让人大吃一惊!!!,只耗时73秒
48304ba5e6f9fe08f3fa1abda7d326ab.png
Python 2.7.10 (default, May 23 2015, 09:40:32) on win32
Type "copyright", "credits" or "license()" for more information.
》》》 ================================ RESTART ================================
》》》
读取文件结束,开始导入!
50000
读取文件耗时0.0秒,导入数据耗时34.3279998302秒!
100000
读取文件耗时0.0秒,导入数据耗时67.3599998951秒!
138400
读取文件耗时0.0秒,导入数据耗时73.4379999638秒!
成功导入数据138399条

mysql 批量更新10000+的数据，有什么效率比较高的方法

首先， 插入上万条数据，对于数据库来说并不是“很大”的工作量，一般配置的笔记本电脑都可以在1分钟内完成。 所以最简单、最灵活的办法还是写SQL语句。
如果不希望DB编译器每次执行都编译SQL的话，可以使用存储过程，直接调用，性能上会好很多。也比较简单。
（几万条数据怎么地也得要时间去处理，所以不可能特别快的。）
如果由于各种原因，导致这个插入还是很慢， 而且你的MYSQL又是5.0以上版本的话，可以使用BulkCopy来进行批量操作。
BulkCopy的原理就是Client直接把一个数组（DataTable）传给DB，然后传入表名，所有的编译、操作都由DB自己完成，效率很高。
引用MySql.Data.dll ， 调用MysqlBulkCopy函数即可。
这个函数在处理海量数据插入的时候效率尤为明显， 小量数据反而没什么优势，而且由于传入的DataTable格式必须和表的字段一模一样（空的列也要传进去），导致C#要写很多代码来构造这个数组，所以要你自己权衡用还是不用。
我在自己的电脑上批量插入一亿条数据，Insert写法大概需要1小时,BulkCopy大概只需要5分钟。