免费注册 查看新帖 |

Chinaunix

  平台 论坛 博客 文库
最近访问板块 发新帖
查看: 7678 | 回复: 1

在虚拟化平台上,单条数据插入1万次的时间是在物理服务器的10倍,如何优化? [复制链接]

论坛徽章:
0
发表于 2019-05-23 12:43 |显示全部楼层
本帖最后由 villainl 于 2019-05-23 12:48 编辑

单条数据插入1万次在虚拟化平台耗时
42.73909688
单条数据插入1万次在物理机上耗时

5.423371077


批量插入1万条数据的时间,虚拟平台和物理机基本相同。

从后台的监控看,虚拟化平台的IO,CPU,内存的占用都比较低。这方面还有什么优化的空间吗?
虚拟机配置: CentOS 6.5  VCPU: 2  NUMBER OF CORES PER VCPU: 7 MEMORY: 128GiB  数据库500GB
10块 300GB虚拟磁盘组成的3TB的VG


Table:
CREATE TABLE `test3` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `k` int(11) NOT NULL DEFAULT '0',
  `c` char(120) NOT NULL DEFAULT '',
  `pad` char(100) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`),
  KEY `k_1` (`k`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

Insert 语句:

def ordinary_insert(count):
    start = time.time()
    tmp_sql = "INSERT INTO `test3` (`k`, `c`, `pad`) VALUES (0, '34838736059-24362714610-75033330387-17863378665-80928638402-33892306210-78377564998-17324442332-39178876426-77334528413', 'AAA')"
    temp_str=""
    sql=""
    for i in range(count):
        temp_str = '11946195857-63616115598-80208325001-42313633529-35180183845-' + str(random.randint(1, count)) + '-' + str(i)
        sql = tmp_sql.replace('AAA', temp_str)
        cur.execute(sql)
        #sql = sql.replace('AAA', '11946195857-63616115598-80208325001-42313633529-35180183845-' + str(random.sample(list, 1)) + '-' + str(i))

    seconds = time.time() - start
    print("单条SQL循环" + str(count) + "次,数据写入耗时" + str(seconds))
    output = sys.stdout
    with open("result.txt", "a+") as f:
        sys.stdout = f
        print("单条SQL循环" + str(count) + "次,数据写入耗时" + str(seconds))
        sys.stdout = output



论坛徽章:
0
发表于 2019-05-23 12:47 |显示全部楼层
table:
CREATE TABLE `test3` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `k` int(11) NOT NULL DEFAULT '0',
  `c` char(120) NOT NULL DEFAULT '',
  `pad` char(100) NOT NULL DEFAULT '',
  PRIMARY KEY (`id`),
  KEY `k_1` (`k`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
您需要登录后才可以回帖 登录 | 注册

本版积分规则 发表回复

DTCC2020中国数据库技术大会 限时8.5折

【架构革新 高效可控】2020年8月17日~19日第十一届中国数据库技术大会将在北京隆重召开。

大会设置2大主会场,20+技术专场,将邀请超百位行业专家,重点围绕数据架构、AI与大数据、传统企业数据库实践和国产开源数据库等内容展开分享和探讨,为广大数据领域从业人士提供一场年度盛会和交流平台。

http://dtcc.it168.com


大会官网>>
  

北京盛拓优讯信息技术有限公司. 版权所有 16024965号-6 北京市公安局海淀分局网监中心备案编号:11010802020122
中国互联网协会会员  联系我们:huangweiwei@it168.com
感谢所有关心和支持过ChinaUnix的朋友们 转载本站内容请注明原作者名及出处

清除 Cookies - ChinaUnix - Archiver - WAP - TOP