当前位置: 代码迷 >> 综合 >> 实战 2000w 数据大表的优化过程,提供三种解决方案
  详细解决方案

实战 2000w 数据大表的优化过程,提供三种解决方案

热度:84   发布时间:2023-10-26 06:54:12.0

实战 2000w 数据大表的优化过程,提供三种解决方案
方案概述
方案一:优化现有mysql数据库。
优点:不影响现有业务,源程序不需要修改代码。成本最低;缺点:有优化瓶颈,数据量过亿就玩完了。

方案二:升级数据库类型,换一种100%兼容mysql的数据库。
优点:不影响现有业务,源程序不需要修改代码。缺点:多花钱

方案三:一步到位,大数据解决方案,更换newsql/nosql数据库。
优点:扩展性强,成本低,没有数据容量瓶颈。缺点:需要修改源程序代码

以上三种方案,按顺序使用即可,数据量在亿级别一下的没必要换nosql,开发成本太高。三种方案我都试了一遍,而且都形成了落地解决方案。

方案一:优化现有mysql数据库

sql的编写需要注意优化

1、数据库设计和表创建时就要考虑性能

设计表时要注意:

表字段避免null值出现,null值很难查询优化且占用额外的索引空间,推荐默认数字0代替null。

尽量使用INT而非BIGINT,如果非负则加上UNSIGNED(这样数值容量会扩大一倍),当然能使用TINYINT、SMALLINT、MEDIUM_INT更好。

使用枚举或整数代替字符串类型

尽量使用TIMESTAMP而非DATETIME

单表不要有太多字段,建议在20以内

用整型来存IP

索引

索引并不是越多越好,要根据查询有针对性的创建,考虑在WHERE和ORDER B

  相关解决方案