实战 2000w 数据大表的优化过程,提供三种解决方案
方案概述
方案一:优化现有mysql数据库。
优点:不影响现有业务,源程序不需要修改代码。成本最低;缺点:有优化瓶颈,数据量过亿就玩完了。
方案二:升级数据库类型,换一种100%兼容mysql的数据库。
优点:不影响现有业务,源程序不需要修改代码。缺点:多花钱
方案三:一步到位,大数据解决方案,更换newsql/nosql数据库。
优点:扩展性强,成本低,没有数据容量瓶颈。缺点:需要修改源程序代码
以上三种方案,按顺序使用即可,数据量在亿级别一下的没必要换nosql,开发成本太高。三种方案我都试了一遍,而且都形成了落地解决方案。
方案一:优化现有mysql数据库
sql的编写需要注意优化
1、数据库设计和表创建时就要考虑性能
设计表时要注意:
表字段避免null值出现,null值很难查询优化且占用额外的索引空间,推荐默认数字0代替null。
尽量使用INT而非BIGINT,如果非负则加上UNSIGNED(这样数值容量会扩大一倍),当然能使用TINYINT、SMALLINT、MEDIUM_INT更好。
使用枚举或整数代替字符串类型
尽量使用TIMESTAMP而非DATETIME
单表不要有太多字段,建议在20以内
用整型来存IP
索引
索引并不是越多越好,要根据查询有针对性的创建,考虑在WHERE和ORDER B