当前位置: 代码迷 >> Sql Server >> 100 SQL2005跪求9亿数据存储方案~解决方案
  详细解决方案

100 SQL2005跪求9亿数据存储方案~解决方案

热度:65   发布时间:2016-04-24 21:57:50.0
100 SQL2005跪求9亿数据存储方案~~~
数据库SQL2005

我有一个数据表 4个字段 4个字段都是浮点型 大概9亿记录 纯查询 不添加 查询的时候需要两个字段联合查询 两个字段联合才能唯一 是联合主键 查询的这个两个字段有规律是递增的

问题:

1. 9亿纯查询放一个表会不会性能很差?
2. 9亿数据查询 服务器需要多大的内存才能迅速?
3. 是按 两个字段递增规律存放在不同表好还是全部一起分区好?
4. 怎么分区?

各位大大跪求中.....

------解决方案--------------------
第一个问题:分区是必须的,我想知道你的数据是什么?比如你可以按月来分区,按地区来分区,如果不知道你存放什么,很难分区,这部分请给出数据内容。9亿放一个表,有索引也快不了哪里去。
第二个问题:我记得当初我做BI的时候,2亿数据单表,不过列比你的多,需要40G空间,估计你的那个差不多,预计大概也要60G以上。
第三个问题:没必要这样分,直接放在分区就好了。分区自动会做处理。
第四个问题:这个和第一个问题合在一起,先要知道你的数据成分,然后才能确定分区方案,另外,联机丛书肯定有例子的。

补充一下,其实很少应用会存放9亿【活动】数据,很多都是【历史】、【静态】数据,对于这部分,在硬件层面,要把分区放到单独的数据文件中,然后把文件放到读性能高的磁盘上。缓解I/O压力。
另外,索引要考虑好,不过由于是2005,有些特性用不上,重点还是要看你的数据组成。
------解决方案--------------------
引用:
数据库SQL2005

我有一个数据表 4个字段 4个字段都是浮点型 大概9亿记录 纯查询 不添加 查询的时候需要两个字段联合查询 两个字段联合才能唯一 是联合主键 查询的这个两个字段有规律是递增的

问题:

1. 9亿纯查询放一个表会不会性能很差?
2. 9亿数据查询 服务器需要多大的内存才能迅速?
3. 是按 两个字段递增规律存放在不同表好还是全部一起分区好?
4. 怎么分……


不考虑硬件,查询的快慢,完全取决于LZ所设立索引与查询所需数据的匹配程度。

如果是大批量查询,比如其中的1亿行要一次查出,那么建立a,b上建立聚集索引要好些。
如果数据的离散性很大,比如也就几百行查出,建立非聚集索引要好些。

是否分区,要看lz在a,b两列上是否可以做出合理的业务相关分区,比如时间。

考虑到硬件的话,lz可将数据分到多个驱动器上,可以提高查询数据的提出效率。

------解决方案--------------------

针对这样的查询:selcet c,d where a = ? and b = ?,只需要在(c,d)列上建个聚集索引即可(非聚集也行,但占用空间更大)。

其实楼主的问题挺简单的,各位把事情搞复杂了。

4个字段都是float,9亿行的表至多占用30多个G的空间。整个表占用的空间远比内存大,这就导致查询会使用物理读。可能这一点让各位想多了,但仔细想一下就知道,(c,d)列是唯一的,也就是selcet c,d where a = ? and b = ?最多返回一行数据,物理读撑死不过2、3次,根本没关系。

PS:那些动辄说分区的,其实SQL SERVER的分区功能远比你想像的弱,在楼主这种情况下,分区不能解决任何问题。(不同意我看法的,请列出你具体怎么分区,具体效果是什么)

PS2:另外,楼主,可以将这个表单独放到一个只读文件组里
------解决方案--------------------
悲剧 重新认识分区 一切以事实说话,我承认我对分区认识不够





--------------------------------------这里尽可能模拟楼主的情况-----------------------------------
--------------------------------------一切以说明问题为主,不钻牛角尖-----------------------------------------
-----------------------------------一切以数据来说明问题-----------------------------------------



 --创建分区函数,300W一个分区,计划插入1500W数据做测试
 create partition function MyPartitonFun1(int)  
 as range right for values(3000000,6000000,9000000,12000000,15000000);  
 
 --创建分区方案
create partition scheme MyPartitonScheme1 
as partition MyPartitonFun1   
all to ([primary])

--建表,分区表
create table TestWithPartition (  
  ID1 int identity(1,1),
  ID2 decimal(18,5),
  Col3 decimal(18,5),
  Col4 decimal(18,5)
 )on MyPartitonScheme1(ID1) 
  
 --建表,没有分区的表
 create table TestWithNoPartition (  
  相关解决方案