01-0007 关于C/C++读取文件，并建立指定结构

1. 问题

有一系列的数据文件，以txt的形态存在，具体的格式如下：

123 44 12
124 45 67
23 45 67
...

上述文件中，每行三个int类型的数据，以空格隔开，每行末尾是换行

现在，需要将其读入到内存中，并且存储于向量之中，向量的组织结构如下：

//声明
std::vector<int*> pointVec;//储存
int* point=new int[3];
point[0]=123;
point[1]=44;
point[2]=12;
pointVec.push_back(point);

个人预测数据量在百万级，因此写文件、读文件成为一个比较重要的过程，毕竟I/O操作是比较消耗时间的。

2. 读取方案

一百万行数据存储在txt文件中大概需要13M，单纯以二进制读取的时间消耗是微秒级别的，一旦中途需要将其拆分为int就会变得很慢。

2.1 混合QT与C++的读取方式

std::vector<int*>* HeatMap::readSegmentInfo(const char* t_file, int* t_header) {
    std::vector<int*>* pointVec = new std::vector<int*>;std::ifstream in;in.open(t_file, std::ios::in);if (!in.is_open()) return nullptr;while (std::getline(in, line)) {
    QString tLine = QString::fromLocal8Bit(line.c_str());QStringList lineList = tLine.split(" ");if (lineList.count() == 3) {
    int* arr = new int[3];arr[0] = lineList[0].toInt();arr[1] = lineList[1].toInt();arr[2] = lineList[2].toInt();pointVec->push_back(arr);}}in.close();
}

时间：11s左右

2.2 stringstream的读取方式

std::vector<int*>* HeatMap::readSegmentInfo(const char* t_file, int* t_header) {
    std::vector<int*>* pointVec = new std::vector<int*>;std::ifstream in;in.open(t_file, std::ios::in);if (!in.is_open()) return nullptr;std::stringstream buffer;buffer << in.rdbuf();while (!buffer.eof()) {
    int* arr = new int[3];buffer >> arr[0];buffer >> arr[1];buffer >> arr[2];pointVec->push_back(arr);}in.close();
}

时间：11s左右

2.3 C风格fscanf()的读取方式

std::vector<int*>* HeatMap::readSegmentInfo(const char* t_file, int* t_header) {
    std::vector<int*>* pointVec = new std::vector<int*>;FILE* fp;char line[1000] = {
     0 };fp = fopen(t_file, "r");while (!feof(fp)) {
    int* arr = new int[3];fscanf(fp, "%d", &arr[0]);fscanf(fp, "%d", &arr[1]);fscanf(fp, "%d", &arr[2]);pointVec->push_back(arr);}fclose(fp);
}
//也可以手动逐个字符的读取，通过空格换行作为中断或者结束标志，
//手动将buffer转化为int最后存储在向量中，这样也能够达到效果，
//时间与直接使用fscanf相差不大。

时间：2~3s [即使已经很快了，但是依旧觉得慢]

3. 思考&相关链接

不知道是多久以前写的了，停止思考?