当前位置: 代码迷 >> java >> 使用线程分割大文件
  详细解决方案

使用线程分割大文件

热度:19   发布时间:2023-07-25 19:48:04.0

我有一个包含> 5亿行的文本文件,其结构如下:

54517. lat:53.533459; lon:8.8005426; path:c:\brem_5.xml;
54518. lat:53.037579; lon:8.800404; path:c:\brem_5.xml;
54519. lat:53.03358275; lon:8.610994; path:c:\brem_5.xml;
54520. lat:53.027389; lon:8.797809; path:c:\brem_6.xml;
54521. lat:53.043866; lon:8.7971675; path:c:\brem_7.xml;
54522. lat:53.0311901; lon:8.794269; path:c:\brem_7.xml;
....
....
....

我正在写一个给定“ lat”和“ lon”的方法,它应该返回路径。 我考虑过将巨大的文件分为“ sec0,sec1,sec2,sec3,...,secn”部分,然后为寻找“ lat”和“ lon”的每个部分创建线程,并在线程返回路径,其他线程将被杀死。

我的问题是,我的方法有效吗? 以及解决此问题的最佳解决方案是什么?

我建议使用MySQL。 创建一个表; ID,纬度,经度,路径。 编写脚本以插入所有数据。 然后解析数据,例如select path from table where lat = x and long = y

  相关解决方案