当前位置: 代码迷 >> Java相关 >> 遍历100万个文件,该怎么解决
  详细解决方案

遍历100万个文件,该怎么解决

热度:5436   发布时间:2013-02-25 21:49:56.0
遍历100万个文件
在window系统中有一个大约100万个文件的文件夹,大小大约29g。现在想用java/C# 或其它语言 遍历这个文件夹中的所有文件,按照文件创建时间分到不同的文件夹中。
自己尝试用java,但内存溢出(主要是文件太多)。不知有没有其它方法?

------解决方案--------------------------------------------------------
探讨
当我像这样列一下所有的文件名时,java内存已经溢出了。
现在就是想获取这个文件夹下面的所有文件名。

------解决方案--------------------------------------------------------
建议直接用批处理FOR命令,建立一个move1m.bat

Java code
@ECHO OFFSET HOME=D:\test\1MFOR /R %HOME% %%I IN (*.*) DO (  SET LAST_MODIFIED=%%~tI  SET YEAR=%LAST_MODIFIED:~0,4%  SET MONTH=%LAST_MODIFIED:~5,2%  SET DIR=%HOME%\%YEAR%%MONTH%  MD %DIR%  MOVE %%I %DIR%\%%~nxI)
------解决方案--------------------------------------------------------
计算机组成原理→DOS命令→汇编语言→C语言(不包括C++)、代码书写规范→数据结构、编译原理、操作系统→计算机网络、数据库原理、正则表达式→其它语言(包括C++)、架构……

在cmd窗口里面执行以下命令
cd /d d:\mydir
dir /tc /o-d /a-d *.* >d:\allfiles.txt
之后d:\allfiles.txt中为d:\mydir下所有文件按创建日期时间从新到旧排序的文件。
Java code
 驱动器 D 中的卷是 xxx 卷的序列号是 xxx D:\mydir 的目录2011-09-08  14:58                27 135.txt2011-08-16  10:51                 9 uid.txt2011-04-19  16:23            25,189 cl.txt2010-12-24  09:11            16,898 出租.txt2010-12-14  14:08            13,085 出租1.txt2010-12-14  14:08            54,629 gcc.txt               6 个文件        109,837 字节               0 个目录  9,263,505,408 可用字节
------解决方案--------------------------------------------------------
探讨
引用:

嚯嚯,楼上,100多万的文件信息,你以为写到一个txt文件里面,速度很快?读这个TXT速度会慢得和蜗牛差不多。


2楞子,又不是一次写入,呆!
创建文件夹的时候,就写入啊!
我就不信,哪个2B手工创建的100万个文件夹,肯定也是程序实现。那程序实现的,就可以加以控制。创建完一个,写一条记录,有问题吗?

------解决方案--------------------------------------------------------
探讨
引用:
按照文件创建时间分到不同的文件夹中。
...


(本来写了一大堆,结果发现是Java区的。。)
有2个Win32的API: FindFirstFile FindNextFile, 但是 Java/C#的就不知道了。
一次只获取一个文件信息,分类的话……有一次遍历就完成的算法。
希望不要产生1W个文件夹……

------解决方案--------------------------------------------------------
用doc tree命令 列出文件列表重定向到文件,解析该文件。
dos下 cd到目录
tree > d:/temp.txt
解析temp.txt
  相关解决方案