做一个日志分析程序,日志文件很大,切有很多个,而且在不断更新中,现在要求通过关键字查找 日志信息,大家帮提供个思路。
------解决方案--------------------------------------------------------
大文件的日志,搜索起来效率肯定很低,用lucene建索引肯定成本很高
建议: 写个server,读取实时的滚动日志,按照你自己的关键字来分析,比如:按照日期,按照号码等等,将新增的日志,重新写到另外目录,另外的文件
通过按照规则分多级目录,多个文件,最后形成一些小文件。这样,搜索的时候,按照目录,找到最后的小文件,再搜索起来效率会比较高。。