当前位置: 代码迷 >> J2SE >> 大数据的情况下怎么高效的计算表达式的值
  详细解决方案

大数据的情况下怎么高效的计算表达式的值

热度:207   发布时间:2016-04-24 18:03:07.0
大数据的情况下如何高效的计算表达式的值
最近的一个项目需要进行蒙特卡洛模拟,并且需要对模拟结果进行表达式求职计算
计算的公式不固定一般的格式是这样$0+$1*2/$3*2.5且随着业务的复杂还需要
进行多次迭代计算。数据量很大最少的也要进行2-3万次计算。

我试了用自己写的表达式求职程序和Mozilla的Rhino效率上都不是很理想,可能是自己
水平比较差,用Mozilla的Rhino居然比自己写的程序快一倍。我们用的jdk1.5所以不能
用jdk1.6中才支持的编译后执行脚本的方法。

想过尝试动态生成Java文件然后编译执行,但是一想起在服务器环境这个程序可能需要
同时计算多个表达式......越想越觉得不可靠.

大家处理这样的问题有什么好的思路,请给些指点.

------解决方案--------------------
蒙特卡洛算法我们也用。。。可惜是数学家算好给我们的。。。。

帮顶吧
------解决方案--------------------
我不知道 BeanShell 的速度如何?
------解决方案--------------------
路过 学习

帮顶下
------解决方案--------------------
以脚本语言的计算能力根本就不适合做大规模数值计算。
你可以先把一个固定的计算公式用java写好,然后跟Rhino比较一下。保守的估计至少要差几十倍以上,rhino的脚本编译运行也不能提高太多的效率,因为它依旧要依靠脚本运行引擎。

如果计算公式不是经常变化的话,还是可以用java写,用javac动态编译。同时可以考虑用文件保存编译过的class。


------解决方案--------------------
不懂,顶下
------解决方案--------------------
5000 个数据计算 $0+$1*$2+$3 使用 BeanShell 的话需要 17~18 秒的时间,好像太耗时间了。
------解决方案--------------------
哈哈,改进了一下,把循环放到 BeanShell 里面用 JVM 去执行,5000 个数据计算 $0+$1*$2+$3 使用 BeanShell 的话压缩到了不到 600ms

参考:

Java code
import java.util.Random;import bsh.EvalError;import bsh.Interpreter;public class Test2 {        public static void main(String[] args) throws EvalError {                final int count = 5000;        final int paramCount = 4;                double[][] datas = new double[paramCount][count];        Random ran = new Random();        for(int i = 0; i < datas.length; i++) {            for(int j = 0; j < datas[i].length; j++) {                datas[i][j] = ran.nextDouble() * count;            }        }        double[] results = new double[count];                long t0, t1;        t0 = System.currentTimeMillis();                String exp = "$0 + $1 * $2 + $3";        eval(exp, results, datas);                t1 = System.currentTimeMillis();        System.out.println(t1 - t0);                // 测试正确性        double[] res = new double[count];        for(int j = 0; j < datas[0].length; j++) {           for(int i = 0; i < datas.length; i++) {               res[j] = datas[0][j] + datas[1][j] * datas[2][j] + datas[3][j];            }        }                for(int i = 0; i < count; i++) {            if(results[i] != res[i]) {                System.out.printf("error! %.6f --> %.6f%n", results[i], res[i]);            }        }    }        public static void eval(String expression, double[] results, double[]... datas) throws EvalError {                String ep = expression.replaceAll("\\$(\\d+)", "datas[$1][j]");                String exp =            " for(int j = 0; j < datas[0].length; j++) {" +            "   for(int i = 0; i < datas.length; i++) {" +            "     results[j] = " + ep + ";" +            "   } " +            " }";        Interpreter bsh = new Interpreter();        bsh.set("datas", datas);        bsh.set("results", results);        bsh.eval(exp);        results = (double[])bsh.get("results");    }}
------解决方案--------------------
xuexi
------解决方案--------------------
BeanShell 支持的是 Java 语言
------解决方案--------------------
哈哈,我终于知道前面为什么要 600ms 了,因为我多做了几次循环,哎,真粗心!
  相关解决方案