现在小弟这里有个需求,往各位高手给个性能比较高的思路,现将情况进行下阐述。
有N个客户端
客户端发送请求到WebService。
WebService接受每个客户端的数据,数据量总和在百万级。
然后对这些数据要和数据库中的值进行比较,相同的则不管,不同的要更新,没有的要存入数据库。
主要的就是最后这个比较保存的步骤,希望指点一下。
我的思路是这样的。
建立分表,每个客户端一个表,从数据库中分批读取数据,然后进行比较。比较之后用sqlbulkcopy进行分批保存。
考虑到性能,不知道各位高手有什么独特的见解给提供一下,谢谢。
------解决方案--------------------------------------------------------