利用JPA做“公共黑板”,解决了数据挖掘中hadoop的子任务无法共享数据的问题,提出了树型结构的高效算法。具体实现了kdtree的hadoop版本。 代码可以在http://svn.javaforge.com/svn/hadoopjpa/HadoopDataMining check out. 需要先注册;如果不能成功,换小写地址。 下面是ris格式的引文,存盘后可为endnote等文献管理软件导入。 TY - CHAP AU - Lai, Yang AU - ZhongZhi, Shi A2
利用持久化方法(JPA),解决了Hadoop的子任务无法共享数据的问题,提出了一个hadoop上的数据挖掘框架,可以完成树型结构。具体实现了DBtree。 下面是ris格式的引文,存盘后,可为endnote等文献管理软件导入。 TY - CONF JO - Computer and Information Technology, International Conference on TI - An Efficient Data Mining Framework on Hadoop using
大部分人都知道用oledb来读取数据到dataset,但是读取之后怎么处理dataset就千奇百怪了。很多人通过循环来拼接sql,这样做不但容易出错而且效率低下,System.Data.SqlClient.SqlBulkCopy 对于新手来说还是比较陌生的,这个就是传说中效率极高的bcp,6万多数据从excel导入到sql只需要4.5秒。
using System;
using System.Data;
using System.Windows.Forms;
using System.Data