JAVA中用多线程技术实现大数据导入

JAVA中用多线程技术实现大数据导入

朋友让我帮忙写个程序从文本文档中导入数据到oracle 数据库中,技术上没有什么难度,文档的格式都是固定的只要对应数据库中的字段解析就行了,关键在于性能。

数据量很大百万条记录,因此考虑到要用多线程并发执行,在写的过程中又遇到问题,我想统计所有子进程执行完毕总共的耗时,在第一个子进程创建前记录当前时间用

System.currentTimeMillis()在最后一个子进程结束后记录当前时间,两次一减得到的时间差即为总共的用时,代码如下Java代码

long tStart = System.currentTimeMillis();

System.out.println(Thread.currentThread().getName() + "开始");//打印开始标记

for (int ii = 0; ii < threadNum; ii++) {//开threadNum个线程Runnable r = new Runnable(){

@Override

public void run(){

System.out.println(Thread.currentThread().getName() + "开始");

//做一些事情... ...

System.out.println(Thread.currentThread().getName() + "结束.");

}

}

Thread t = new Thread(r);

t.start();

}

System.out.println(Thread.currentThread().getName() + "结束.");//打印结束标记

long tEnd = System.currentTimeMillis();

System.out.println("总共用时:"+ (tEnd - tStart) + "millions");

long tStart = System.currentTimeMillis();

System.out.println(Thread.currentThread().getName() + "开始");//打印开始标记

for (int ii = 0; ii < threadNum; ii++) {//开threadNum个线程

Runnable r = new Runnable(){

@Override

public void run(){

System.out.println(Thread.currentThread().getName() + "开始");

//做一些事情... ...

System.out.println(Thread.currentThread().getName() + "结束.");

}

}

Thread t = new Thread(r);

t.start();

}

System.out.println(Thread.currentThread().getName() + "结束.");//打印结束标记

long tEnd = System.currentTimeMillis();

System.out.println("总共用时:"+ (tEnd - tStart) + "millions");

结果是几乎在for循环结束的瞬间就执行了主线程打印总共用时的语句,原因是所有的子线程是并发执行的,它们运行时主线程也在运行,这就引出了一个问题即本文标题如何"让主线程等待所有子线程执行完毕"。试过在每个子线程开始后加上t.join(),结果是所有线程都顺序执行,这就失去了并发的意义了,显然不是我想要的。

网上Google了很久也没有找到解决方案,难道就没有人遇到过这种需求吗?还是这个问题太简单了?无耐只得自己想办法了...

最后我的解决办法是,自定义一个ImportThread类继承自ng.Thread,重载run()方法,用一个List属性保存所有产生的线程,这样只要判断这个List是否为空就知道还有没有子线程没有执行完了,类代码如下：Java代码

public class ImportThread extends Thread {

private static List<Thread> runningThreads = new ArrayList<Thread>();

public ImportThread() {

}

@Override

public void run() {

regist(this);//线程开始时注册

System.out.println(Thread.currentThread().getName() + "开始...");//打印开始标记

//做一些事情... ...

unRegist(this);//线程结束时取消注册

System.out.println(Thread.currentThread().getName() + "结束.");//打印结束标记

}

public void regist(Thread t){

synchronized(runningThreads){

runningThreads.add(t);

}

}

public void unRegist(Thread t){

synchronized(runningThreads){

runningThreads.remove(t);

}

}

public static boolean hasThreadRunning() {

return (runningThreads.size() > 0);//通过判断runningThreads是否为空就能知道是否还有线程未执行完}

}

public class ImportThread extends Thread {

private static List<Thread> runningThreads = new