Java网络爬虫源码

package pipeline;


import java.util.Map;

import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import us.codecraft.webmagic.ResultItems;
import us.codecraft.webmagic.Task;
import us.codecraft.webmagic.pipeline.Pipeline;

public class HdPipeline implements Pipeline {
  private Logger logger = LoggerFactory.getLogger（HdPipeline.class）;

  @Override
  public void process（ResultItems resultItems Task task） {
	  //处理抓取到的数据或存入数据库
	  Map resultMap = （Map） resultItems.get（“resultMap“）;
	  System.out.println（resultMap）;
   
  }

}

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----
     目录           0  2016-12-14 10:22  spider
     文件        2829  2016-12-14 16:13  spider.classpath
     文件         382  2016-12-14 10:21  spider.project
     目录           0  2016-12-14 10:24  spider.settings
     文件         103  2016-12-14 12:08  spider.settingsorg.eclipse.core.resources.prefs
     文件         598  2016-12-14 10:21  spider.settingsorg.eclipse.jdt.core.prefs
     目录           0  2016-12-14 16:13  spiderin
     目录           0  2016-12-14 16:13  spiderinpipeline
     文件        1036  2016-12-23 11:28  spiderinpipelineHdPipeline.class
     目录           0  2016-12-23 11:27  spiderinprocessor
     文件        8282  2016-12-23 11:33  spiderinprocessorHdProcessor.class
     目录           0  2016-12-14 16:12  spiderlib
     文件      576338  2016-12-14 10:22  spiderlibassertj-core-1.5.0.jar
     文件     2902942  2016-09-29 10:03  spiderlibcprov-jdk15on-1.52.jar
     文件      188671  2016-12-14 16:12  spiderlibcommons-beanutils-1.7.0.jar
     文件      232771  2016-12-14 10:22  spiderlibcommons-codec-1.6.jar
     文件      259600  2016-09-29 10:10  spiderlibcommons-codec-1.7.jar
     文件      559366  2016-12-14 16:12  spiderlibcommons-collections-3.1.jar
     文件      575389  2016-12-14 10:22  spiderlibcommons-collections-3.2.1.jar
     文件       87776  2016-12-14 10:22  spiderlibcommons-io-1.3.2.jar
     文件      159509  2016-09-01 10:57  spiderlibcommons-io-2.0.1.jar
     文件      279193  2016-12-14 16:12  spiderlibcommons-lang-2.5.jar
     文件      284220  2016-12-14 10:22  spiderlibcommons-lang-2.6.jar
     文件      315805  2016-12-14 10:22  spiderlibcommons-lang3-3.1.jar
     文件       62050  2016-12-14 10:22  spiderlibcommons-logging-1.1.3.jar
     文件       61829  2016-08-18 14:33  spiderlibcommons-logging-1.2.jar
     文件       45405  2016-12-14 16:12  spiderlibcommons-logging.jar
     文件       96221  2016-08-10 16:37  spiderlibcommons-pool-1.5.4.jar
     文件      100193  2016-12-14 10:22  spiderlibcommons-pool-1.5.5.jar
     文件       77826  2016-12-14 16:12  spiderlibezmorph-1.0.3.jar
     文件      356654  2016-12-14 10:22  spiderlibfastjson-1.1.37.jar
............此处省略26个文件信息