实验课的项目,爬虫爬取网站内容,lucene实现索引和搜索功能,界面也很美观。爬取的是重庆大学新闻网的内容。
代码片段和文件信息
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
文件 1251 2015-11-26 22:30 CquNews.classpath
文件 1040 2015-11-22 12:02 CquNews.project
文件 567 2015-11-22 12:02 CquNews.settings.jsdtscope
文件 116 2015-11-26 22:19 CquNews.settingsorg.eclipse.core.resources.prefs
文件 364 2015-11-22 12:02 CquNews.settingsorg.eclipse.jdt.core.prefs
文件 473 2015-11-22 12:02 CquNews.settingsorg.eclipse.wst.common.component
文件 305 2015-11-22 12:02 CquNews.settingsorg.eclipse.wst.common.project.facet.core.xml
文件 49 2015-11-22 12:02 CquNews.settingsorg.eclipse.wst.jsdt.ui.superType.container
文件 6 2015-11-22 12:02 CquNews.settingsorg.eclipse.wst.jsdt.ui.superType.name
文件 1934 2015-12-12 10:45 CquNewsuildclassescomeguilmodelConstant.class
文件 2149 2015-12-12 10:45 CquNewsuildclassescomeguilmodelNewsItem.class
文件 5574 2015-12-12 10:45 CquNewsuildclassescomeguilmyspiderMySpider.class
文件 5207 2015-12-12 11:21 CquNewsuildclassescomgnoroullucenehelperLuceneHelper.class
文件 1783 2015-11-25 20:39 CquNewssrccomeguilmodelConstant.java
文件 1483 2015-11-25 20:39 CquNewssrccomeguilmodelNewsItem.java
文件 5339 2015-11-30 12:48 CquNewssrccomeguilmyspiderMySpider.java
文件 4234 2015-12-12 11:21 CquNewssrccomgnoroullucenehelperLuceneHelper.java
文件 117305 2015-11-26 19:24 CquNewsWebContentcssootstrap.min.css
文件 23739 2015-11-26 19:24 CquNewsWebContentcssfont-awesome.min.css
文件 16904 2015-11-26 20:57 CquNewsWebContentcss emplatemo-style.css
文件 322 2015-11-30 13:47 CquNewsWebContentdatasegments_d
文件 0 2015-11-29 18:47 CquNewsWebContentdatawrite.lock
文件 1860946 2015-11-30 05:41 CquNewsWebContentdata\_a.fdt
文件 962 2015-11-30 05:41 CquNewsWebContentdata\_a.fdx
文件 327 2015-11-30 05:41 CquNewsWebContentdata\_a.fnm
文件 40667 2015-11-30 05:41 CquNewsWebContentdata\_a.nvd
文件 88 2015-11-30 05:41 CquNewsWebContentdata\_a.nvm
文件 490 2015-11-30 05:41 CquNewsWebContentdata\_a.si
文件 624033 2015-11-30 05:41 CquNewsWebContentdata\_a_Lucene50_0.doc
文件 320767 2015-11-30 05:41 CquNewsWebContentdata\_a_Lucene50_0.pos
............此处省略57个文件信息
package com.eguil.model;
public class Constant
{
public static int NEWS_TYPE_CDKY = 0;
public static int NEWS_TYPE_CDXS = 1;
public static int NEWS_TYPE_CDJX = 2;
public static int NEWS_TYPE_ZSJY = 3;
public static int NEWS_TYPE_OTHERS = 4;
public static String NEWS_URL_CDKY = “http://news.cqu.edu.cn/news/article/list.php?catid=46“;
public static String NEWS_URL_CDXS = “http://news.cqu.edu.cn/news/article/list.php?catid=47“;
public static String NEWS_URL_CDJX = “http://news.cqu.edu.cn/news/article/list.php?catid=48“;
public static String NEWS_URL_ZSJY = “http://news.cqu.edu.cn/news/article/list.php?catid=53“;
public static String typeToString(int type)
{
switch (type)
{
case 0:
return “重大科研“;
case 1:
return “重大学术“;
case 2:
return “重大教学“;
case 3:
return “招生就业“;
default:
return “其他“;
}
}
public static int stringToType(String type)
{
switch (type)
{
case “重大科研“:
return 0;
case “重大学术“:
return 1;
case “重大教学“:
return 2;
case “招生就业“:
return 3;
default:
return 4;
}
}
public static String getUrlOfType(int type)
{
switch (type)
{
case 0:
return Constant.NEWS_URL_CDKY;
case 1:
return Constant.NEWS_URL_CDXS;
case 2:
return Constant.NEWS_URL_CDJX;
case 3:
return Constant.NEWS_URL_ZSJY;
default:
return ““;
}
}
public static int getTypeOfUrl(String url)
{
if(url.equals(Constant.NEWS_URL_CDKY))
return 0;
else if(url.equals(Constant.NEWS_URL_CDXS))
return 1;
else if(url.equals(Constant.NEWS_URL_CDJX))
return 2;
else if(url.equals(Constant.NEWS_URL_ZSJY))
return 3;
else
return -1;
}
}
属性 大小 日期 时间 名称
----------- --------- ---------- ----- ----
文件 1251 2015-11-26 22:30 CquNews.classpath
文件 1040 2015-11-22 12:02 CquNews.project
文件 567 2015-11-22 12:02 CquNews.settings.jsdtscope
文件 116 2015-11-26 22:19 CquNews.settingsorg.eclipse.core.resources.prefs
文件 364 2015-11-22 12:02 CquNews.settingsorg.eclipse.jdt.core.prefs
文件 473 2015-11-22 12:02 CquNews.settingsorg.eclipse.wst.common.component
文件 305 2015-11-22 12:02 CquNews.settingsorg.eclipse.wst.common.project.facet.core.xm
文件 49 2015-11-22 12:02 CquNews.settingsorg.eclipse.wst.jsdt.ui.superType.container
文件 6 2015-11-22 12:02 CquNews.settingsorg.eclipse.wst.jsdt.ui.superType.name
文件 1934 2015-12-12 10:45 CquNewsuildclassescomeguilmodelConstant.class
文件 2149 2015-12-12 10:45 CquNewsuildclassescomeguilmodelNewsItem.class
文件 5574 2015-12-12 10:45 CquNewsuildclassescomeguilmyspiderMySpider.class
文件 5207 2015-12-12 11:21 CquNewsuildclassescomgnoroullucenehelperLuceneHelper.class
文件 1783 2015-11-25 20:39 CquNewssrccomeguilmodelConstant.java
文件 1483 2015-11-25 20:39 CquNewssrccomeguilmodelNewsItem.java
文件 5339 2015-11-30 12:48 CquNewssrccomeguilmyspiderMySpider.java
文件 4234 2015-12-12 11:21 CquNewssrccomgnoroullucenehelperLuceneHelper.java
文件 117305 2015-11-26 19:24 CquNewsWebContentcssootstrap.min.css
文件 23739 2015-11-26 19:24 CquNewsWebContentcssfont-awesome.min.css
文件 16904 2015-11-26 20:57 CquNewsWebContentcss emplatemo-st
文件 322 2015-11-30 13:47 CquNewsWebContentdatasegments_d
文件 0 2015-11-29 18:47 CquNewsWebContentdatawrite.lock
文件 1860946 2015-11-30 05:41 CquNewsWebContentdata\_a.fdt
文件 962 2015-11-30 05:41 CquNewsWebContentdata\_a.fdx
文件 327 2015-11-30 05:41 CquNewsWebContentdata\_a.fnm
文件 40667 2015-11-30 05:41 CquNewsWebContentdata\_a.nvd
文件 88 2015-11-30 05:41 CquNewsWebContentdata\_a.nvm
文件 490 2015-11-30 05:41 CquNewsWebContentdata\_a.si
文件 624033 2015-11-30 05:41 CquNewsWebContentdata\_a_Lucene50_0.doc
文件 320767 2015-11-30 05:41 CquNewsWebContentdata\_a_Lucene50_0.pos
............此处省略57个文件信息
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件举报,一经查实,本站将立刻删除。
评论列表(条)