新闻自动采集系统


强大的新闻采集系统,对目标网站进行信息自动抓取,支持HTML页面内各种数据的采集,如文本信息,URL,数字,日期,图片等。 用户对每类信息自定义来源与分类 可以下载图片与各类文件,如PDF,Flash等 支持用户名与密码自动登录 支持命令行格式,可以Windows任务计划器配合,定期抽取目标网站 支持记录唯一索引,避免相同信息重复入库 支持智能替换功能,可以将内容中嵌入的所有的无关部分如广告去除 支持多页面文章内容自动抽取与合并 支持下一页自动浏览功能 数据直接进入数据库而不是文件中,因此与利用这些数据的网站程序或者桌面
资源截图
代码片段和文件信息
using System;
using System.Collections.Generic;
using System.ComponentModel;
using System.Data;
using System.Drawing;
using System.Text;
using System.Windows.Forms;
using System.Threading;
using System.xml;

namespace 个性系列_智能新闻自动采集系统
{
    public partial class Main : Form
    {
        Thread ThreadGetNews;
        public Main()
        {
            InitializeComponent();
        }
        private void Main_Load(object sender EventArgs e)
        {
            BindGrid();
            if (IsAutoGet())
            {
                GetNews();
            }
        }
        bool IsAutoGet()
        {
            xmlDocument xml = new xmlDocument();
            xml.Load(“RssNews.xml“);
            string autoGet = ““;
            xmlNode Node = xml.SelectSingleNode(“RssNews/Config“);
            if (Node != null)
            {
                autoGet = Node[“IsAutoGet“].InnerText;
                if (autoGet == “True“)
                {
                    程序启动就开始获取ToolStripMenuItem.Checked = true;
                    return true;
                }
            }
            return false;
        }
        void SetGetNewsBtn(string Enable)
        {
            if (Enable == “false“)
            {
                停止获取新闻ToolStripMenuItem.Enabled = true;
                开始获取新闻ToolStripMenuItem.Enabled = false;
            }
            else
            {
                停止获取新闻ToolStripMenuItem.Enabled = false;
                开始获取新闻ToolStripMenuItem.Enabled = true;
            }
        }
        void GetNews()
        {
            treeView1.Nodes.Clear();
            ThreadGetNews = new Thread(new ThreadStart(BeginGetNews));
            ThreadGetNews.Start();
        }
        void AddTreeNode(TreeNode Node1 TreeNode Node2)
        {
            Node1.Nodes.Add(Node2);
            //Node1.ExpandAll();
        }
        void SetStateText(string a)
        {
            txtState.Text = a;
        }
        void AddRootTreeNode(TreeNode Node1 TreeNode Node2)
        {
            treeView1.Nodes.Add(Node1);
        }
        delegate void A(string a);
        delegate void B(TreeNode Node1 TreeNode Node2);
        void BeginGetNews()
        {
            object o = new object();
            lock (o)
            {
                try
                {
                    int NewsCount = 0;
                    int Rsscount = 0;
                    A detSetGetNewsBtn = new A(SetGetNewsBtn);
                    A detSetStateText = new A(SetStateText);
                    B detAddRootTreeNode = new B(AddRootTreeNode);
                    B detAddTreeNode = new B(AddTreeNode);
                    this.Invoke(detSetGetNewsBtn “false“);
                    List rssList = News.GetRssList();
                    foreach (RssModel rss in rssList)
                    {
                        this.Invoke(detSetStateText “正在获取:“ + rss.NewsName);
         

 属性            大小     日期    时间   名称
----------- ---------  ---------- -----  ----

     文件     284672  2007-04-14 10:39  NewsDig使用说明书.doc

    ..A..H.     24064  2006-10-14 15:30  NewsDig 原代码个性系列-智能新闻自动采集系统.suo

     文件       1018  2006-07-28 22:05  NewsDig 原代码个性系列-智能新闻自动采集系统.sln

     文件      86358  2006-07-29 02:29  NewsDig 原代码个性系列-智能新闻自动采集系统Favorites.ico

     文件       4007  2006-07-29 02:29  NewsDig 原代码个性系列-智能新闻自动采集系统个性系列-智能新闻自动采集系统.csproj

     文件      14393  2006-09-07 14:01  NewsDig 原代码个性系列-智能新闻自动采集系统News.cs

     文件       1603  2006-08-12 16:50  NewsDig 原代码个性系列-智能新闻自动采集系统NewsModel.cs

     文件        168  2006-07-28 22:42  NewsDig 原代码个性系列-智能新闻自动采集系统个性系列-智能新闻自动采集系统.csproj.user

     文件       6492  2006-08-12 16:54  NewsDig 原代码个性系列-智能新闻自动采集系统Rss.cs

     文件        978  2006-07-29 01:00  NewsDig 原代码个性系列-智能新闻自动采集系统NewsConfig.cs

     文件       2049  2006-08-12 09:38  NewsDig 原代码个性系列-智能新闻自动采集系统RssModel.cs

     文件        501  2006-07-28 22:05  NewsDig 原代码个性系列-智能新闻自动采集系统Program.cs

     文件      34734  2006-09-07 14:07  NewsDig 原代码个性系列-智能新闻自动采集系统Main.Designer.cs

     文件     143675  2006-09-07 14:07  NewsDig 原代码个性系列-智能新闻自动采集系统Main.resx

     文件      18986  2006-09-07 14:07  NewsDig 原代码个性系列-智能新闻自动采集系统Main.cs

     文件        585  2006-10-14 15:12  NewsDig 原代码个性系列-智能新闻自动采集系统obj个性系列-智能新闻自动采集系统.csproj.FileList.txt

     文件      91803  2006-09-07 14:07  NewsDig 原代码个性系列-智能新闻自动采集系统objDebug个性系列_智能新闻自动采集系统.Main.resources

     文件        180  2006-07-28 22:13  NewsDig 原代码个性系列-智能新闻自动采集系统objDebug个性系列_智能新闻自动采集系统.Properties.Resources.resources

     文件      91648  2006-09-07 14:07  NewsDig 原代码个性系列-智能新闻自动采集系统objDebug个性系列-智能新闻自动采集系统.pdb

     文件     233472  2006-09-07 14:07  NewsDig 原代码个性系列-智能新闻自动采集系统objDebug个性系列-智能新闻自动采集系统.exe

     文件        841  2006-09-07 14:07  NewsDig 原代码个性系列-智能新闻自动采集系统objDebug个性系列-智能新闻自动采集系统.csproj.GenerateResource.Cache

     目录          0  2006-11-06 20:19  NewsDig 原代码个性系列-智能新闻自动采集系统objDebugRefactor

     目录          0  2006-11-06 20:19  NewsDig 原代码个性系列-智能新闻自动采集系统objDebugTempPE

     目录          0  2006-11-06 20:19  NewsDig 原代码个性系列-智能新闻自动采集系统objDebug

     目录          0  2006-11-06 20:19  NewsDig 原代码个性系列-智能新闻自动采集系统obj

     文件       5632  2005-12-08 14:51  NewsDig 原代码个性系列-智能新闻自动采集系统inDebug个性系列-智能新闻自动采集系统.vshost.exe

     文件     233472  2006-09-07 14:07  NewsDig 原代码个性系列-智能新闻自动采集系统inDebug个性系列-智能新闻自动采集系统.exe

     文件      91648  2006-09-07 14:07  NewsDig 原代码个性系列-智能新闻自动采集系统inDebug个性系列-智能新闻自动采集系统.pdb

     文件       6935  2006-10-13 21:35  NewsDig 原代码个性系列-智能新闻自动采集系统inDebugRssNews.xml

     文件     786432  2006-08-20 19:27  NewsDig 原代码个性系列-智能新闻自动采集系统inDebugqw_News_log.LDF

............此处省略18个文件信息

版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件举报,一经查实,本站将立刻删除。

发表评论

评论列表(条)