采集器插件开发手册1

合集下载
  1. 1、下载文档前请自行甄别文档内容的完整性,平台不提供额外的编辑、内容补充、找答案等附加服务。
  2. 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
  3. 3、如文档侵犯您的权益,请联系客服反馈,我们会尽快为您处理(人工客服工作时间:9:00-18:30)。

火车采集器插件开发手册

1.火车采集器插件使用C#语言开发,用户开发时需要引用Release目录下的super.dll和AppInerFace.dll 两个类库即可。开发的插件需要实现ILocoySpider和ISuperJob 两个接口,程序在运行时会加载并执行插件程序集中的方法。插件的开发细节请查看开发示例。

2.开发插件时需要注意以下几个方法

A.程序集的目标Framework 为.Net Framework 2.0

B.程序集的目标平台为x86

C.插件开发完成后,除插件文本本身外,其它引用的dll文件需要放在采集器的System目录下。本程序引用的super.dll和AppInerFace.dll 文件程序已自带并加密,不需要复制。复制会引起程序运行错误。

我们从接口的源码中解析一下插件中需要实现的各个方法和属性的功能和使用的位置:

using System;

using System.Collections.Generic;

using System.Text;

namespace LeWell.Api

{

///

///火车采集器采网址,保存内容时的插件

///

public interface ILocoySpider

{

///

///是否处理起始网址,如果是,则调用MakeStartAddress方法,对每个起始网址再进行处理

///

bool UseMakeStartAddress { get; }

///

///对起始网址进行处理,即通过每个起始网址生成一个或多个网址链接,并将最终生成的网址做为起始网址。注意这里的起始网址是采集器对起始规则进行解析后生成的新的起始网址。比如我们从生成的真实的递增网址中再生成新的网址。

///

///单个的起始网址

///浏览器user-agent

///来源页

///网页cookie

///如果UseMakeStartAddress,请直接返回空List或null

List MakeStartAddress(string urlData,string useragent,string refer,.CookieCollection cookie);

///

相关文档
最新文档