ITeye博客

cz05141331的博客

cz05141331 · 共 3 篇文章

Nutch index源代码解析二)

接着上篇文档~~~~~ 上篇文章写到,Nutch采用一个MR对爬取下来的文档进行清洗和封装成一个action列表。 接下来介绍怎么爬取下来的数据如何推送给solr。 ----------------------------------------------------华丽的分割线--------------------------------------------- Ntuch自定义了一个 IndexerOutputFormat,这个类继承于FileOutputFormat Override getRecordWriter方法 代码如下: public class IndexerOutp…

2013-03-15 10:56 · 大数据处理研究 · 评论(0)

Nutch index源代码解析(一)

Nutch集成slor的索引方法介绍 /** * 建立索引 * @param solrUrl solr的web地址 * @param crawlDb 爬取DB的存放路径:\crawl\crawldb * @param linkDb 爬取link的存放路径:\crawl\linkdb * @param segments 元数据存放路径:\crawl\segments * @param noCommit 是否提交slor服务器跟下slor索引 * @param deleteGone 是否删除过时的文档 * @param solrParams solr的参数 * @param filter 是否启…

2013-03-14 10:41 · 大数据处理研究 · 评论(0)

递归算法

public class Test { static int multiply(int n) { if (n == 1 || n == 0) { return n; } else { return n * multiply(n - 1); } } public static void main(String args) { System.out.println(multiply(5)); } } 方法要点,调用自己的方法;经常用来处理阶乘梵塔等问题。例如(n*(n-1))

2010-09-13 14:19 · 评论(0)