频道直达 - 专题 - 新闻 - 技巧 - 组网 - 开发 - 安全 - web编程 - 图像 - 操作系统 - 数据库 - 教育 - 旅游 - 健康 - 时尚 - 驱动 - 软件 - 游戏 - 多媒体 - ERP - 讨论组

在Eclipse中调试运行Nutch

来源: 作者:佚名 出处:巧巧读书 2008-04-30 进入讨论组

    昨天花了一天时间都没有搞定Nutch(nutch 0.8版本)。今天终于在同学提示下搞定了。总结一下这个恶心的东西,免得其他同志们再浪费宝贵的生命。

    注意你遇到问题肯定都是配置问题,不可能是源程序的问题,要不然nutch就肯定运行不了了。通常在控制台运行nutch是没有问题的。至于具体的运行Crawl参考:nutch 0.8 tutorial。关键的配置有conf下面的nutch-site.xml, hadoop-site.xml。其中nutch-site.xml和had-oop-site.xml里面的设置分别覆盖nutch-default.xml和hadoop-default.xml里面的值。

    1、首先参考官方网站的导入操作(如果不是很熟悉的话一定要参考,免得浪费时间),详见:RunNutchInEclipse,注意按照这种方式导入的时候会将所有的jar都添加到classpath底下。我个人觉得nutch-0.8.1.jar需要移除,其实这个就是所有源文件打成了分发的jar包。
    2、删除src/test源代码下面的nutch-site.xml。否则在运行的时候会加载多个nutch-site.xml,而你不修改所有的nutch-site.xml的话,天知道它到底加载了哪一个。nutch的开发者也是很搞笑,故意在test地下放这个文件,让大家犯错。可是浪费哥一天的时间啊,当然也是技术不过关了,居然还是没有发现这个错误。
    3、按照官方文档运行Crawl,如果运行还是没有结果的话,那就是要在nutch-site.xml的configuration下增加一个http.agent.name节点:
<property>
<name>http.agent.name</name>
<value>test</value>
</property>
    其实这个信息是在tutorail里面有说到的。
    按照上面三个步骤来做的话照理来说是没有问题了。

    我还遇到一个问题就是,我在Linux服务器上只是普通用户,所以运行nutch的时候还会出现这么一个错误:“没有对什么/tmp/……文件夹的权限操作”。最简单的解决办法就是跟管理员说提升权限为root了。如果这个不行的话,那就有一个更好的方法:修改hadoop-site。怎么修改呢?首先在hadoop-0.4.0-patched.jar下可以找到hadoop-default.xml,打开这个文件,然后将里面对应设置成/tmp/……值得属性全部拷贝出来,然后将它们粘贴到hadoop-site.xml里面,将值全部设成你有权限的文件夹就可以了。这个方法照理来说是可以的,如果还是不行的话,那就直接把hadoop-default.xml里面的值修改掉好了,具体方法是将该文件解压出来(不会?直接用解压管理器就好了),然后修改相应的值,接着再添加进去,就可以覆盖掉原来的。

    问题就这些吧,记住一定是配置问题。在运行过程中出现问题的话,首先要看看哪些配置文件加载了,如果好几个相同名字的配置文件加载了,最好把多余的去掉,因为你无法确定类加载器到底加载了那个配置。

更多文章 更多内容请看Eclipse应用技术专题,或进入讨论组讨论。
收藏此文】【 】【打印】【关闭
较早的文章:spring.net 学习笔记之AOP

较新的文章:什么叫java的框架
相关图文阅读
频道图文推荐
健 康 咨 询
时 尚 咨 询
巧巧读书宗旨
相关专题
讨论组问题推荐
站内各频道最新更新文档
站内最新制作专题
热门关键字导读
Photoshop教 程照片处理 照片制作 PS快捷键 抠图
计 算 机 故 障XP系统修复
艺 术 与 设 计设计 流媒体 设计欣赏 边框
计 算 机 安 全ARP
站内频道文章精选
巧巧电脑频道编辑信箱  告诉我们您想看的专题或文章