今天按照前面几篇文章所述之操作解决了程序中的报错,但是在调试运行过程中会出现如果错误.本问题主要针对windows操作系统.
问题一:
现贴出:
2010-03-25 21:42:33,937 WARN fs.FileSystem (FileSystem.java:<init>(1440)) - uri=file:///
javax.security.auth.login.LoginException: Login failed: Cannot run program "whoami": CreateProcess error=2, ?????????
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:250)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:275)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:257)
at org.apache.hadoop.security.UserGroupInformation.login(UserGroupInformation.java:67)
at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:1438)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1376)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:215)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:120)
at org.apache.nutch.crawl.Crawl.main(Crawl.java:84)
2010-03-25 21:42:34,593 INFO crawl.Crawl (Crawl.java:main(87)) - crawl started in: crawl
2010-03-25 21:42:34,593 INFO crawl.Crawl (Crawl.java:main(88)) - rootUrlDir = urls
2010-03-25 21:42:34,593 INFO crawl.Crawl (Crawl.java:main(89)) - threads = 10
2010-03-25 21:42:34,593 INFO crawl.Crawl (Crawl.java:main(90)) - depth = 3
2010-03-25 21:42:34,593 INFO crawl.Crawl (Crawl.java:main(92)) - topN = 50
2010-03-25 21:42:34,609 WARN fs.FileSystem (FileSystem.java:<init>(1440)) - uri=file:///
javax.security.auth.login.LoginException: Login failed: Cannot run program "whoami": CreateProcess error=2, ?????????
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:250)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:275)
at org.apache.hadoop.security.UnixUserGroupInformation.login(UnixUserGroupInformation.java:257)
at org.apache.hadoop.security.UserGroupInformation.login(UserGroupInformation.java:67)
at org.apache.hadoop.fs.FileSystem$Cache$Key.<init>(FileSystem.java:1438)
at org.apache.hadoop.fs.FileSystem$Cache.get(FileSystem.java:1376)
at org.apache.hadoop.fs.FileSystem.get(FileSystem.java:215)
at org.apache.hadoop.fs.FileSystem.getLocal(FileSystem.java:191)
at org.apache.hadoop.conf.Configuration.getLocalPath(Configuration.java:787)
at org.apache.hadoop.mapred.JobConf.getLocalPath(JobConf.java:232)
at org.apache.nutch.crawl.Crawl.main(Crawl.java:101)
2010-03-25 21:42:34,984 WARN fs.FileSystem (FileSystem.java:<init>(1440)) - uri=file:///
.................
问题分析及解决:
因为Nutch设计是在linux等系统下运行的,Windows系统是没有"whoami"这个命令的。解决办法是:在windows的系统环境变量Path中加入Cygwin的路径(如D:\Cygwin\bin)。
问题二:
Exception in thread "main" java.lang.IllegalArgumentException: Fetcher: No agents listed in 'http.agent.name' property.
at org.apache.nutch.fetcher.Fetcher.checkConfiguration(Fetcher.java:1019)
at org.apache.nutch.fetcher.Fetcher.fetch(Fetcher.java:942)
at org.apache.nutch.crawl.Crawl.main(Crawl.java:122)
2010-03-26 11:41:55,796 INFO crawl.Generator (Generator.java:generate(562)) - Generator: done.
2010-03-26 11:41:55,796 FATAL fetcher.Fetcher (Fetcher.java:checkConfiguration(1017)) - Fetcher: No agents listed in 'http.agent.name' property.
此问题是由于在nutch-site.xml文件中没有给<name>http.agent.name</name>设值,因此可按如下方式设值:
<property>
<name>http.agent.name</name>
<value>HD nutch agent</value>
</property>
<property>
<name>http.agent.version</name>
<value>1.0</value>
</property>
问题三:
在cygwin中运行nutch1.0时可能会提示缺少JAVA_HOME,此问题只需要将conf/hadoop-env.sh文件中# export JAVA_HOME=/usr/bin/java 改为 export JAVA_HOME="您的java目录"
至此,在Windows平台上使用Eclipse运行和调试Nutch应该可以顺利进行了
分享到:
相关推荐
Eclipse 中编译 Nutch-1.0 运行源代码
Nutch1.0的API,不过注意没有搜索功能
Nutch 是一个开源的、Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。
eclipse配置nutch,eclipse配置nutch
apache-nutch-2.2.1(Eclipse直接运行版)今天刚做的,发现有很多坑,分享给大家实验,JDK1.7 Win10。我分享的两个压缩卷一起下载才可以用,资源限制太小了 002地址:...
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。
Nutch 是一个开源Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。包括全文搜索和Web爬虫。
Nutch1.0:Nutch1.0修改版(整合中文分词)原始码修改,编译打包
Nutch 是一个开源的、Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。 nutch 1.0
Eclipse 编译 Nutch-0.9
Nutch 是一个开源的、Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。 nutch 1.0
Nutch 是一个开源的、Java 实现的搜索引擎。它提供了我们运行自己的搜索引擎所需的全部工具。 nutch 1.0
nutch-1.0-dev.jar nutch devlope
Windows下使用Eclipse配置Nutch2图文详解
ant-eclipse-1.0 nutch
Nutch-1.0分布式安装手册.rar,完整的
1.1 环境准备 1.1.1 本期引言 1.1.2 环境介绍 1.1.3 JDK 安装配置 1.1.4 ANT 安装配置 1.1.5 IvyDE 安装配置 1.1.5 Tomcat 安装配置 ...1.2 Eclipse 开发 1.2.1 Solr 部署 1.2.2 Nutch 导入 1.2.3 Solr 与Nutch 结合
Eclipse中编译Nutch-1.0。。。。。。。。。。。。