hadoop 在win系统中的eclipse开发测试问题及解决
一· 在win系统下安装cygwin的步骤不在赘述，常见错误如下：问题1]
# /usr/local/sbin/sshd /usr/local/sbin/sshd: error while loading shared libraries: libnsl.so.1: cannot open shared object file: No such file or directory
[分析与解决]
用strace跟踪sshd，查询缺少的目录和文件，给与相应的添补。
strace -f -F /usr/local/sbin/sshd
cp libnsl* /work/lib/
[问题2]
# /usr/local/sbin/sshd Privilege separation user sshd does not exist
[分析与解决]
没有sshd用户 sshd:x:74:74:Privilege-separated SSH:/var/empty/sshd:/sbin/nologin
scp /etc/passwd root@HOST:/etc
scp /etc/shadow root@HOST:/etc
scp /etc/group root@HOST:/etc
[问题3]
# /usr/local/sbin/sshd Missing privilege separation directory: /var/empty
[分析与解决]
# mkdir /var/empty
[问题4]
[root@localhost .ssh]# ssh -l root 192.168.167.132
root@192.168.167.132's password:
Permission denied, please try again.
[分析与解决]
密码输入错误，重新连接尝试.
[问题5]
# ./ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/root/.ssh/id_rsa): Could not create directory '/root/.ssh'.
[分析与解决]
# ls / bin etc linuxrc nfs sys var dev jffs2 lost+found proc tmpfs yaffs2 edwin lib mnt sbin usr # cd /root -sh: cd: can't cd to /root # mkdir root # cd /root # mkdir .ssh
[问题6]
# /usr/local/sbin/sshd
Missing privilege separation directory: /var/empty
[分析与解决]
# ls /var
# mkdir /var/empty
# /usr/local/sbin/sshd
[问题7]
[root@localhost ~]# ssh 192.168.167.132 ssh: connect to host 192.168.167.132 port 22: Connection refused
[分析与解决]
注释 /etc/hosts.deny /etc/hosts.allow 中的限制部分.
net sshd stop
net sshd start
[问题9]
在客户端ssh到target后，用户帐户和密码验证通过，但是没有启动shell.
[分析与解决]
查看日志，发现有：PTY allocation request failed on channel 0
1.rm -rf /dev/ptmx
2.mknod /dev/ptmx c 5 2
3.chmod 666 /dev/ptmx
4.umount /dev/pts
5.rm -rf /dev/pts
6.mkdir /dev/pts
7.mount /dev/pts
[问题10]
客户端连接卡住，无法连进.
[分析与解决]
有可能是cyg维护死进程太多，此为cyg的BUG，用有权限的账号连入系统：
killall -9 bash
killall -9 sshd
net stop sshd
net start sshd
[问题11]
ssh 显示已经脸上，但马上断开.
[分析与解决]
查看当前用户 /etc/password 里shell的设置是否正确.
查看 /var/ 目录权限是否足够，包括所有者权限和文件权限.
查看当前用户的家目录是否设置正常,权限是否足够.
[问题12]
sshd 服务无法启动
[分析与解决]
$ net start sshd
发生系统错误 1069。
由于登录失败而无法启动服务。
-- 这是由于用户密码输入错误导致的，以后更改用户后sshd也可能发生这个问题，在 services.msc 里的登录标签里更改用户设置即可！
$ net start sshd
CYGWIN sshd 服务正在启动 .
CYGWIN sshd 服务已经启动成功。
事件 ID ( 0 )的描述(在资源( sshd )中)无法找到。
本地计算机可能没有必要的注册信息或消息 DLL 文件来从远程计算机显示消息。
您可能可以使用 /AUXSOURCE= 标识来检索词描述；查看帮助和支持以了解详细信息。
下列信息是事件的一部分: sshd: PID 2784: fatal: setreuid 1003: Permission denied.
-- 出现这种情况，需要重新安装服务.
net stop sshd
ssh-host-config
二·hadoop在eclipse中开发常见错误
1.run on hadoop没有反映
hadoop-0.20.0下自带的eclise插件已过时。
解决方案:
1、下载正确的插件：https://issues.apache.org/jira/secure/attachment/12460491/hadoop-eclipse-plugin-0.20.3-SNAPSHOT.jar
2、重命名：将下载的插件重命名为“hadoop-0.20.0-eclipse-plugin.jar"
3、替换原来的插件。
4、重启eclipse
2：run on hadoop 时错误
Caused by: java.io.IOException: Cannot run program “chmod”: CreateProcess error=2, ϵͳÕҲ»µ½ָ¶ at java.lang.ProcessBuilder.start(ProcessBuilder.java:459) at org.apache.hadoop.util.Shell.runCommand(Shell.java:149) at org.apache.hadoop.util.Shell.run(Shell.java:134) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:286) at org.apache.hadoop.util.Shell.execCommand(Shell.java:354) at org.apache.hadoop.util.Shell.execCommand(Shell.java:337) at org.apache.hadoop.fs.RawLocalFileSystem.execCommand(RawLocalFileSystem.java:481) at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:473) at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:280) at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:266) at org.apache.hadoop.mapred.JobClient.configureCommandLineOptions(JobClient.java:573) at org.apache.hadoop.mapred.JobClient.submitJobInternal(JobClient.java:761) at org.apache.hadoop.mapred.JobClient.submitJob(JobClient.java:730) at cascading.flow.FlowStepJob.blockOnJob(FlowStepJob.java:162) at cascading.flow.FlowStepJob.start(FlowStepJob.java:138) at cascading.flow.FlowStepJob.call(FlowStepJob.java:127) at cascading.flow.FlowStepJob.call(FlowStepJob.java:39) at java.util.concurrent.FutureTask$Sync.innerRun(FutureTask.java:303) at java.util.concurrent.FutureTask.run(FutureTask.java:138) at java.util.concurrent.ThreadPoolExecutor$Worker.runTask(ThreadPoolExecutor.java:886) at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:908) at java.lang.Thread.run(Thread.java:619)Caused by: java.io.IOException: CreateProcess error=2, ϵͳÕҲ»µ½ָ¶ at java.lang.ProcessImpl.create(Native Method) at java.lang.ProcessImpl.<init>(ProcessImpl.java:81) at java.lang.ProcessImpl.start(ProcessImpl.java:30) at java.lang.ProcessBuilder.start(ProcessBuilder.java:452) … 21 more
解决方法：将cygwin的bin目录添加到Windows系统的PATH, 如果还不行，重启elipse即可
持续更新中....
