一开始用 apache 官方的几个包来搭 hadoop,但是管理起来太麻烦,就直接用 cloudera 公司的 cloudera manager 来装 cdh5。

装的时候版本是5.2.0,后来跟着一路升级到5.3.0,cm 用着还是蛮舒服的,这里记录一下安装使用中遇到的几个坑:

  • cdh5 依赖 python2.7 ,要设置成默认 python。
  • 自架 kdc 的时候记得开启 tcp 监听端口88。
  • 如果 kerberos 加密算法选的太高级,服务器端和客户端都要安装 jce,不然认证通不过都不知道是为什么。
  • 在 lxc 里跑的话,启用 kerberos 的时候,dac_read_search 这个 cap 不要 drop 了,否则启动会失败。
  • 添加新节点的时候,主机名指向其IP地址,否则可能一直检测不到agent。
  • 目前 hue 的 oozie 还不支持 hiveserver2 action 等吧,HUE-1181
  • 最苦恼的是 sentry 还不支持 add jar 和 add file :(