1 Star 0 Fork 72

字母哥哥/hadoop-docker-nn

forked from supermy/hadoop-docker-nn 
加入 Gitee
与超过 1200万 开发者一起发现、参与优秀开源项目,私有仓库也完全免费 :)
免费加入
文件
克隆/下载
README.log 2.07 KB
一键复制 编辑 原始数据 按行查看 历史
supermy 提交于 2015-04-09 20:36 . hbase的snappy测试;
2015-04-08
todo:增加dns启动镜像版本:域名到dns解析
todo:探索最佳的数据加载方式
2015-04-06
镜像名称规范化;
lzo配置优化;
snappy+spark安装包引入;
镜像包的集成关系优化。
优化测试完成。
2015-03-13
hive-hbase整合 ok
hive 脚本数据初始化示例 ok。
hbase 脚本数据初始化示例 ok。
初始化环境:docker-enter 进入 hregionserver容器:cd /home/jamesmo/ && start pre-start-hive.sh
2015-03-30
hbse集群ok
>fig up -d
>boot2docker ssh
>docker ps
>docker-enter 123412341234
>hbase shell
>version
>status
https://issues.apache.org/jira/browse/HADOOP-10558
节点在zookeeper注册的是主机名,调试的时候要把host文件加上节点信息例如 192.168.159.2 master master
设定docker容器的hostname
**约定名称与变量替换混用**
**最终,约定名称使用;link不支持循环调用**
2015-03-05
hbase的集群配置进行中;
web测试:http://192.168.2.100:60010/master.jsp
/etc/init.d/hbase-master start
hbase shell
>status
>version
重新build image;
web访问ok
http://192.168.59.103:50070/
http://192.168.59.103:60010/
http://192.168.59.103:60030/
2015-02-16
hadoop启动时候core-site.xml进行了处理;
完成了hadoop的集群处理;
hbase的集群配置中;
测试说明:
2.1使用fig up -d 启动集群
2.2安装容器工具,进入namenode容器
docker run -v /usr/local/bin:/target jpetazzo/nsenter:latest
docker ps -a|grep namenode
docker-enter b58bc02af904
2.3运行指令
su hdfs
hdfs dfs -mkdir -p hdfs://172.17.1.36:8020/user/hdfs/input
hdfs dfs -put core-site.xml hdfs://172.17.1.36:8020/user/hdfs/input
hdfs dfs -ls hdfs://172.17.1.36:8020/user/hdfs/input
hadoop jar /usr/lib/hadoop-mapreduce/hadoop-mapreduce-examples.jar grep input output 'dfs[a-z.]+'
nc -v -z -w2 172.17.1.36 8020
nc -v -z -w2 hdfsnamenoderpc.kubernetes.local 8020
Loading...
马建仓 AI 助手
尝试更多
代码解读
代码找茬
代码优化
1
https://gitee.com/hanxt/hadoop-docker-nn.git
[email protected]:hanxt/hadoop-docker-nn.git
hanxt
hadoop-docker-nn
hadoop-docker-nn
master

搜索帮助