博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop初期学习和集群搭建
阅读量:5324 次
发布时间:2019-06-14

本文共 835 字,大约阅读时间需要 2 分钟。

   留给我学习hadoop的时间不多了,要提高效率,用上以前学的东西。hadoop要注重实战,把概念和原理弄清楚,之前看过一些spark,感觉都是一些小细节,对于理解hadoop没什么帮助。多看看资料,把基础打扎实吧。

  1.首先就是hadoop的按装,分为a单机版b伪分布式c分布式,生产环境下都是用的分布式,但是既然要学习,又没有硬件资源,那就从最简单的单机版学起(这有没有类似于游戏啊)。我从最开始不知道虚拟机及其用途,后来安装了它,费了一番周折,再到最后开始用它做开发了,说明我知道的东西太少了,要多尝试。还有就是学习目标集中点,今天就是安装hadoop,而不要在学习的过程中发散,这样学习进度很慢,效果不是很好。等熟练了或许这个方法会好些。

2用于设置PATH和JAVA_HOME变量,添加以下命令到~/.bashrc文件。而不是在命令行添加。Esc+:+wq退出vim

3.但是在hadoop上运行的程序也是使用IDE开发出来的,hadoop是用java编写的,里面的逻辑结构是什么样的?可以有·那些更改,这些都要对源码熟悉。

-------------------------------hadoop集群搭建2019-------

  看看官网的说法,FileSystem中的hadoop fs mv的用法和Linux中的mv的用法相同。这些要使用Hadoop提供的shell编程界面。

  1、在机器上先搭建伪集群的,即配置namenode和datanode,这一步主要是ssh的配置,及hadoop-env.sh等的配置,参考博文。

  2、在集群上搭建,主要就是配置ssh,使主机之间能够根据ip地址进行通讯,这设计到分布式软件的知识。其实它的的技术基础应该是ssh,就是使用公钥和私钥,然后远程免密登录。在这点上,linux确实做的比window好。

 

转载于:https://www.cnblogs.com/Robin008/p/9001651.html

你可能感兴趣的文章
C#对 Dictionary进行排序 转
查看>>
51nod 1563 坐标轴上的最大团(今日gg模拟第一题) | 线段覆盖 贪心 思维题
查看>>
C#捕捉异常try catch finally throw(一)
查看>>
POJ-3683-Priest John's Busiest Day(2-sat)
查看>>
asp.net生成高质量缩略图通用函数(c#代码),支持多种生成方式
查看>>
使用R语言-操作data.frame
查看>>
文件系统管理
查看>>
[导入]古装武侠剧《神农碧血刀》全20集
查看>>
PHP之流程的控制
查看>>
如何查找Linux的函数定义的位置?
查看>>
大数据量 处理方法总结(转)
查看>>
关于win10和sqlserver的兼容性
查看>>
范德蒙很等式 By ACReaper
查看>>
vim 计算器寄存器使用
查看>>
支持四则运算的计算器的实现算法
查看>>
开始做新博皮!@
查看>>
C++ 与 .Net
查看>>
PHP去除重复的数组数据
查看>>
201621123031 《Java程序设计》第11周学习总结
查看>>
点击控件出现下沉或者倾斜技巧。(是你的控件不在死板,)
查看>>