Mac安装Hive1.2.1

这几天在折腾Hive的相关东西,所以打算在自己的机器上安装下Hive,可是按照教程总是出这样那样的错误,着实蛋疼,最终发现错误是我的Mysql端口是3307,WTF。。这个问题已经坑了我几次了。在此把查看Mysql开启端口的命令放这,以后别被坑到了。SHOW GLOBAL VARIABLES LIKE 'PORT'; ...

October 8, 2015 · 2 min · Theme PaperMod

MapReduce运行机制

谈mapreduce运行机制,可以从很多不同的角度来描述,比如说从mapreduce运行流程来讲解,也可以从计算模型的逻辑流程来进行讲解,也许有些深入理解了mapreduce运行机制还会从更好的角度来描述,但是将mapreduce运行机制有些东西是避免不了的,就是一个是参与的实例对象,一个就是计算模型的逻辑定义阶段,我这里讲解不从什么流程出发,就从这些一个个牵涉的对象,不管是物理实体还是逻辑实体。 ...

August 17, 2015 · 1 min · Theme PaperMod

WordCount处理过程详解

Hadoop最基本的当然是得会写MapReduce,而MapReduce中最基本的当然又数WordCount,这篇对WordCount进行详细的讲解。 详细执行步骤如下: ...

August 11, 2015 · 2 min · Theme PaperMod

Mahout的安装与配置

Mahout是Hadoop的一种高级应用。运行Mahout需要提前安装好Hadoop。Hadoop的安装网上很多,并不复杂,这里不再讲述,接下来阐述怎么安装Mahout。 ...

August 6, 2015 · 1 min · Theme PaperMod

OS X10.10安装hadoop2.6.0

配置ssh localhost无密码访问 首先在系统偏好设置->共享->打开远程登录服务->右侧选择允许所有用户访问 生成密钥对 ssh-keygen -t rsa 拷贝进验证文件 cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 测试无密码访问 ssh localhost ...

August 3, 2015 · 1 min · Theme PaperMod