实验7. Hadoop组件：Flume、Mahout

云计算 实验报告

成绩 专业班级 姓 名 实验名称

计算机科学与技术 实验日期 学 号 指导教师

2021.5.15

******

Hadoop组件：Flume、Mahout

*** ***

（报告内容包括实验目的、实验设备及器材、实验步骤、程序框图、代码、运行结果、实验小结等） 课程名称 云计算 实验名称 实验7. Hadoop组件：Flume、Mahout 【实验目的、要求】 一、Flume （1）部署Flume接收端 （2）部署Flume发送端 （3）Flume访问接口 二、Mahout 1）Mahout部署 2）Mahout访问接口 【实验内容】 1、配置Flume、Mahout 2、初始化Flume、Mahou 3、启动Flume、Mahou服务 【实验环境】（含主要设计设备、器材、软件等） 教学用PC机，Linux操作系统，可以上网 【实验步骤、过程】（含原理图、流程图、关键代码，或实验过程中的记录、数据等） 一、Flume （1）配置配置相关路径 #Java export JAVA_HOME=/usr/java/jdk1.6.0_25 export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export PATH=$PATH:$JAVA_HOME/bin #hadoop export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin #zookeeper export ZOOKEEPER_HOME=/usr/local/zookeeper export PATH=$PATH:$ZOOKEEPER_HOME/bin #flume export FLUME_HOME=/usr/local/flume export FLUME_CONF_DIR=$FLUME_HOME/conf export PATH=$PATH:$FLUME_HOME/bin （2）配置Flume的环境变量配置，在/etc/profile export FLUME_HOME=/usr/local/apache-flume-1.6.0-bin export FLUME_CONF_DIR=$FLUME_HOME/conf export PATH=.:$PATH::$FLUME_HOME/bin （3）.验证安装是否成功:flume-ng version [root@logsrv03 apache-flume-1.6.0-bin]# flume-ng version 错误: 找不到或无法加载主类 org.apache.flume.tools.GetJavaProperty Flume 1.6.0 Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080 Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015 From source with checksum b29e416802ce9ece3269d34233baf43f [root@logsrv03 apache-flume-1.6.0-bin]# 二、Mahout （1）下载好安装包并解压，然后配置环境变量 export MAHOUT_HOME=/Users/zhangchenguang/software/mahout-0.12.2 export MAHOUT_CONF_DIR=$MAHOUT_HOME/conf export PATH=$MAHOUT_HOME/conf:$MAHOUT_HOME/bin:$PATH （2）创建测试目录testdata，并把数据导入到这个tastdata目录中(这里的目录的名字只能是testdata) hadoop@ubuntu:~/$ hadoop fs -mkdir testdata # hadoop@ubuntu:~/$ hadoop fs -put /home/hadoop/mahout-distribution-0.7/synthetic_control.data testdata 使用kmeans算法 hadoop@ubuntu:~/$ hadoop jar /home/hadoop/mahout-distribution-0.7/mahout-examples-0.7-job.jar org.apache.mahout.clustering.syntheticcontrol.kmeans.Job 查看结果 hadoop@ubuntu:~/$ hadoop fs -lsr output 如果看到以下结果那么算法运行成功，你的安装也就成功了。 clusteredPoints clusters-0 clusters-1 clusters-10 clusters-2 clusters-3 clusters-4 clusters-5 clusters-6 clusters-7 clusters-8 clusters-9 data 年 月 日 【实验结果或总结】（对实验结果进行相应分析，或总结实验的心得体会，并提出实验的改进意见） 通过本次实验，让我正确认识了Hadoop的重要组件：Flume、Mahout，虽然在配置部署过程中出现许多错误，但经过我上网查找，这些问题全都迎刃而解。 【备注】