目录
hue 使用
添加用户
创建文件夹
新建文件
编辑文件
hive创建表
hive添加数据
hive 查询数据
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. File does not exist: hdfs://nameservice1/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.1.1-mr-framework.tar.gz
workflow
1.oozie工作流程
a.访问 oozie ui 界面
b.切换 hue 用户（或通过命令上传文件到hdfs）
Error: E0701 : E0701: XML schema error, cvc-elt.1.a: Cannot find the declaration of element 'workflow-app'.
Error: E0701 : E0701: XML schema error, The element type "exec" must be terminated by the matching end-tag "".
c.执行job任务
2.workflow 工作流的设计 hue
hue 使用
添加用户
在浏览文件的 时候发现访问的 yang201节点，但是201节点是 standby 节点，不对外提供服务。
hue 重启后，还是访问的 yang201 备节点
手动将 yang200 主节点关闭
等待一会，yang201 变为主节点
在hue 配置里面，可以选择hue的访问的节点，修改完配置后，需要对hue 服务进行重启
创建文件夹
sudo -uhdfs hdfs dfs -mkdir /user/hdfs
创建文件夹
新建文件
编辑文件
在这里可以编辑文件，添加数据，修改数据
但是hdfs 文件是不支持修改操作 ，当你对 hdfs 文件，添加数据，修改数据的时候，
hue 实际上的操作是，将修改后的文件重新上传，覆盖之前的文件
打开文件进行修改的时候，左边有文件的基本信息，包含最后一次对文件的操作时间
hive创建表
在提交之后，会显示创建表的语句，等一些信息
hive添加数据
提交之后，仍然后有本次操作的 命令 弹出
hive 查询数据
Error while processing statement: FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask. File does not exist: hdfs://nameservice1/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.1.1-mr-framework.tar.gz
在进行mapreduce 计算的时候发现，发现出现异常，缺少jar包
java.io.FileNotFoundException: File does not exist: hdfs://nameservice1/user/yarn/mapreduce/mr-framework/3.0.0-cdh6.1.1-mr-framework.tar.gz
安装 YARN MapReduce 框架 JAR 服务
可以查看所有执行过的 MapReduce 任务
workflow
1.oozie工作流程
a.访问 oozie ui 界面
需要安装 ext 工具，是一种用JavaScript编写的功能强大的Ajax框架
官网下载地址： https://www.sencha.com/products/extjs/evaluate/
安装 unzip 服务
yum -y install unzip
将文件解压到 /var/lib/oozie 文件夹内
unzip ext-6.2.0-gpl.zip -d /var/lib/oozie/
保存之后会显示该服务的配置过期，
在进行访问的时候，发现 oozie web端访问的是 ext-2.2
下载地址：
https://archive.cloudera.com/gplextras/misc/
解压 ext-2.2.zip
再次刷新发现，oozie web 页面访问正常
b.切换 hue 用户（或通过命令上传文件到hdfs）
登录 hue 切换用户为 root 用户，一开始是没有 root 用户的，需要手动进行创建
创建 shell 文件夹，创建 workflow.xml 文件（该文件位于 hdfs 文件系统）
workerflow.xml 文件内容
<workflow-app xmlns="uri:oozie:workflow:5.0.0-cdh6.1.1" name="mr-wordcount-wf"><start to="shell-node"/><action name="shell-node"><shell xmlns="uri:oozie:shell-action:0.1"><job-tracker>${jobTracker}</job-tracker><name-node>${nameNode}</name-node><configuration><property><name>mapred.job.queue.name</name><value>${queueName}</value></property></configuration><exec>echo<exec><argument>hello world I shell in oozie</argument></shell><ok to="end"/><error to="fail"/></action><kill name="fail"><message>Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]</message></kill><end name="end"/>
</workflow-app>创建 job.properties 文件（该文件位于 linux 文件系统）
job.properties文件内容
nameNode=hdfs://yang200:8020
jobTracker=yang201:8032 -- yarn resourcemanager 地址
queueName=default
examplesRoot=examples
oozie.wf.application.path=${nameNode}/user/root/shell -- workflow.xml 文件的地址Error: E0701 : E0701: XML schema error, cvc-elt.1.a: Cannot find the declaration of element 'workflow-app'.
出现这种问题：可能是 <workflow-app xmlns="uri:oozie:workflow:0.4" name="mr-wordcount-wf"> 的版本号比当前的 oozie 版本高
Error: E0701 : E0701: XML schema error, The element type "exec" must be terminated by the matching end-tag "</exec>".
出现这种问题：根据提示的信息进行修改即可
c.执行job任务
在 job.properties 文件所在的文件夹内，执行命令
oozie job --oozie http://yang200:11000/oozie/ -config job.properties -run执行成功后会产生 job 编号
刷新页面的时候，可能无法出现 job 的内容，有点击这个刷新
工作流程不管怎么调试，执行后流程总是被中断。太费劲了，不进行测试了。
使用错的 yarn resourceManager 端口，会包执行失败，进程直接被杀死了。这个工作流程倒是执行完了挺顺畅的。
2.workflow 工作流的设计 hue
貌似不是很会用，添加完之后流程总是被中断，无法正常的执行完。
