博客
关于我
【Oozie】（三）Oozie 使用实战教学，带你快速上手！
阅读量：356 次
发布时间：2019-03-05

本文共 11713 字，大约阅读时间需要 39 分钟。

文章目录

案例一：Oozie调度shell脚本

目标：使用Oozie调度Shell脚本

分步实现：

1）解压官方案例模板

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxvf oozie-examples.tar.gz

2）创建工作目录

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ mkdir oozie-apps/

3）拷贝任务模板到oozie-apps/目录

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -r examples/apps/shell/ oozie-apps

4）编写脚本p1.sh

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ vi oozie-apps/shell/p1.sh

内容如下：

#!/bin/bash/sbin/ifconfig > /opt/module/p1.log

5）修改job.properties和workflow.xml文件

job.properties

#HDFS地址nameNode=hdfs://hadoop102:8020#ResourceManager地址jobTracker=hadoop103:8032#队列名称queueName=defaultexamplesRoot=oozie-appsoozie.wf.application.path=${nameNode}/user/${  user.name}/${examplesRoot}/shellEXEC=p1.sh

workflow.xml

   
    
        
             
      
       ${jobTracker}
              
      
       ${nameNode}
              
                  
                       
        
         mapred.job.queue.name
                        
        
         ${queueName}
                    
               
              
      
       ${  EXEC}
              
              
      
       /user/atguigu/oozie-apps/shell/${  EXEC}#${EXEC}
              
          
         
         
     
    
        
             
      
                   ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}        
              
          
     
    
        
     
      Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]
     
    
        
     
      Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]

6）上传任务配置

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hadoop fs -put oozie-apps/ /user/atguigu

7）执行任务

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/shell/job.properties -run

8）杀死某个任务

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -kill 0000004-170425105153692-oozie-z-W

案例二：Oozie逻辑调度执行多个Job

目标：使用Oozie执行多个Job调度

分步执行：

1）解压官方案例模板

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ tar -zxf oozie-examples.tar.gz

2）编写脚本

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ vi oozie-apps/shell/p2.sh

内容如下：

#!/bin/bash/bin/date > /opt/module/p2.log

3）修改job.properties和workflow.xml文件

job.properties

nameNode=hdfs://hadoop102:8020jobTracker=hadoop103:8032queueName=defaultexamplesRoot=oozie-appsoozie.wf.application.path=${nameNode}/user/${  user.name}/${examplesRoot}/shellEXEC1=p1.shEXEC2=p2.sh

workflow.xml

       
        
            
                 
      
       ${jobTracker}
                  
      
       ${nameNode}
                  
                      
                           
        
         mapred.job.queue.name
                            
        
         ${queueName}
                        
                   
                  
      
       ${EXEC1}
                  
      
       /user/atguigu/oozie-apps/shell/${EXEC1}#${EXEC1}
                  
                  
              
             
             
         
        
            
                 
      
       ${jobTracker}
                  
      
       ${nameNode}
                  
                      
                           
        
         mapred.job.queue.name
                            
        
         ${queueName}
                        
                   
                  
      
       ${EXEC2}
                  
      
       /user/admin/oozie-apps/shell/${EXEC2}#${EXEC2}
                  
                  
              
             
             
         
        
            
                 
      
                       ${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}            
                  
              
         
        
            
     
      Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]
         
        
            
     
      Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]

3）上传任务配置

$ bin/hadoop fs -rmr /user/atguigu/oozie-apps/$ bin/hadoop fs -put oozie-apps/map-reduce /user/atguigu/oozie-apps

4）执行任务

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/shell/job.properties -run

案例三：Oozie调度MapReduce任务

目标：使用Oozie调度MapReduce任务

分步执行：

1）找到一个可以运行的mapreduce任务的jar包（可以用官方的，也可以是自己写的）

2）拷贝官方模板到oozie-apps

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -r /opt/module/cdh/ oozie-4.0.0-cdh5.3.6/examples/apps/map-reduce/ oozie-apps/

1）测试一下wordcount在yarn中的运行

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/yarn jar /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /input/ /output/

2）配置map-reduce任务的job.properties以及workflow.xml

job.properties

nameNode=hdfs://hadoop102:8020jobTracker=hadoop103:8032queueName=defaultexamplesRoot=oozie-apps#hdfs://hadoop102:8020/user/admin/oozie-apps/map-reduce/workflow.xmloozie.wf.application.path=${nameNode}/user/${  user.name}/${examplesRoot}/map-reduce/workflow.xmloutputDir=map-reduce

workflow.xml

       
        
            
                 
      
       ${jobTracker}
                  
      
       ${nameNode}
                  
                      
                   
                  
                      
                           
        
         mapred.job.queue.name
                            
        
         ${queueName}
                        
                       
                       
                           
        
         mapred.mapper.new-api
                            
        
         true
                        
                       
                           
        
         mapred.reducer.new-api
                            
        
         true
                        
                       
                       
                           
        
         mapreduce.job.output.key.class
                            
        
         org.apache.hadoop.io.Text
                        
                       
                       
                           
        
         mapreduce.job.output.value.class
                            
        
         org.apache.hadoop.io.IntWritable
                        
                       
                       
                           
        
         mapred.input.dir
                            
        
         /input/
                        
                       
                       
                           
        
         mapred.output.dir
                            
        
         /output/
                        
                       
                       
                           
        
         mapreduce.job.map.class
                            
        
         org.apache.hadoop.examples.WordCount$TokenizerMapper
                        
                       
                       
                           
        
         mapreduce.job.reduce.class
                            
        
         org.apache.hadoop.examples.WordCount$IntSumReducer
                        
                       
                           
        
         mapred.map.tasks
                            
        
         1
                        
                   
              
             
             
         
        
            
     
      Map/Reduce failed, error message[${wf:errorMessage(wf:lastErrorNode())}]

5）拷贝待执行的jar包到map-reduce的lib目录下

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ cp -a  /opt /module/cdh/hadoop-2.5.0-cdh5.3.6/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar oozie-apps/map-reduce/lib

6）上传配置好的app文件夹到HDFS

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/map-reduce/ /user/admin/oozie-apps

7）执行任务

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/map-reduce/job.properties -run

案例四：Oozie定时任务/循环任务

目标：Coordinator周期性调度任务

分步实现：

1）配置Linux时区以及时间服务器

2）检查系统当前时区：

# date -R

注意：如果显示的时区不是+0800，删除localtime文件夹后，再关联一个正确时区的链接过去，命令如下：

# rm -rf /etc/localtime# ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

同步时间：

# ntpdate pool.ntp.org

修改NTP配置文件：

# vi /etc/ntp.conf去掉下面这行前面的# ,并把网段修改成自己的网段：restrict 192.168.122.0 mask 255.255.255.0 nomodify notrap注释掉以下几行：#server 0.centos.pool.ntp.org#server 1.centos.pool.ntp.org#server 2.centos.pool.ntp.org把下面两行前面的#号去掉,如果没有这两行内容,需要手动添加server  127.127.1.0    # local clockfudge  127.127.1.0 stratum 10

重启NTP服务：

# systemctl start ntpd.service，注意，如果是centOS7以下的版本，使用命令：service ntpd start# systemctl enable ntpd.service，注意，如果是centOS7以下的版本，使用命令：chkconfig ntpd on

集群其他节点去同步这台时间服务器时间：

首先需要关闭这两台计算机的ntp服务

# systemctl stop ntpd.service，

centOS7以下，则：service ntpd stop

# systemctl disable ntpd.service

centOS7以下，则：chkconfig ntpd off

# systemctl status ntpd，查看ntp服务状态# pgrep ntpd，查看ntp服务进程id

同步第一台服务器linux01的时间：

# ntpdate hadoop102

使用root用户制定计划任务,周期性同步时间：

# crontab -e*/10 * * * * /usr/sbin/ntpdate hadoop102

重启定时任务：

# systemctl restart crond.service，centOS7以下使用：service crond restart，

其他台机器的配置同理。

3）配置oozie-site.xml文件

属性：oozie.processing.timezone属性值：GMT+0800解释：修改时区为东八区区时

注：该属性去oozie-default.xml中找到即可

4）修改js框架中的关于时间设置的代码

$ vi /opt/module/cdh/oozie-4.0.0-cdh5.3.6/oozie-server/webapps/oozie/oozie-console.js修改如下：function getTimeZone() {    Ext.state.Manager.setProvider(new Ext.state.CookieProvider());    return Ext.state.Manager.get("TimezoneId","GMT+0800");}

5）重启oozie服务，并重启浏览器（一定要注意清除缓存）

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh stop[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozied.sh start

6）拷贝官方模板配置定时任务\

$ cp -r examples/apps/cron/ oozie-apps/

7）修改模板job.properties和coordinator.xml以及workflow.xml

job.properties

nameNode=hdfs://hadoop102:8020jobTracker=hadoop103:8032queueName=defaultexamplesRoot=oozie-appsoozie.coord.application.path=${nameNode}/user/${  user.name}/${examplesRoot}/cron#start：必须设置为未来时间，否则任务失败start=2017-07-29T17:00+0800end=2017-07-30T17:00+0800workflowAppUri=${nameNode}/user/${  user.name}/${examplesRoot}/cronEXEC3=p3.sh

oordinator.xml

   
    	
     	    
      
       ${workflowAppUri}
      	    
      	        
       	            
        
         jobTracker
        	            
        
         ${jobTracker}
        	        
       	        
       	            
        
         nameNode
        	            
        
         ${nameNode}
        	        
       	        
       	            
        
         queueName
        	            
        
         ${queueName}

workflow.xml

   
      
          
               
      
       ${jobTracker}
                
      
       ${nameNode}
                
                    
                         
        
         mapred.job.queue.name
                          
        
         ${queueName}
                      
                 
                
      
       ${EXEC3}
                
      
       /user/atguigu/oozie-apps/cron/${EXEC3}#${EXEC3}
                
                
            
           
           
       
    
        
     
      Shell action failed, error message[${wf:errorMessage(wf:lastErrorNode())}]
     
    
        
     
      Incorrect output, expected [Hello Oozie] but was [${wf:actionData('shell-node')['my_output']}]

8）上传配置

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ /opt/module/cdh/hadoop-2.5.0-cdh5.3.6/bin/hdfs dfs -put oozie-apps/cron/ /user/admin/oozie-apps

9）启动任务

[atguigu@hadoop102 oozie-4.0.0-cdh5.3.6]$ bin/oozie job -oozie http://hadoop102:11000/oozie -config oozie-apps/cron/job.properties -run

注意：Oozie允许的最小执行任务的频率是5分钟

常见问题总结

1）Mysql权限配置

授权所有主机可以使用root用户操作所有数据库和数据表

mysql> grant all on *.* to root@'%' identified by '000000';mysql> flush privileges;mysql> exit;

2）workflow.xml配置的时候不要忽略file属性

3）jps查看进程时，注意有没有bootstrap

4）关闭oozie

如果bin/oozied.sh stop无法关闭，则可以使用kill -9 [pid]，之后oozie-server/temp/xxx.pid文件一定要删除。

5）Oozie重新打包时，一定要注意先关闭进程，删除对应文件夹下面的pid文件。（可以参考第4条目）

6）配置文件一定要生效

起始标签和结束标签无对应则不生效，配置文件的属性写错了，那么则执行默认的属性。

7）libext下边的jar存放于某个文件夹中，导致share/lib创建不成功。

8）调度任务时，找不到指定的脚本，可能是oozie-site.xml里面的Hadoop配置文件没有关联上。

9）修改Hadoop配置文件，需要重启集群。一定要记得scp到其他节点。

10）JobHistoryServer必须开启，集群要重启的。

11）Mysql配置如果没有生效的话，默认使用derby数据库。

12）在本地修改完成的job配置，必须重新上传到HDFS。

13）将HDFS中上传的oozie配置文件下载下来查看是否有错误。

14）Linux用户名和Hadoop的用户名不一致。

转载地址：http://jvig.baihongyu.com/

你可能感兴趣的文章
师兄面试遇到这条 SQL 数据分析题，差点含泪而归！
查看>>
Java8新特性——并行流与顺序流
查看>>
如何通过 Dataphin 构建数据中台新增100万用户？
查看>>
C语言的数值溢出问题(上)
查看>>
BottomNavigationView控件item多于3个时文字不显示
查看>>
函数指针的典型应用-计算函数的定积分(矩形法思想)
查看>>
8051单片机(STC89C52)八个LED灯闪烁
查看>>
8051单片机(STC89C52)以定时器中断模式实现两倒计时器异步计时
查看>>
8051单片机(STC89C52)实现可修改初值(并可命令启停)的单倒计时器(Version1.1)
查看>>
用 wxPython 打印你的 App
查看>>
vue项目通过vue.config.js配置文件进行proxy反向代理跨域
查看>>
Linux下安装MySql过程
查看>>
原生vue实现VantUI中IndexBar索引导航栏功能
查看>>
android:使用audiotrack 类播放wav文件
查看>>
vue通过better-scroll 封装自定义的下拉刷新组件
查看>>
android解决：使用多线程和Handler同步更新UI
查看>>
vue自定义封装Loading组件
查看>>
解决移动端项目中苹果ios和安卓android手机点击输入框网页页面自动放大缩小
查看>>
Element UI 中动态路由的分析及实现
查看>>
使用springMVC配置视图管理器后找不到指定的页面
查看>>
喝酒易醉，品茶养心，人生如梦，品茶悟道，何以解忧？唯有杜康！-- 愿君每日到此一游！
当前时间: 2025-04-16 12:01:50   当前IP: 3.17.156.160   联系邮箱:javaeecc@qq.com     Copyright © 2020 - 2025 baihongyu.com 京ICP备2021015314号-2