Oozie工作流框架使用指南

合集下载

CAXA协同管理-工作流用户手册

CAXA协同管理-工作流用户手册不经特别说明，本手册内容会随软件版本的不同发生变化。

目录第1章系统简介 (1)1.1概述 (1)1.2系统配置 (2)1.3术语 (2)第2章工作流程定义工具 (5)2.1概述 (5)2.2系统启动与主界面 (5)2.3模板应用程序管理 (8)2.4模板参与者管理 (13)2.5模板的（主）流程属性 (14)2.5.1基本属性 (15)2.5.2流程事件 (17)2.5.3数据声明 (20)2.5.4流程形参 (21)2.5.5责任人 (22)2.5.6启动设置 (23)2.5.7扩展属性 (23)2.6模板节点属性 (24)2.6.1开始活动节点 (25)2.6.2 工作活动节点 (31)2.6.3 应用活动节点 (39)2.6.4 子流程活动节点 (41)2.6.5 抄送活动节点 (42)2.6.6 虚拟活动节点 (43)2.6.7 结束活动节点 (44)2.7模板转移线属性 (45)2.7.1基本属性 (46)2.7.2转移线事件 (47)2.7.3转移条件 (48)2.7.4外观 (48)2.7.5扩展属性 (49)2.8新建流程模板 (49)2.8.1创建工作节点 (49)2.8.2创建应用节点 (50)2.8.3创建子流程节点 (51)2.8.4创建抄送节点 (54)2.8.5创建虚节点 (54)2.8.6删除节点 (55)2.8.7创建转移线 (55)2.8.8删除转移线 (56)2.9保存模板 (56)2.10打开流程模板 (57)2.11删除流程模板 (58)2.12模板发布与取消发布 (59)2.13模板禁用与启用 (60)2.14模板节点的拷贝与粘贴 (61)第3章工作流引擎 (62)3.1概述 (62)3.2工作流引擎服务的启动与停止 (62)第4章任务箱 (63)4.1概述 (63)4.2任务箱启动与主界面 (63)4.3任务接收与退收 (65)4.4任务提交 (67)4.5删除任务 (67)4.6关联对象树 (67)第5章工作流监控 (72)5.1概述 (72)5.2系统启动与主界面 (72)5.3一个模板的流程监控 (74)5.4流程查询与监控 (74)5.5任务查询 (77)5.6流程的暂停与恢复 (78)5.7流程终止 (78)5.8删除流程 (79)5.9流程变更 (79)5.10任务统计 (80)第6章消息提醒 (82)6.1概述 (82)6.2系统启动与主界面 (82)6.3设置 (82)6.4启动任务箱 (83)第7章工作流与应用集成 (84)7.1启动流程 (84)7.2流程权限的设置 (87)第1章系统简介1.1概述工作流是将任务工作项按照规定的路线在参与者之间进行传递的自动化系统。

北京苍穹工作流操作手册之欧阳歌谷创作

北京苍穹工作流系统欧阳歌谷（2021.02.01）操作手册北京苍穹数码测绘有限公司目录一、概述41.1 系统简介41.2属性数据库（OA）创建41.3 业务建模平台（Builder）配置51.3.1系统配置工具51.3.2生成授权文件71.5 Kqcis(OA)配置71.7 3DLib配置71.8注册8二、系统功能92.1 系统主界面92.1 我的任务92.1.1 收件箱92.1.1 在办箱92.2 土地登记102.2.1 界面介绍102.2.2 总登记162.2.3 初始登记162.2.4 变更登记172.2.5 注销登记172.2.6 其他登记182.3 查询182.3.1 权属登记查询182.3.2 他项登记查询192.3.3 查封登记查询192.3.4 异议登记查询202.3.5 预告登记查询202.3.6 注销登记查询202.4 统计212.4.1 统计分析212.4.2 申请表统计212.4.3 调查表统计212.4.4 审批表统计222.4.5 登记卡统计222.4.6 土地证统计23 2.5 地籍调查232.5.1 调查录入232.6 档案录入242.6.1 国有档案录入242.6.2 集用档案录入252.6.3 集有档案录入252.6.4 他项档案录入25 2.7 工具252.7.1 数据处理252.7.2 图文管理262.7.3 三维档案馆272.7.4 调查前置工具282.7.5基本图浏览292.8 系统管理302.8.1 日志查询302.8.2 字典设置302.8.3 用户管理312.8.4 业务管理322.8.5 档案管理32三、基本登记333.1 架构平台（XBM_Builder）333.2业务流转平台（XBM_Desktop）353.2.1 启动服务353.2.2 国有土地使用权登记353.2.3 电子签名的设置42四、档案录入454.1 调查录入454.2 档案录入45五、变更登记475.1 图形变更475.1.1 连接图形数据475.1.2 选择街坊475.1.3 选择宗地485.1.4 导出更新包485.2调查前置工具变更495.2.1 修改配置495.2.2 读入更新包数据495.2.3 宗地图形变更505.2.4 变更数据入库505.2.5 宗地属性维护515.3 导入更新包数据515.3.1 修改配置515.3.2 导入数据525.3.3 变更历史查询525.4 变更登记525.5 更新数据正式入库54一、概述1.1 系统简介苍穹国土通用工作流平台是基于C++开发的，具有流程定制、表单定制、权限（角色）定制、报表定制以及查询定制等功能。

Oozie分布式工作流——从理论和实践分析使用节点间的参数传递

Oozie分布式⼯作流——从理论和实践分析使⽤节点间的参数传递Oozie⽀持Java Action，因此可以⾃定义很多的功能。

本篇就从理论和实践两⽅⾯介绍下Java Action的妙⽤，另外还涉及到oozie中action之间的参数传递。

本⽂⼤致分为以下⼏个部分：Java Action教程⽂档⾃定义Java Action实践从源码的⾓度讲解Java Action与Shell Action的参数传递。

如果你即将或者想要使⽤oozie，那么本篇的⽂章将会为你提供很多参考的价值。

Java Action⽂档java action会⾃动执⾏提供的java class的public static void main⽅法, 并且会在hadoop集群启动⼀个单独的map-reduce的map任务来执⾏的。

因此，如果你⾃定义了⼀个java程序，它会提交到集群的某⼀个节点执⾏，不会每个节点都执⾏⼀遍。

workflow任务会等待java程序执⾏完继续执⾏下⼀个action。

当java类正确执⾏退出后，将会进⼊ok控制流；当发⽣异常时，将会进⼊error 控制流。

Java程序绝对不能使⽤System.exit(int n)将会导致action进⼊error控制流。

在action的配置中，也⽀持EL表达式。

并且使⽤<capture-output>也可以把数据输出出来，然后后⾯的action就可以基于EL表达式使⽤了。

语法规则<workflow-app name="[WF-DEF-NAME]" xmlns="uri:oozie:workflow:0.1">...<action name="[NODE-NAME]"><java><job-tracker>[JOB-TRACKER]</job-tracker><name-node>[NAME-NODE]</name-node><prepare><delete path="[PATH]"/>...<mkdir path="[PATH]"/>...</prepare><job-xml>[JOB-XML]</job-xml><configuration><property><name>[PROPERTY-NAME]</name><value>[PROPERTY-VALUE]</value></property>...</configuration><main-class>[MAIN-CLASS]</main-class><java-opts>[JAVA-STARTUP-OPTS]</java-opts><arg>ARGUMENT</arg>...<file>[FILE-PATH]</file>...<archive>[FILE-PATH]</archive>...<capture-output /></java><ok to="[NODE-NAME]"/><error to="[NODE-NAME]"/></action>...</workflow-app>prepare元素，⽀持创建或者删除指定的⽂件内容。

大数据Hadoop入门第四十讲 Oozie 案例

类型
异步同步同步同步异步异步
Workflow编辑规则
workflow任务主要由job.properties、workflow.xml和其他动作需要的资源文件三部分组成，其中job.properties中定义workflow作业的配置信息， workflow.xml定义作业的执行工作流。workflow.xml文件是一个有定义规则的 xml文件。
workflow.xml配置规则详见:..\文档\workflow.template.xml job.properties配置参考：..\文档\job.template.properties
Workflow案例
1. 定义fs动作，在hdfs文件系统上进行文件操作。 2. 定义fs动作，判断文件夹存在，就删除，如果不存在，不进行任何操作。 3. 定义shell动作，在服务器的tmp目录下创建一个文件夹。 4. 定义hive动作，执行sql脚本，将数据导入到hive中的表中。 5. 定义mapreduce动作，执行mapreduce任务。 6. 定义java动作，执行java代码执行命令：oozie job -oozie http://hh:11000/oozie -config xxx/job.properties run

该动作调用一个java类的main方法
异步
该动作会调用一个Pig作业
异步
该动作会运行一个mapreduce作业，可以是java的 mapreduce作业，也可以是streaming作业和pipe作业等。
该动作运行定义一个在HDFS上执行的命令(delete、mkdir、 move和chmod等)序列
异步同步
Workflow工作流扩展action

大数据Hadoop入门第三十八讲 Oozie简介

Oozie bundle介绍
随着业务的发展，会产生越来越多的coordinator，coordinator的数量太多会导致管理oozie的作业越来越困难，所以可以将多个coordinator作业组合成一个 bundle页面进行统一管理，简化oozie的业务管理。
Oozie 执行流程
1. 编写工作流配置文件workflow.xml、coordinator.xml以及bundle.xml。 2. 编写job环境配置信息job.properties 3. 将依赖的jar包放到lib文件夹中 4. 将上述三个步骤产生的文件/文件夹全部上传到hdfs的一个文件夹中，比如上传到hdfs://hh:8020/oozie/flow/test1中 5. 在linux当前目录中执行: oozie job -oozie http://hh:11000/oozie config ./test1/job.properties -run
workflow的输出作为后一个workflow的输入，也可以定义workflow的触发条件，来做定时触发。
3. bundle：对一堆coordinator的抽象。
Oozie workflow介绍1
Oozie工作流主要有两大类节点构成，分别为控制节点(control flow node)和执行节点(action node)。其中控制节点定义flow的走向，执行节点定义具体的执行动作。
Hadoop快速入门
第三十八讲 Oozie简介
Oozie起源
通过Hadoop中的组合任务方式可以将多个MR任务组合在一起来执行，但是随着job的越来越多，逻辑越来越复杂，使用Hadoop自带的方式就变的不太现实。所以在2012年的时候，Oozie作为一个孵化项目在Apache中诞生，随着时间的推移，Oozie在Hadoop生态圈的重要性也就越来越重了。通过Oozie我们可以将多个MR任务组合到一个逻辑单元中，从而完成更加大型的任务。现在Oozie除了支持MR任务外，还支持Java、Hive、email、shell等操作。

知从科技有限公司木牛基础软件平台产品手册说明书

知从木牛基础软件OBD产品手册知从®木牛基础软件平台知从木牛基础软件OBD产品手册知从®木牛基础软件平台1功能概述知从木牛基础软件平台（ ZC.MuNiu ）为汽车电子控制器产品开发，提供完整的基础软件平台解决方案。

该产品参考AUTOSAR、OSEK等国际规范。

有基于AUTOSAR ARTOP架构的上位机配置工具，支持上汽、一汽、吉利、广汽、长安、长城等整车厂通讯、诊断、网络管理规范。

知从木牛基础软件平台，主要包括：操作系统、通讯协议栈（CAN\ LIN）、诊断协议栈(UDS\OBD\J1939)、网络管理（OSEK\AUTOSAR）、标定协议栈（XCP\CCP）、存储协议栈、加密模块（CRYPTO）、复杂驱动等模块，配套知从的Bootloader刷新程序和上位机工具，可以根据不同的客户项目要求进行配置和再开发。

知从科技提供基础软件产品的同时，也提供控制器基础软件功能实现的开发服务。

OBD系统（On-Board Diagnostics System）是一种车辆故障检测和诊断系统，用于监测和报告车辆排放控制系统的故障和性能。

它可以通过使用车载电脑监测车辆在实际使用时排放系统的工作状况，并能监测排放系统的故障，通过点亮故障指示器(MIL)通知车辆驾驶员出现故障，同时存储故障代码识别所监测到的故障。

ISO_15031-5_2016和GB18352.6-2016规定了OBD系统在车辆排放控制方面的具体要求和指导。

2应用领域汽车OBD（On-Board Diagnostics）是车辆上的诊断系统，用于监测和报告车辆排放控制系统的故障和性能。

OBD产品广泛应用于以下领域：发动机管理系统（EMS）变速器控制器（TCU）制动控制器（BCU）电机控制器（MCU）电子驻车系统（EPB）电池管理系统控制器（BMS）…3配置环境Hardware (Chip) Aurix TC387Compilers Supported Tasking V6.3r1Evaluation Hardware TC387QPDebugger (SW) TRACE32 PowerView for TriCore V2020.02 Debugger (HW) PowerDebug PRO Ethernet(劳特巴赫) V3.0 Configuration Tools ZCMuNiu4.4_03ENZST01000101Configuration Environment Win7/Win10 64bitTasking编译选项-Ctc38x --lsl-core=vtc -t -I"D:\ENZST01\Bsw04_387\prj" -Wa-H"sfr/regtc38x.def" -Wa-gAHLs --emit-locals=-equs,-symbols -Wa-Ogs -Wa--error-limit=42--iso=99 --language=-gcc,-volatile,+strings,-kanji --fp-model=3 --switch=auto --align=0 --default-near-size=0 --default-a0-size=0 --default-a1-size=0 -O2 --tradeoff=0 --compact-max-size=200 -g --error-limit=42 --sourceTasking链接选项-Ctc38x --lsl-core=vtc -t -I"D:\ENZST01\Bsw04_387\prj" -Wl-o"${PROJ}.hex":IHEX:4 --hex-format=s "..\0_Code\5_lsl\user.lsl" -Wl-OtxycL -Wl--map-file="${PROJ}.mapxml":XML -Wl-mcrfiklSmNOduQ -Wl--error-limit=42 -g --fp-model=3 --c++=034开发背景AUTOSAR组织成立于2003年，主要由欧洲汽车制造商、部件供应商及其他电子、半导体和软件系统公司联合建立。

工作流操作手册

工作流操作手册目录工作流操作手册 ....................................................................................................................................... 1-1 1说明 .................................................................................................................................................................... 1-1 2创建工作流模板 ............................................................................................................................................ 2-12.1打开工作流设计器......................................................................................................................... 2-12.2新建节点模版 .................................................................................................................................. 2-12.3设置流程回退任务......................................................................................................................... 2-32.4设置任务属性 .................................................................................................................................. 2-12.4.1设置提醒.............................................................................................................................. 2-12.4.2设置签发.............................................................................................................................. 2-12.4.3设置发放.............................................................................................................................. 2-22.4.4设置模板可用.................................................................................................................... 2-22.4.5编辑工作流模板............................................................................................................... 2-2 3启动工作流...................................................................................................................................................... 3-13.1新建工作流 ....................................................................................................................................... 3-13.2执行工作流 ....................................................................................................................................... 3-13.2.1查看任务“目标”和“引用”.............................................................................................. 3-13.2.2执行工作任务.................................................................................................................... 3-1 4功能配置参考................................................................................................................................................. 4-14.1添加引用 ............................................................................................................................................ 4-14.2设置外出代理 .................................................................................................................................. 4-14.3设置工作流代理人......................................................................................................................... 4-14.4设置作废 ............................................................................................................................................ 4-24.5设置共享文件夹 ............................................................................................................................. 4-24.6设置文件关联 .................................................................................................................................. 4-44.7查询活动-非活动用户 .................................................................................................................. 4-34.7.1添加新查询......................................................................................................................... 4-34.7.2执行查询.............................................................................................................................. 4-21说明1.工作流是完成目标的一个或几个业务流程的自动化操作，工作流程由用户（不能是dba用户）发起，具体的工作流任务将指派给用户。

简单之美 Oozie Coordinator使用及详解

简单之美Oozie Coordinator使用及详解Oozie所支持工作流，工作流定义通过将多个Hadoop Job的定义按照一定的顺序组织起来，然后作为一个整体按照既定的路径运行。

一个工作流已经定义了，通过启动该工作流Job，就会执行该工作流中包含的多个Hadoop Job，直到完成，这就是工作流Job的生命周期。

那么，现在我们有一个工作流Job，希望每天半夜00:00启动运行，我们能够想到的就是通过写一个定时脚本来调度程序运行。

如果我们有多个工作流Job，使用crontab的方式调用可能需要编写大量的脚本，还要通过脚本来控制好各个工作流Job的执行时序问题，不但脚本不好维护，而且监控也不方便。

基于这样的背景，Oozie提出了Coordinator的概念，他们能够将每个工作流Job作为一个动作（Action）来运行，相当于工作流定义中的一个执行节点（我们可以理解为工作流的工作流），这样就能够将多个工作流Job组织起来，称为Coordinator Job，并指定触发时间和频率，还可以配置数据集、并发数等。

一个Coordinator Job包含了在Job外部设置执行周期和频率的语义，类似于在工作流外部增加了一个协调器来管理这些工作流的工作流Job的运行。

运行Coordinator Job我们先看一下官方发行包自带的一个简单的例子oozie-3.3.2\examples\src\main\apps\cron，它能够实现定时调度一个工作流Job运行，这个例子中给出的一个空的工作流Job，也是为了演示能够使用Coordinator系统给调度起来。

这个例子有3个配置文件，我们不修改workflow.xml 配置内容。

修改后分别如下所示：job.properties配置nameNode=hdfs://m1:9000jobTracker=m1:19830queueName=defaultexamplesRoot=examplesoozie.coord.application.path=${nameNode}/user/${user.na me}/${examplesRoot}/apps/cronstart=2014-03-04T19:00Zend=2014-03-06T01:00ZworkflowAppUri=${nameNode}/user/${}/${exam plesRoot}/apps/cron修改了Hadoop集群的配置，以及调度起止时间范围。

Oozie工作流框架使用指南PPT课件

◦ Install ◦ Config
Hue
◦ Install ◦ Config (2 items) ◦ Basic Operation
3
Action Overview
◦ An execution/computation task (Map-Reduce job, Pig job, a shell command). It can also be referred as task or 'action node'.
Job Designer Job Design Example
◦ Fs Action ◦ MapReduce Action
4
Oozie
◦ A workflow scheduler system to manage Apache Hadoop jobs
WorkFlow
◦ Workflow jobs are Directed Acyclical Graphs (DAGs) of actions
12
Oozie
◦ Home page ◦ Documents
Hue
◦ Home page ◦ Tutorials
Expression Language
◦ Tutorials
13
Reduce2
End
8
Coordinator execute workflow jobs：
◦ Recurrent ◦ Interdependent
Coordinator Based：
◦ Time intervals ◦ Data availability ◦ Time intervals and/or data availability
Scalable Reliable Extensible

CDP 使用指南说明书

CDP使用指南2021年05月12日目录1.文档说明 (8)2.CDP平台介绍 (8)2.1.CDP平台简介 (9)2.2.C LOUDERA M ANAGER概览 (10)2.3.C LOUDERA R UNTIME (11)2.4.工具 (11)2.5.设置对基于阿里云部署的CDP的访问权限 (12)2.5.1.配置SOCKS代理 (12)2.5.2.启动SOCKS代理 (12)2.5.3.配置Google Chrome浏览器以使用代理 (13)2.5.4.网络安全组 (14)3.CLOUDERA MANAGER (15)3.1.术语 (15)3.1.1.部署 (16)3.1.2.动态资源池 (16)3.1.3.集群 (16)3.1.4.主机 (16)3.1.5.机架 (16)3.1.6.服务 (16)3.1.7.服务实例 (17)3.1.8.角色 (17)3.1.9.角色实例 (17)3.1.10.角色组 (17)3.1.11.主机模板 (17)3.1.12.网关（Gateway） (17)3.1.13.Parcel (18)3.1.14.静态服务池 (18)3.2.C LOUDERA M ANAGER架构 (18)3.2.1.心跳 (19)3.3.状态管理 (19)3.4.C LOUDERA M ANAGER 管理控制台 (20)3.4.1.Cloudera Manager管理控制台主页 (24)3.4.2.自动登出 (28)3.5.进程管理 (30)3.6.主机管理 (30)3.7.C LOUDERA M ANAGER A GENT (31)3.7.1.cm_processes (31)3.8.资源管理 (32)3.9.用户管理 (33)3.10.安全管理 (33)3.11.使用C LOUDERA M ANAGER监控集群 (33)3.12.C LOUDERA M ANAGEMENT S ERVICE (35)3.12.1.健康测试 (35)3.12.2.指标收集和显示 (36)3.12.3.事件、警报和触发器 (36)3.13.集群配置概述 (37)3.14.服务器和客户端配置 (38)3.15.C LOUDERA M ANAGER API (39)3.16.虚拟专用集群和C LOUDERA SDX (39)3.16.1.分离计算和数据资源的优势 (40)3.16.2.架构 (40)3.16.3.权衡性能 (42)3.16.4.虚拟专用集群的兼容性注意事项 (42)3.16.5.虚拟专用集群的网络注意事项 (47)4.CDP核心组件 (53)4.1.C LOUDERA R UNTIME组件版本 (53)4.2.分布式文件系统HDFS (57)4.3.实时数据库HB ASE (58)4.4.列式存储引擎K UDU (60)4.5.统一资源管理和调度框架 (61)4.6.分布式计算框架–T EZ (66)4.7.数据仓库组件–H IVE (68)4.8.SQL分析引擎I MPALA (69)4.9.HB ASE SQL查询引擎P HOENIX (71)4.10.C LOUDERA整合全文检索引擎 (73)4.11.分布式内存计算框架–S PARK (76)4.12.数据库接入工具S QOOP (78)4.13.C LOUDERA一站式安全管理 (83)4.14.分布式消息队列K AFKA (93)4.15.A PACHE A TLAS (95)5.CLOUDERA安全概述 (98)5.1.概述 (98)5.1.1.安全要求 (99)5.1.2.安全等级 (99)5.1.3.Hadoop安全架构 (100)5.2.认证概述 (101)5.2.1.Kerberos概述 (102)5.2.2.Kerberos部署模型 (103)5.2.3.使用TLS/SSL进行安全的Keytab分发 (109)5.2.4.使用向导或手动过程来配置Kerberos身份验证 (110)5.2.5.集群组件使用的身份验证机制 (110)5.3.加密概述 (111)5.3.1.保护静态数据 (111)5.3.2.保护传输中的数据 (114)5.3.3.Hadoop项目中的数据保护 (115)5.3.4.加密机制概述 (117)5.4.授权概述 (117)5.4.1.Hadoop中的授权机制 (118)5.4.2.与身份验证机制的身份验证机制集成 (119)5.4.3.Hadoop项目中的授权 (120)5.5.治理概述 (121)5.5.1.什么是Apache Atlas？ (121)5.5.2.Apache Atlas使用元数据创建血统关系 (121)5.5.3.添加到实体元数据使搜索更加容易 (121)5.5.4.Apache Atlas体系结构 (122)6.CLOUDERA最佳实践 (123)6.1.I MPALA分区 (123)6.1.1.文件计数和文件大小 (123)6.1.2.分区注意事项 (124)6.1.3.指南总结 (126)6.2.I MPALA性能 (126)6.2.1.Kudu RPC (126)6.2.2.设立专门的协调员 (127)6.2.3.按需元数据和元数据管理 (130)6.3.加速S PARK ML应用 (153)6.3.1.Spark ML的原生数学库 (153)6.3.2.启用libgfortran库 (154)6.3.3.启用英特尔MKL库 (156)6.3.4.性能比较 (157)7.故障排查 (159)7.1.安全故障排查 (159)7.1.1.错误信息和各种故障 (159)7.1.2.身份验证和Kerberos问题 (167)7.1.3.HDFS加密问题 (179)7.1.4.Key Trustee KMS加密问题 (181)7.1.5.对Cloudera Manager中的TLS/SSL问题进行故障排除 (182)7.2.YARN、MR V1和L INUX OS安全性 (185)7.2.1.MRv1和YARN：jsvc程序 (185)7.2.2.仅限MRv1：Linux TaskController (186)7.2.3.仅限YARN：Linux容器执行器 (186)7.3.对I MPALA进行故障排除 (187)7.3.1.使用Breakpad Minidumps进行崩溃报告 (188)7.4.对A PACHE Y ARN进行故障排查 (190)7.4.1.在YARN上对Docker进行故障排除 (190)7.4.2.对Linux Container Executor进行故障排除 (200)7.5.对HB ASE进行故障排除 (202)7.5.1.使用HBCK2工具修复HBase集群 (203)7.5.2.Thrift Server在收到无效数据后崩溃 (203)7.5.3.HBase正在使用比预期更多的磁盘空间 (204)7.5.4.对RegionServer分组进行故障排除 (205)7.6.对APACHE KUDU进行故障排除 (206)7.6.1.启动或重启主服务器或者Tablet服务器时出现问题 (206)7.6.2.磁盘空间使用问题 (207)7.6.3.性能问题 (208)7.6.4.可用性问题 (214)7.6.5.象征堆栈跟踪 (216)7.6.6.在多主服务器部署中从死掉的Kudu主服务器中恢复 (218)7.7.对C LOUDERA S EARCH进行故障排除 (218)7.7.1.故障排除 (218)7.7.2.动态Solr分析 (219)7.7.3.其他故障排除信息 (220)7.7.4.找出Cloudera Search部署中的问题 (220)7.7.5.Cloudera Search配置和日志文件 (223)7.8.对H UE进行故障排查 (226)7.8.1.Hue负载平衡器无法在各个Hue服务器之间平均分配用户 (226)7.8.2.无法使用SAML对Hue中的用户进行身份验证 (227)7.8.3.清理旧数据以提高性能 (227)7.8.4.无法使用提供的凭据连接到数据库 (229)7.8.5.在Hue UI上激活Hive查询编辑器 (230)7.8.6.查询执行在Hue中完成，但显示为在Cloudera Manager Impala查询页面上执行 (231)7.8.7.查找Hue超级用户列表 (232)7.8.8.通过Knox访问Hue时，用户名或密码不正确 (233)7.8.9.从Knox访问Hue UI时出现HTTP 403错误 (234)7.8.10.无法从Knox Gateway UI访问Hue (236)7.8.11.引荐检查失败，因为域与任何受信任的来源都不匹配 (239)7.8.12.无法查看Snappy压缩文件 (239)7.8.13.启用SAML时出现“未知属性名称”异常 (241)7.8.14.Impala查询因无效的查询句柄错误而失败 (242)7.8.15.PostgreSQL支持的服务失败或挂起 (243)7.8.16.验证Hue中的LDAP用户时出错 (244)7.8.17.从负载均衡器访问Hue时出现502代理错误 (245)7.8.18.提交Hive查询后，无效的方法名称：“ GetLog”错误 (246)7.8.19.在Hue中提交查询时出现“授权异常”错误 (246)7.8.20.无法更改Hue中的压缩表 (248)7.8.21.从Hue访问“搜索”应用程序（Solr）时出现连接失败错误 (249)7.8.22.从顺化下载查询结果需要时间 (250)7.8.23.启用TLS后，Hue Load Balancer无法启动 (250)7.8.24.无法终止以Kerberized集群运行的Hue作业浏览器中的Hive查询 (251)7.8.25.无法在受Knox保护的集群上的Hue中查看或创建Oozie工作流 (252)7.8.26.1040，“连接太多”异常 (253)8.参考资料 (254)1.文档说明本文档主要是基于阿里云部署的CDP的操作使用和介绍，关于CDP平台的操作和使用信息来源Cloudera官网，大家可以访问https:///cdp-private-cloud-bas e/latest/index.html来获取对应的信息。

芝麻VU系列操作员界面说明书

HM i VU Series Instruction LeafletContentsDescription ............................................ PagePreface (1)Safety Precautions (1)Installation (3)Wiring (4)Basic Inspection (4)Hardware Features (7)Panel Cut-Out (17)Specifications (19)HM i VU Series Instruction LeafletEATON CORPORATION 1PrefaceThank you for purchasing Eaton’s HM i VU series operator interface. This quick start guide will be helpful in the installation, wiring and inspection of your Eaton operatorinterface. Before using the product, please read this quick start guide to ensure correct use. You should thoroughly understand all safety precautions before proceeding with the installation, wiring and operation. Please observe the following precautions:⏹Install the product in a clean and dry location free from corrosive and flammable gases or liquids.⏹ Ensure that all wiring instructions andrecommendations are followed.⏹ Ensure that the operator interface iscorrectly connected to a ground. The grounding method must comply with the electrical standard for the country of final installation (NFPA 70: National Electrical Code, 2005 Ed).⏹ Do not modify or remove wiring whenpower is applied to the operator interface.⏹ Do not touch the power supply duringoperation or it may cause electric shock.⏹ For the information on HMiSoftinstallation and use, please refer to the HMiSoft manual at /oi .If you have any questions during operation, please contact an authorized local distributor or Eaton sales representative. The content of this quick start guide may be revised without notice. Please consult an authorized distributor or download the most up to date version at /oi .Safety PrecautionsCarefully note and observe the followingsafety precautions when receiving, inspecting, installing, operating, maintaining and troubleshooting. The following words,DANGER, WARNING and STOP are used to mark safety precautions when using Eaton’s operator interface. Failure to observe these precautions may void the warranty!InstallationWiringHM i VU Series Instruction LeafletEATON CORPORATION 2OperationM odify wiring during operationmay result in electric shock orpersonal injury. U sing a sharp or pointed objectto activate screen controls may result in damage to thetouchscreen and improper operation.Wiring MethodCommunication WiringMaintenance and InspectionE lectrical shock and damage tounit may result from contact withany internal electronic assemblies.First remove power and then disconnect the terminals to avoid electrical shock and damage to unit.A ccessing the unit’s internal electric assemblies will void the warranty. In addition, an electrical charge with hazardous voltages may reside in the operator interface after power has been removed for 10 minutes or longer which may result in electrical shock and damage to the unit.T urn the power off before changing backup battery and check system settings afterchanges are made. Note that the application and all data will be cleared after a battery change.O bstruction of ventilation holes during operation may result in malfunction caused by overheating.HM i VU Series Instruction LeafletEATON CORPORATION 3InstallationInstallation NotesThe panel thickness should be 5 mmor less for proper mounting. Installation Method:Step 1:Ensure the pre-installed waterproof gasket ispresent and properly aligned.Step 2:Insert fasteners into the operator interface slots. All should be finger tight initially.Step 3:Torque all fasteners to 6.17lb-inch (0.7N-M) Over torque may cause damage to the operator interface housing.Step 4:Maintain a minimum spacing of 60mm from the back of the operator interface ventilation holes.HM i VU Series Instruction LeafletEATON CORPORATION 4Wiring•Please observe the following wiring notes.⏹Use shielded twisted-pair cables for wiring.Power supply connector:Basic InspectionHM i VU Series Instruction LeafletEATON CORPORATION 5Pin Definition for CommunicationsHMIVU04CUNBENote: Blank = No Connection.HMIVU06CUNB1 / HMIVU07CUNBE Note: Blank = No Connection.Note1: Blank = No Connection.Note2: HMIVU06CUNB/HMIVU07CUNBE models do not support RS-422 flow control function.HMIVU08CUNBE / HMIVU10WCUNBEHM i VU Series Instruction LeafletEATON CORPORATION 6Note1: Blank = No Connection.Note2: When COM2 port is used for RS-232 flowcontrol, i.e. RTS and CTS signals are used for flow control, COM3 port will become disabled.Note3: When COM2 port is used for RS-422 with flowcontrol, COM3 Port pins 1, 4, 6, and 9 are used for the signals, RTS+, CTS+, RTS- and CTS- as shown in brackets.Note2: When COM2 port is used for RS-422 with flow control, COM3 Port pins 1, 4, 6, and 9 are used for the signals, RTS+, CTS+, RTS- and CTS- as shown in brackets.Note: Blank = No Connection.HM i VU Series Instruction LeafletEATON CORPORATION 7Hardware FeaturesHMIVU04CUNBE (Front View)BAHM i VU Series Instruction Leaflet HMIVU04CUNBE (Rear View)EATON CORPORATION 8HM i VU Series Instruction LeafletEATON CORPORATION 9HMIVU06CUNB1 (Front View)BHM i VU Series Instruction Leaflet HMIVU06CUNB 1(Rear View)HM i VU Series Instruction Leaflet HMIVU07CUNBE (Front View)HM i VU Series Instruction LeafletHMIVU07CUNBE (Rear View)AHM i VU Series Instruction LeafletHMIVU08CUNBE (Front View): Power LED IndicatorLights in green when power is applied.: Operation LED Indicator (Blue)The operation LED indicator blinks in blue when communicating or accessing data: Alarm LED Indicator (Red)The alarm LED indicator blinks in red when one of the alarms is on.HM i VU Series Instruction Leaflet HMIVU08CUNBE (Rear View)HM i VU Series Instruction LeafletHMIVU10WCUNBE (Front View)D: Power LED IndicatorLights in green when power is applied.: Operation LED Indicator (Blue)The operation LED indicator blinks in blue when communicating or accessing data: Alarm LED Indicator (Red)The alarm LED indicator blinks in red when one of the alarms is on.HM i VU Series Instruction Leaflet HMIVU10WCUNBE (Rear View)HM i VU Series Instruction LeafletPanel Cut-OutHMIVU04CUNBEHMIVU06CUNB1HMIVU07CUNBEHM i VU Series Instruction Leaflet HMIVU08CUNBEHMIVU10WCUNBEHM i VU Series Instruction Leaflet SpecificationsHM i VU Series Instruction LeafletSpecificationscurrent is supplied to HM i. The life of LED backlight shown is an estimated value under 25o C normal temperature and humidity conditions.2) USB Host port can provide up to 5V/ 500mA of power.EATON CORPORATION 20HM i VU Series Instruction Leaflet3) The withstand voltage of the isolated power circuit is 1500V peak for 1 minute.4) The value of the power consumption indicates the electrical power consumed by HM i only withoutconnecting to any peripheral devices. In order to ensure the normal operation, it is recommended to use a power supply which the capacity is 1.5 ~2 times the value of the power consumption.5) For further details, please visit the Eaton website /electrical.EATON CORPORATION 21HM i VU Series Instruction Leaflet。

e-cology工作流Web Service接口使用说明

e-cology工作流接口使用白皮书SUBMITED BY WEA VER文档版本历史目录一、前言 (4)1.1编写目的 (4)1.2名词定义 (4)二、接口调用步骤 (5)2.1 Ecology系统流程接口部署 (5)2.2表单字段 (5)2.3检查ecology web service是否已部署 (6)2.4接口方法概述 (7)2.5 流程相关对象说明 (10)2.6 生成客户端 (15)三、示例程序 (19)3.1创建带附件的留言 (19)3.2 使用客户端代理创建留言 (19)3.3 使用客户端查询留言 (22)3.4 使用客户端实现流程转发 (23)3.5 使用客户端实现流程提交 (24)3.6 使用客户端实现流程退回 (25)3.7 使用客户端获得待办列表 (25)3.8 使用客户端获得已办列表 (26)3.9 使用客户端获得办结列表 (27)3.10 使用客户端获得我的请求列表 (28)一、前言1.1编写目的本文给有研发能力的客户或有系统集成需求的客户提供web service接口调用的参考例程。

本文的面向具有一定web service开发能力或了解web service技术的开发人员。

1.2名词定义1、Axis：著名的开源web service引擎。

2、外部系统：指调用或实现e-cology工作流输入输出接口，与e-cology系统进行数据交接的其他系统。

二、接口调用步骤2.1 Ecology系统流程接口部署1.更新lib目录下文件将spring.jar更新为spring-1.2.6.jar将xfire-all-1.1.2.jar更新为xfire-all-1.2.6.jar添加xbean-spring-2.8.jar文件2.修改/WEB-INF/web.xml文件在相应处增加servlet部署（参考系统中已有很多servlet部署），加入如下描述<servlet><servlet-name>XFireServlet</servlet-name><servlet-class>org.codehaus.xfire.transport.http.XFireConfigurableServlet</servlet-class> </servlet><servlet-mapping><servlet-name>XFireServlet</servlet-name><url-pattern>/services/*</url-pattern></servlet-mapping>注意：不要添加在注释中（即以“<!—”开始至“-->”结束为注释）！3.修改/classbean/META-INF/xfire/services.xml文件，增加红色部分描述<beans xmlns="/config/1.0"><service><name>DocService</name><namespace>http://localhost/services/DocService</namespace><serviceClass>weaver.docs.webservices.DocService</serviceClass><implementationClass>weaver.docs.webservices.DocServiceImpl</implementationClass></service><service><name>RequestService</name><namespace>http://localhost/services/RequestService</namespace><serviceClass>weaver.soa.workflow.request.RequestService</serviceClass></service></beans>2.2表单字段在确定调用web service接口之前需要在ecology系统中设计好表单, 记下表单字段名（主字段和明细字段），在调用接口的时候需要用到。

Oozie工作流在Mahout分布式数据挖掘中的应用

在信息爆炸时代，企业面临不断增长的海量数据。如何有效地存储海量数据并从中获取有价值的数据以指导企业决策的制定，成为当前的技术热点。数据挖掘＿】是从数据集中发现未知且有价值的结构的过程，常用于目标市场分析、风险分析和欺诈检测等。从海量数据中挖掘有用模式和结构，可以帮助企业更好地利用数据、创造价值。海量数据挖掘涉及存储、高效率的数据挖掘算法
析了Ｈａｄｏｏｐ技术及其多种数据处理组件，提出应用Ｍａｈｏｕｔ分布式数据挖掘算法库和Ｏｏｚｉｅ工作流技术在Ｈａｄｏｏｐ中构建数据挖掘工作流的方法，并设计实现了一个聚类工作流实例。实验结果证明，该方法简单，且能有效地组织数据挖掘流
Ｏｏｚｉｅ工作流在Ｍａｈｏｕｔ分布式数据挖掘中的应用
范飞，黄文明，邓珍荣
（桂林电子科技大学计算机科学与工程学院，广西桂林５４１００４）
摘
要：针对现有数据挖掘软件不支持用户有序、动态地按需定制并行数据挖掘算法，且不能充分利用计算集群的能力，分
ＦａｎＦｅｉ，ＨｕａｎｇＷｅｎｍｉｎｇ，ＤｅｎｇＺｈｅｎｒｏｎｇ

普元EOS工作流说明

普元EOS工作流说明1.流程定义：类似提交申请、申请审批、回执确认等都是人工活动。

在基本-技术手段设置填写工作项页面，参与者下设置参与者。

如果有分支，在流程属性设置-相关数据声明变量。

流程定义好后通过资源管理器-流程定义库交互-提交流程，可在Workspace看到提交好的流程。

也可以在Workspace中查询到正在运转的工作流，及具体工作项的状态。

2.逻辑流定义：每个工作项都有自己的逻辑流，以下“调用服务”控制了工作项的开启、完结等。

2.1创建流程实例：ponent.instance.ProcessInstManagerComponent/ ProcessInstManagerService.createProcessInstance参数：工作流无后缀全名（如com.zhjy.ics.gather_sub_collection_flow），流程实例名称，流程实例描述返回：流程实例ID如果这里出现“未找到流程定义，流程定义ID:-1”，可能是参数1错误。

2.2启动流程实例，并提交第一个人工活动的工作项：ponent.instance.ProcessInstManagerComponent/ ProcessInstManagerService.startProcessInstAndFinishFirstWorkItem参数：流程实例ID，事务分割（一般用常量false），参数（一般用表达式null）提交之前需要将流程实例ID存入业务实体，后面查询时会用到。

2.3提交工作项：ponent.client.WorkItemManagerComponent/ WorkItemManagerService.finishWorkItem参数：工作项ID，分段事务（一般用常量false）工作项ID可通过图元queryEntitiesByCriteriaEntity对实体com.eos.workflow.data.WFWorkItem 筛选processinstid与currentstate获得。

OA工作流

目录第1章工作流相关概念 (1)第2章工作流基本制作 (2)第3章工作流使用 (6)第1章工作流相关概念随着企业管理信息化进程的不断深入，协同应用软件的概念已深入人心，而工作流系统正是协同应用软件的核心。

通过应用IT 技术来规范工作流程、提高工作的执行效率和准确度，是工作流系统主要解决的问题工作流是一个万能模块，它可以应用到各行各业以及企业管理的方方面面。

通过管理员对工作流的合理设置，以及对员工进行基本的工作流培训，可为企业日常办公和管理提供极大的便利，提高工作效率，并使得企业运营更加高效、规范、稳健。

内置的工作流系统，可实现业务或公文的申请、审批、会签、登记、操作等环节的管理，可将协同工作过程的记录，便于日后审核与查询。

并实现业务数据的规范化录入、查询、统计和存档。

简单来说，工作流就是把一项工作分解为多个步骤，由多人协同来完成。

这里所指的工作是形形色色的，在办公室里进行的很多不同类型的工作，都可以用工作流系统来表达，华森软件CRM OFFICE的工作流系统由表单和流程这两个重要元素构成：表单：表单是与工作相关的数据的载体，相当于现实工作中的纸质工作单，工作单上的手写数据通过表单上的各类控件得以体现；在表单以外，我们还可以通过公共附件传递一些数据和信息，以便更好的完成工作流程。

流程：流程是工作过程和环节的描述，流程由工作的多个步骤组成，每一步由指定的经办人填写指定的表单控件，谁都不能跨越权限，体现了一种制度和规范。

基础概念：工作流就是多人协同完成一项工作，也就是多人按顺序依次填写一张表单，或者填写会签意见，传递附件，在工作流中，不同步骤的主办人对附件的权限可以单独进行设置。

工作流中的表单和流程一般都是由公司OA 管理员设计好的。

华森CRM OFFICE协同办公系统中的表单格式可以通过各种网页制作工具（Dream Weaver、Front Page、SharePoint 等）制作完成后导入系统，也可以使用office 自带的word 或者infopath设计好之后复制粘贴到表单智能设计器，然后添加表单控件即可。

coze工作流的实际使用案例

coze工作流的实际使用案例
Coze工作流可以应用在很多场景中，以下是一个具体的案例：
假设你正在策划一个活动，需要完成以下任务：
1. 确定活动主题和目标；
2. 设计活动方案和流程；
3. 安排活动的时间和地点；
4. 准备活动所需的材料和设备；
5. 宣传和推广活动。

你可以使用Coze工作流来管理这些任务，设置任务的顺序和依赖关系，并分配任务给相应的人员。

这样，你可以更好地协调和控制整个活动的进程，确保每个任务都能按时完成，最终成功举办活动。

总之，Coze工作流可以帮助你更好地组织和管理工作任务，提高工作效率和质量。

在实际应用中，你可以根据自己的需求和场景，灵活地创建和使用工作流来实现业务流程的自动化和优化。

工作流调度引擎---Oozie

⼯作流调度引擎---OozieOozie使⽤教程⼀． Oozie简介Apache Oozie是⽤于Hadoop平台的⼀种⼯作流调度引擎。

1. 作⽤- 统⼀调度hadoop系统中常见的mr任务启动hdfs操作、shell调度、hive操作等。

- 使得复杂的依赖关系时间触发事件触发使⽤xml语⾔进⾏表达开发效率提⾼。

- ⼀组任务使⽤⼀个DAG来表⽰，使⽤图形表达流程逻辑更加清晰。

- ⽀持很多种任务调度，能完成⼤部分hadoop任务处理。

- 程序定义⽀持EL常量和函数，表达更加丰富。

1. 架构1. 访问- 通过HUE访问1. 概念- workflow:⼯作流- coordinator:多个workflow可以组成⼀个coordinator，可以把前⼏个workflow的输出作为后- ⼀个workflow的输⼊，也可以定义workflow的触发条件，来做定时触发- bundle:是对⼀堆coordinator的抽象⼆． Oozie操作1. Oozie shell- 编写job.properties⽂件- 编写workflow.xml⽂件<workflow-app xmlns="uri:oozie:workflow:0.4" name="shell-wf"><start to="shell-node"/><action name="shell-node"><shell xmlns="uri:oozie:shell-action:0.2"><job-tracker>${jobTracker}</job-tracker><name-node>${nameNode}</name-node><configuration><property><name></name><name></name><value>${queueName}</value></property></configuration><exec>echo</exec><argument>my_output=Hello Oozie</argument><capture-output/></shell><ok to="check-output"/><error to="fail"/></action><decision name="check-output"><switch><case to="end">${wf:actionData('shell-node')['my_output'] eq 'Hello Oozie'}</case><default to="fail-output"/></switch></decision><kill name="fail"><message>Shell action failed, errormessage[${wf:errorMessage(wf:lastErrorNode())}]</message></kill><kill name="fail-output"><message>Incorrect output, expected [Hello Oozie] but was[${wf:actionData('shell-node')['my_output']}]</message></kill><end name="end"/></workflow-app>- 执⾏oozie cli命令执⾏命令后会返回⼀个job的id，在web的监控页⾯或Hue的页⾯可以查看其信息。

oozie在hadoop中的作用

oozie在hadoop中的作用主要介绍如下：
1.工作流调度：Oozie可以协调和管理Hadoop中的多个作业，并将它们组织成一个有序的工作流程，从而实现数据流的自动化处理。

2.作业监控：Oozie可以监控作业的执行情况，包括作业的启动、运行状态、进度、错误和完成状态等，并提供图形化的界面和日志记录。

3.依赖管理：Oozie可以管理作业之间的依赖关系，确保作业按照正确的顺序执行，并在前一个作业完成后自动启动下一个作业。

4.数据管理：Oozie可以通过与其他工具的集成，如Sqoop、Flume等，实现数据的导入和导出，以及数据的清理和转换。

5.多语言支持：Oozie支持多种作业类型，包括Java、MapReduce、Pig、Hive、Shell等，以及多种编程语言，如Java、Python、Perl和Ruby等。

综上所述，Oozie在Hadoop中具有重要的作用，可以为大规模数据处理作业提供调度、监控、依赖管理、数据管理和多语言支持等功能，从而提高数据处理的效率和准确性。

1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。

2013年10月

System Installation Job Design Oozie Overview WorkFlow Design Coordinator Design Reference

Requirements
◦ Cloudera Manager ◦ CDH

Oozie

Job Designer Job Design Example
◦ Fs Action ◦ MapReduce Action

Oozie

WorkFlow
◦ A workflow scheduler system to manage Apache Hadoop jobs
◦ Workflow jobs are Directed Acyclical Graphs (DAGs) of actions ◦ Coordinator jobs are recurrent workflow jobs triggered by time (frequency) and data availabilty. ◦ MR\FS\Email\Shell\Ssh\Hive\Pig\Sqoop\Distcp\Java

Coordinator

Integrated
Scalable Reliable Extensible

Does not support circles Workflow Nodes
◦ Control Flow Nodes ◦ Workflow Action Nodes

WorkFlow Recovery

Oozie
◦ Home page ◦ Documents
Hale Waihona Puke Hue◦ Home page ◦ Tutorials

Expression Language
◦ Tutorials
◦ oozie.wf.rerun.failnodes ◦ oozie.wf.rerun.skip.nodes

Workflow definitions can be parameterized When workflow node is executed by Oozie all the ELs are resolved into concrete values EL expressions can be used in the configuration values of action and decision nodes Workflow Job Properties (or Parameters) Expression Language Functions
Start
Map Reduce1
输出>500行
是
Map Reduce2
End

Coordinator execute workflow jobs：
◦ Recurrent ◦ Interdependent

Coordinator Based：
◦ Time intervals ◦ Data availability ◦ Time intervals and/or data availability

Datetime, Frequency and Time-Period Coordinator Action Parameterization of Coordinator Coordinator Design

定期创建文件夹
◦ ◦ ◦ ◦ 开始时间：结束时间：频率：每3分钟一次文件夹名字为标定时间格式化yyyy-MM-ddTHH-mm
◦ Install ◦ Config

Hue
◦ Install ◦ Config (2 items) ◦ Basic Operation

Action Overview
◦ An execution/computation task (Map-Reduce job, Pig job, a shell command). It can also be referred as task or 'action node'.