informatic大数据手册

3 | Informatica 大数据工作手册
A： 开始准备
本指南分为三部分。 在第一部分中，我们会尝试拓宽您的视野，∙ 帮您选择正确的项目。
返回目录
<
4 | Informatica 大数据工作手册
背景知识
在开始探讨您的项目之前，∙ 我们先分享一些经验教训，∙ 这些经验教训是众多大数据从业人∙ 员在开始项目之前都希望能了解的。
15 | Informatica 大数据工作手册
选择正确的项目
考虑产生的影响
2 产生收益和影响的时间 当考虑不同的启动项目时，您自 然而然会倾向于能够产生最大业 务影响和提升的项目。然而，对 业务影响性质的考虑也很重要。 项目的多数价值是在短期还是长 期内实现？ 更重要的是，业务用户什么时候 才能感受到这种业务影响？∙ 例如，您可以向数据仓库引入主 数据管理并大幅提高您的商业智 能效率。 但是，只有您的业务分 析师意识到无需再清理财务数据 的时候，这种价值才能被感知。 3 资源和限制 鉴于您对前述两个因素的分析， 请考虑您能支配的资源。我们随 后会更详细地探讨这一点，但现 在，请记住一点，您当然是希望 您的项目能不枉您的投入。 实现这个目标涉及两个方面。一 方面，您希望实现最大限度的业 务影响。然而，同时您也必须战 略性地使用您的预算。尽管您可 能会有建立像 Google 那样的数 据科学家团队的冲动，但您真的 负担得起吗？在工具和人员之间 做出明智的选择，对您项目的成 功至关重要。
9 | Informatica 大数据工作手册
背景知识
如何让大数据∙ 项目成功运行
如果大多数大数据项目失败是因 为目标含糊不清，无法展示出这 项活动的可行性，您就应该自行 关注该项目并进行验证。下面介 绍三个有用的提示，可确保您的 项目顺利运行。 1 制定清晰的目标并对期望目标进 行管理 如果您不确定该项目的目标，∙ 请参考您为现有数据基础设施制 定的目标。 如果企业的某些业务流程（如欺 诈检测或市场分析）已经需要用 到数据，请想想大数据如何才能 改进这些流程或提升其价值。∙ 与其应对全新的问题，不如致力 于改进现有流程或项目。 如果没有明确的方向并向业务用 户展示出价值，您的项目将难逃 厄运。 2 确定能够证明项目∙ 价值的指标 明确定义贴合项目目标的指标可 以让您避免诸多麻烦。为自己制 定一些可以衡量的现实目标，∙ 其他人就能够看出您所取得的∙ 进展。 更重要的是，他们也可以看出您 的长期目标是什么。问问自己， 根据您的目标，您如何衡量项目 的影响。 这一点非常重要，因为您的业务 用户需要为短期失败找到合理的 原因，而可衡量的目标可以帮助 您证明您正在实现更高的价值。
11 | Informatica 大数据工作手册
选择正确的 项目
根据您要面对的挑战，我们现在来看一∙ 下您应如何为企业选择正确的项目。
选择正确的项目
何谓正确的项目
如果企业迫切需要变革，而且已 经知道需要一个全面的数据治理 框架来改进工作方式，您或许可 以跳过这一部分。 如果您正在考虑实施一个本地化 战术项目，准备以后在企业内部 推广，请继续阅读。 正确的项目具备以下四个要素。 1 明确的价值 所谓正确的项目，就是要使 IT 与 您尝试提供帮助的业务单位都能 分享到项目所带来的价值。也就 是说，需要为部门、业务单位或 小组提供明确的价值，让他们都 可以看得到。 2 赞助方 高管能够支持您的愿景是项目取 得成功的关键。大数据项目需要 得到高层的拥护和赞同，愿意为 您的工作提供支持。 所以，如果您可以为物流部门打 造超群的分析能力，而支持您这 种想法的高管只有 CMO，您就 应该三思而后行。如果营销部门 拥护您的工作，您就应该优先满 足营销部门的分析需求。您不能 强迫任何人做出改变。顺势而 为，尽力发挥最大价值。
大数据 工作手册
助您首个大数据项目破茧成蝶的 实践指南。
目录
引言 A：开始准备 背景知识 为什么大多数公司都实施大数据项目 大数据项目为什么会失败 如何让大数据项目成功运行 选择正确的项目 何谓正确的项目 考虑产生的影响 战术性大数据项目：示例 基础大数据之旅 B：战略 制定目标 业务目标 IT 目标 确定数据需求 您需要什么数据？ 五个关键数据考虑事项 3 4 5 6 7 10 12 13 15 17 19 23 24 25 27 29 30 33 C：精益大数据供应链 您的团队 五个关键的团队建设经验 搭建数据治理框架 您需要的技能以及已具备的技能 您的工具 了解大数据工具 您的流程 大数据八步法 体系架构 第一步：沙盒 理想的大数据体系架构 项目计划 项目计划 立即行动 后续步骤 关于 Informatica 36 37 38 42 45 47 48 52 53 56 57 59 60 61 63 64 65
14 | Informatica 大数据工作手册
选择正确的项目
考虑产生的影响
选择下一个项目时，您还需要考 虑它会对企业产生什么影响。∙ 在确定您选择的大数据项目是否 正确的问题上，三个宏观因素应 起到重要作用。 1 成本和干扰 从根本上说，项目成本取决于顺 利开展项目所需要的时间和资 金。实际上，您还应考虑项目可 能会造成的干扰。 有时，由于业务单位习惯自行掌 控数据，而不希望将控制权转移 给一个中央数据治理框架，这样 就会在过程上造成干扰。 而如果您需要将新技术集成到现 有基础设施中并对技能进行重组 或升级，则会在技术和技能方面 造成干扰。 无论哪种情况，您都应该想到并 确保尽可能地避免干扰，或者说 明避免干扰的重要性。
1.
7 | Informatica 大数据工作手册
/software/information-management/ vague-goals-seed-big-data-failures/d/d-id/1108384
背景知识
大数据项目为什么会失败
2 预期目标不合理 在大数据纷纷扰扰的宣传之下， 您会对项目的成果做出一下假 设，而这些假设往往会产生不利 影响。在很短的时间内冒然做出 一些承诺虽然看起来会很诱人， 但同样非常重要的是，您需要客 观地估计项目可能会产生的成 果、项目周期以及实现这些成果 所需要付出的努力。 如果对影响和洞察力的期望过 高，则会像大海捞针一般茫然无 措。如果对交付成果的期望不切 实际，您就会发现您要遵从的截 止日期和预算根本就不可行。 3 项目超支和延误 由于对企业来说这方面仍然还是 全新事物，您就不难理解大多数 大数据项目都会成本超支或时间 延误。造成这种问题的原因往往 是期望目标不合理、加上对如何 构建可扩展体系架构不了解。 在少数成本高昂的 Hadoop-Java 开发人员从事着大规模手动编码 实施工作的同时，企业也很快认 识到脱离沙盒环境而不出现任何 错误是不可能的。于是，大数据 项目终归会沦落为一项科学实 验，备受折磨，永远走不出实∙ 验室。
6 | Informaticaቤተ መጻሕፍቲ ባይዱ大数据工作手册
背景知识
大数据项目为什么会失败
一项调查 发现，55% 的大数据 项目都会半途而废，而其他许多 项目缺少明确的目标。在一项技 术趋势早期阶段出现这样的失败 并非罕见，倘若不吸取这些项目 的经验教训，那显然不是明智∙ 之举。 让我们了解一下大数据项目失败 的四个主要原因。
10 | Informatica 大数据工作手册
背景知识
如何让大数据∙ 项目成功运行
3 从战略的角度使用工具和手动∙ 编码 避免直接在 Hadoop 中对所有内 容进行手动编码。请记住，我们 的目标并不是从零开始人工实施 一个有效的环境——而是为企业 提供大数据的价值。 您不应尝试对每一次集成和所有 分析进行手动编码并清理每一个 数据集，而是应借助工具和自动 化技术来加快这些流程的执行。 尤其是，不要让少数成本高昂的 Java 开发人才把时间浪费在无 法让其他员工接手的工作上。您 的职责是制定战略决策，将稀缺 资源部署到能够实现您的目标的 地方。 借助现有 ETL、数据质量和商业 智能专家的技能和知识，采用能 够提高开发团队工作效率的工 具，将 Java 高手解放出来，∙ 从事具体逻辑工作。 此外，由于像 Hadoop 这样的技 术日新月异，您就需要考虑采用 一个抽象层来应对不断变化的基 础技术规范。 总之，请记住，您需要的技能是 稀缺的——而工具随时可用。
提示：单击可跳至相应章节
2 | Informatica 大数据工作手册
大数据 之路
如此眼花缭乱的大数据并没有带来什 么技术趋势。
我们希望能为您的战略保驾护航并在 实践中加以落实。无论您要着手实施 本地化战术性活动，还是为整个企业 不过话又说回来，也很少有什么技术趋 制定基础战略，本指南都可以为您的 势能为企业创造如此众多的转型契机。 旅程铺设一条可行的道路。 自从本世纪初软件应用开始在整个业务 流程中盛行以来，一个不争的事实就 开始行动吧！ 是：数据改变了我们的工作方式。 当然，纷纷攘攘之中必然掺杂着一些 误解。就大数据而言，自然也就褒贬 之声兼而有之。然而，这种全新的无 极限数据仍然是初露端倪，因此，∙ 各种杂音也难免让许多人感到困惑。 本工作手册的目的就是解除这种困惑。
14
12
10
8
6
4
2
背景知识
为什么大多数企业都 实施大数据项目
企业决定处理大数据， 往往是出于下面几种原 因之一。
望进行更有效的分析，他们认 希 识到由此需要分析的数据量也会 大幅增加。这些活动往往会由一 个业务单位（如营销部门）∙ 来承担。 企业意识到可以通过实时分析将 其产品打包在一个服务层中，∙ 帮助客户更高效地使用其产品。 企业希望通过大数据来传达某个 业务单位或流程的所有决策，∙ 从而提升操作速度，提高操作质 量并降低操作成本。 企业意识到大数据对于每个业务单 位都相当重要，它们尝试建立以数 据为中心纵观全局的基础环境。 业认识到必须在大数据方面有 企 所作为，不然就会落伍，但并未 切实规划出如何开展这项工作。 我们的目标就是了解并尝试开展 这项工作。 上述这几点是大数据引起人们关 注的主要原因。但是，如果您要 保证您的项目经得起时间的检验 以及多部门的审查，那么您就必 须十分清楚地知道您最关注的是 上述哪一项原因。