Informatica学习以及遇到的问题总结陈朋
informatica 学习日记
informatica 学习日记1. INFORMATICA CLIENT的使用1.1 Repository Manager 的使用1.1.1 创建Repository。
前提：a. 在ODBC数据源管理器中新建一个数据源连接至你要创建Repository的数据库（例：jzjxdev）b. 要在你要连接的数据库中新建一个用户（例：name: ETL password: ETL）现在你可以创建一个Repository了。
选择Repository – Create Repository,输入Repository Name（例：JZJX），DatabaseUsername（例：etl），Database Password（例：etl），ODBC Data Source（例：jzjxdev），Native Connect String（数据库所在ip例：141.20.52.108）1.1.2 添加Repository。
通过这一步你可以添加别人已经建好的Repository。
选择Repository – Add Repository,输入Repository Name（例：JZJX），Username(例：etl),点击ok就可以看到名为JZJX的Repository在左边的浏览器中，但是此时还看不到它的内容，要看到它的内容或者对它进行操作必须先连接它。
1.1.3 添加Folder选择Folder – Create,输入文件夹名称即可。
1.2 Designer 的使用首先连接Repository，可以看到该Repository在Repository Manager中创建的文件夹。
1.2.1 SourcesSources文件夹下的表是抽取的来源表。
导入方法：选择Tools菜单下的Source Analyzer,然后选择Sources菜单下的Importfrom database，连接想要连接的数据库，连接上后选择你要抽取的表点击ok你所选择的表就会出现在Sources文件夹下。
学习Texmacs心得
学习Texmacs心得这是一个梦想中的软件。
它比word有更好的 所见即所得 效果，你就像在直接编修PDF；它继承了Tex的结构化排版和公式排版的能力，并且有更便捷、直观、更丰富的方法；但你不必像Tex中那样战战惊惊于语法的微小瑕疵。
输入符号不仅可以用Ｔex的方法输入，更创造了拓扑相以这种灵巧的输入方法。
它可以直接粘贴图片。
总之，这是一个梦想中的软件。
虽然我才用了它不到一周。
而它的许多功能我还不知首怎么用。
当然它有瑕疵。
它常常会崩溃。
我在这里记下我使用中发现的一些问题，或一些解决的方法，一些改时的建议。
我用的版本是１:９９:５1.当文件名字或保存路径中含有中文时，crase.2.小节或列表紧临的下一个段落，不会和其它段落一样首行缩进。
（下面有个不完全的解决方法，可让文件在节，小节，小小节后正常缩进，但在多行公式等之后仍不能正常缩进．复制C:\Program Files\TeXmacs\styles＼article.pps_ts.更名为cn，用记事本打开，添加选中的句子．保存．重新打开texmacs后就有cn文件类了．3.中文中行内公式与汉字间的间隔太小，看起来不美观。
公式两端应各有半个字符的空格。
4.公式由嵌套的小方格组成．鼠标点它有两个目的，一是修改，一是复制．变红色的框是选中内容，变蓝色的只是显示鼠标在这个框内．这个不如word中的公式编辑器好用．选中有变深色．光标闪处就是可修改处．并且应让公式在编辑时可拖大小，有些复杂公式的上下标什么的显示太小，选中起来困难呀．（可把页面放大一下来编辑复杂公式．）5.行内公式若形式很a简单可以先输入再用shift+$来改变．不用每个都先进入数学模式．若能采用格式刷的办法也不错．6.用拓扑变形方法输入的符号，修改时为什么不能用？7.一些属性标记，word中是开关状态可以反复用．这里统一用焦点菜单上的叉号可以取消已有标记．8.公式中文本不象文本模式下那样可自由标记．所以要少用．9.汉字输入法常常在使用时变的不管用，可以关掉文件，重新打开．10.有些菜单命令是很常用的．比如保存命令（因为常常carse嘛)但是却不能一下点中就起作用．所以若是有下拉菜单时，界面上的图标要用于最常用的命令，用右小角的小三角去打开下拉菜单就好．11.设置页面边白，选中以后，点确定便crase.解决方法，什么也不要再点，点入文件区就好．因为不用点确定就已经生效了．12.多个文件切换用转到菜单好不方便．也像word那个形成排开几个文件头呀．当然这个设计把已经打开的曾经打开的都放在那里了．13.设置字体文章焦点菜单上设是可以的。
Informatica配置与开发警告邮件解决方法
Informatica 警告邮件解决方案（通过查询后台表监控 Session 运行情况）作者：赵飞云一、项目背景 (2)A.项目背景 (2)二、Session 监控 (3)A.通常做法 (3)B.项目做法 (4)C.查询后台表 (5)D.查询出错任务 (6)E.判断是否有出错任务 (7)F.发送邮件 (8)G.邮件内容 (9)三、Apache Ant (10)A.工具介绍 (10)B.环境配置 (10)C.环境配置 (11)D.主文件 (12)E.主文件 (13)一、项目背景A. 项目背景本次项目是一个很小的BI 项目，数据源包括几个Oracle 数据库，数据仓库也建在Oracle 中，然后抽取到Essbase 11.1.1.3 ，然后提供给OBIEE 10 做报表展现。
本次项目的ETL 工具是Informatica 8.6.1 ，涉及到的数据源表和数据仓库表也不多，加起来也不过是一百多张表而已。
ETL 的顺序是：数据源表–> 落地表–> EDW 表–> DM 表–> Essbase 。
二、Session 监控A. 通常做法项目在开发测试阶段，每个Workflow 对应一个Session ，通过Monitor 监控运行结果。
实际上线时，会在一个Workflow 中串联或并联多个Session ，而且一般管理员很少去Monitor 查看每天的运行情况。
这就需要另外加上监控的功能。
如下图，通常的做法，是利用每个Session 配置中的Components 属性页来实现事后失败（或成功）时做某项操作，比如发送邮件，或者执行某个命令行（来发邮件或做其他动作）。
我嫌这样做太麻烦，需要更改每一个Session ，改动太多，而且下次单个调试时还麻烦。
另外，如下图，按照Informatica 的官方文档，要使用Email 控件也有一大堆的麻烦，尤其如果要配置MAPI 的话，需要安装Microsoft Office Outlook ，还涉及到License 等问题。
Informatica学习以及遇到的问题总结-陈朋
深航Informatica学习总结修改记录框架：一、总体概述ETL 包括 Extract 、 Transform 、 Cleaning 和 Load ，它是用于从生产库中提取数据到数据仓库中，再由具体的报表、统计、分析工具对数据仓库的内容进行分析，分析出自己所需要的数据。
其中 ETL 培训的内容是如何利用 Informatic PowerCenter 把源数据库的内容提取存放到目标数据库中，四部分 Client ， Reposity Server ， Reposity Database 和 Informatic Server 每个部分实现自己的功能。
二、系统体系结构此部分介绍了 Informatic ETL 工具包括的主要内容。
1.ClientInformatic Client 主要有五个部分。
Client 可以和 Reposity 分离，通过 TCP/IP 连接，连接到远程的 Reposity Server 。
2. Reposity Manager主要用于进行一个 Reposity 库的管理，当用户使用 Client 工具登录一个 Reposity 服务器之后，进行文件夹权限的创建，用户权限、密码的管理等。
3. Designer主要是进行数据抽取的转换工具的设计，主要是 mapping 的设计、设计源数据库的结构，目标数据库的结构，然后设计把源数据导入到目标数据库中，所需要进行的转换操作（ Transformation ）。
同一个 Reposity 的 folder 之间可以建立 shortcut 方式，多个 reposity 的 folder 之间只能做拷贝。
4. Workflow Manager主要用于流程任务（ workflow Task ）的设计。
进行任务流程的设计、每一个 Tast 针对一个 Session ，一个 session 针对一个 mapping ，其中 workflow 中的 Folder 和 Designer 中的 folder 相对应的关系。
informatica面试常见问题
informatica面试常见问题
1. 请介绍一下Informatica的工作原理和主要功能。
2. 你在之前的项目中如何使用Informatica ETL工具？
3. 如何处理Informatica作业的错误和异常？
4. 如何进行Informatica数据质量检查和数据清洗？
5. 请列举一些常用的Informatica转换（transformation）和它们的作用。
6. 如何进行Informatica数据加载和抽取？
7. 你在之前的项目中遇到的最大的数据质量问题是什么，你是如何解决的？
8. 如何进行Informatica性能优化和调优？
9. 如何进行Informatica作业的监控和日志记录？
10. 请描述一下Informatica的工作流（workflow）和会话（session）的关系。
11. 如何在Informatica中处理事实表和维度表的加载？
12. 你在Informatica中使用过哪些源系统和目标系统？
13. 如何进行Informatica作业的自动化调度和自动重启？
14. 在使用Informatica过程中，你遇到过哪些具体的技术难题，你是如何解决的？
15. 你对Informatica未来的发展有何看法？
16. 你具备哪些Informatica相关的认证？
17. 请简要介绍一下你的Informatica项目经验和技术能力。
18. 你对数据仓库设计和数据模型有哪些了解？如何将其应用到Informatica中？
19. 请谈谈你在Informatica中的团队合作经验。
20. 你对Informatica的竞争对手有何了解，为什么选择使用Informatica？。
Informatica主数据管理解决方案精品课件(一)
Informatica主数据管理解决方案精品课件(一)Informatica主数据管理解决方案是一个全面的数据治理解决方案，可以帮助企业更好地管理其不同应用程序中的数据，并提高数据质量。
本课件将向您详细介绍Informatica主数据管理解决方案的基本组成部分，以及如何使用该解决方案来解决数字化转型的挑战。
第一部分：解决方案概述1.1 Informatica主数据管理解决方案的基本概念1.2 该解决方案如何帮助企业处理数据问题1.3 解决方案的主要好处第二部分：解决方案组成2.1 数据模型2.2 数据集成2.3 数据质量2.4 数据分析和报告2.5 安全和合规性第三部分：数据模型3.1 模型的构建3.2 属性定义和管理3.3 数据元素和数据域3.4 属性视图和观点3.5 数据管理第四部分：数据集成4.1 数据同步4.2 数据转换和规范化4.3 数据协调4.4 数据质量表现第五部分：数据质量5.1 数据质量度量和指标5.2 数据质量规则和验证5.3 数据质量监控和报告5.4 数据清理和修正第六部分：数据分析和报告6.1 数据仪表盘和报表6.2 数据可视化和探索6.3 高级数据分析6.4 数据敏感性和保护第七部分：安全和合规性7.1 数据访问和控制7.2 数据保护和加密7.3 合规性和审计7.4 政策管理和执行第八部分：解决方案实现8.1 解决方案建设8.2 项目规划和管理8.3 解决方案评估和验证8.4 解决方案部署和维护结论：通过这个课件，您可以了解Informatica主数据管理解决方案的主要组成部分、优势和应用场景。
这个解决方案可以帮助您改善您的数据管理，提高数据质量，优化数据利用，设立数据规则，并保证数据的安全性和合规性，最终实现企业的数字化转型。
六步法：Informatica数据质量控制方法
六步法：Informatica数据质量控制方法第一篇：六步法：Informatica 数据质量控制方法Informatica 数据质量控制方法一个战略性和系统性的方法能帮助企业正确研究企业的数据质量项目，业务部门与IT 部门的相关人员将各自具有明确角色和责任，配备正确的技术和工具，以应对数据质量控制的挑战。
Informatica 的六步法为帮助指导数据质量控制而设计，从初始的数据探查到持续监测以及持续进行的数据优化。
业务部门与IT 部门的数据使用者—业务分析师、数据管理员、IT 开发人员和管理员，能够在六个步骤的每一步中协同使用Informatica 数据质量解决方案；并在整个扩展型企业的所有数据领域和应用程序中嵌入数据质量控制。
步骤一：探查数据内容、结构和异常第一步是探查数据以发现和评估数据的内容、结构和异常。
通过探查，可以识别数据的优势和弱势，帮助企业确定项目计划。
一个关键目标就是明确指出数据错误和问题，例如将会给业务流程带来威胁的不一致和冗余。
步骤二：建立数据质量度量并明确目标Informatica的数据质量解决方案为业务人员和IT人员提供了一个共同的平台建立和完善度量标准，用户可以在数据质量记分卡中跟踪度量标准的达标情况，并通过电子邮件发送URL来与相关人员随时进行共享。
步骤三：设计和实施数据质量业务规则明确企业的数据质量规则，即，可重复使用的业务逻辑，管理如何清洗数据和解析用于支持目标应用字段和数据。
业务部门和IT部门通过使用基于角色的功能，一同设计、测试、完善和实施数据质量业务规则，以达成最好的结果。
步骤四：将数据质量规则构建到数据集成过程中Informatica Data Quality支持普遍深入的数据质量控制，使用户可以从扩展型企业中的任何位置跨任何数量的应用程序、在一个基于服务的架构中作为一项服务来执行业务规则。
数据质量服务由可集中管理、独立于应用程序并可重复使用的业务规则构成，可用来执行探查、清洗、标准化、名称与地址匹配以及监测。
Informatica常见问题解决方案
1.Repository server服务起来了,就是informatica server起不来了,在配置的时候,是informatica server的ip解析不出来,怎么才能把那个地址和主机对应起来Windows C盘下直接搜索hosts文件，用文本编辑器打开，将服务器ip跟服务器名称写在里边即可，位置C:\Windows\System32\drivers\etc，IP在前名称在后，相见hosts文件使用2.启动informatica services时没有错误，但是过几分钟就停了Stop the Informatica Services Windows service.Go to the C:/WINNT/system32 directory.Rename the xerces-c_2_4_0.dll file to xerces-c_2_4_0.old.dll.Copy the xerces-c_2_4_0.dll file in the<INFA_HOME>/server/bin directory to the C:/WINNT/system32 directory.<INFA_HOME> is the Informatica installation directory.Re-start the Informatica Services Windows service.Try it again, please let me know the result.3.目标也可以是文件格式的，导出时需要注意路径。
4.服务启动时，Informatica Service启动时如果数据库服务没起，当启动数据库服务时，Informatica Service服务会自动停止。
需要先启动数据库。
5.索引问题双击Session注意Target load type 有索引使用Normal。
参加ISPA整体培训课程心得.02
参加ISPA整体培训课程心得.02第一篇：参加ISPA整体培训课程心得.02培训总结时间：2010-8-11一、培训流程1.三分钟演讲：所有参加培训者演讲并作出相应的点评。
2.演讲拆招：（1）演讲不为演讲，而是在执行训练五步的规划，即“我说你听，你讲我听，我教你做，你做我看，你做我不看。
”这是一个练口才，练思维，练文笔，练执行力的过程，透过演讲的累积，就可以实现从量变到质变。
（2）知识管理，学习完之后，准备演讲，演讲后进行资料归整，并由蒙总进行梳理整合系统化，最后再返回到参训者，从而进入团队知识升华良性循环。
3.上节课程复习，引入本节课程。
4.本次课程学习，学习中穿插即时提问，可以了解参训者的吸收程度，并相应调整。
5.讲完课后让每个参训者复述一遍内容，并作简单的拆招。
6.落实部署工作。
一是知识管理，二是本周内形成有效的执行方案，进行书面化表格化量化，下周开始可以按表操课做事。
二、学习内容。
1.实现人事管理向人力资源管理的转变：（1）传统的人事管理只关注人的工作，人力资源管理则既关注人的工作，更要关注工作的人。
实现人的价值的升值，未来趋势是知识将代替劳动资本，知识将有高附加值，竞争从古到今走的是军阀——财阀——智阀的变革之路。
（2）人力资源的管理的具体化是人才开发。
最重要的是让人的观念、知识转化为生产力，创造价值。
成功的观念透过正确的方式方法，建立成系统、机制、体系，并变成可操作的流程。
2.当前企业在人力资源方面存在的矛盾及解决提议。
（1）企业重视培训人才，却无法为人才的发挥提供平台。
很多公司也会派员工去参加培训，但却没有产生效果，很大部分的原因在于培训的后续跟进落实没有做到位，两个关键：一是没有合适的转化方法，二是没有得力的人执行。
总结四个字：得法用上。
针对此状况，培训不能止于结训，而应该派出专业的人才去帮助他们把培训的内容进行落实到位。
（2）企业渴求人才，却没有很好的人力资源生态环境和经营模式。
Informatica开发规范
神州数码（中国）有限公司Informatica项目开发规划冷鹏2006年9月1.引言以前看到过whyu小记写过Informatica的一个开发规范，觉得不错，也碰到外面一些项目组在参考他写的规范，非常好！我也碰到很多公司的项目组有非常不错的DW项目规范文档，只是很少有拿出来给大家参考共享的，觉得非常的遗憾！反观自己当时做JA V A、C、Web时，项目标准和规范都是成套的有下载。
所以在这里我呼吁大家可以将项目里敏感的内容去掉，将文档的骨头拿出来，让大家做项目吸取更多的经验，少走弯路，走更正规的路，毕竟大家都在这个圈子里混，都是做技术的，这个圈子如果长久都停留在这个水平，自己也不会走出圈子里这个水平。
我扒拉的这篇规范也算不上是什么规范，结合了whyu小记、Informatica里的一些内容希望在这里给大家抛砖引玉。
希望大家总结出DW项目的更多管理规范、更多产品的开发方法以提高你我。
2.命名约定在进行Informatica开发规划时，对引用PowerCenter内的组件、变量、参数等最好参考一个统一的命名规则，官方的样例也有一些命名规划，我认为可以分个级别如Mapping、Session、Task这样的分为一个级别，统一以1个小写字母加下划线为规范，转换组件可以也可以为分为一个级别，以3个小写字母加下划线为规范。
如果不用命名规范也没多大关系，因为这些内容各自都有对应的Folder进行管理，比较好辨认。
2.1.组件命名2.2.其它命名3.主题说明往往在一个数据仓库项目内ETL都占了很大的开发量，在一个ETL过程中会涉及到多个操作步骤，如从不同数据源中提取出到本地，通过网络发送数据到目标域，装入Staging Area，再转换到ODS Area，进入数据仓库，通过层层汇总，再刷进Cube，因此在ETL开发时分主题就有很多方法，可以按ETL操作步骤来分为Source→Staging Area→ODS→DW→View DM→OLAP SERVER，也可以按照各数据源中数据类型，也可从目标事实表出发以完成一个目标主题为主，或者多种方法综合使用来进行ETL主题划分。
Informatica学习笔记
Informatica学习笔记摘要：Informatica学习笔记1：UPDATE AS INSERTInformatica学习笔记2：客户端连接服务器的问题 Informatica学习笔记3：workflow的问题 Informatica学习笔记4：Folder权限的问题 Informatica学习笔记6：建立workflow的问题 Informatica学习笔记7：workflow执行报错Informatica学习笔记8：提示joiner输入字段没有排序 Informatica学习笔记9：import一系列mapping Informatica学习笔记10：复制数据库的问题Informatica学习笔记11：informatica services不能启动 Informatica学习笔记12：从mysql抽取数据的字符集问题 Informatica学习笔记13：没有Lincense导致的问题 Informatica学习笔记14：lookup中自定义sql有问题 Informatica学习笔记15：infopower如何实现增量抽取？ Informatica学习笔记16：informatica 8.1 安装问题Informatica学习笔记17：如何在PowerCenter中实现累加SUM Informatica学习笔记18：PC8.1运行出错 Informatica学习笔记19：多行记录合并问题――――――――――――――――――――――――――― Informatica学习笔记1：UPDATE AS INSERT问：要求实现每天抽取数据，而且是如果有改变才抽取更新，没有就不更新，因为源表中有最后修改时间的字段，我让它和SESSION上次运行时间比较来解决是否抽取，但问题是有的表中没有主键，我该怎么实现更新呢？有主键的我在WORKFLOW的MAPPING里面勾上了UPDATE ELSE INSERT 那没主键的用UPDATE AS INSERT 行么？还有UPDATE AS INSERT 什么意思啊，能解释的形象点么？答：UPDATE AS INSERT 就是语句一： update tab_name set c1= value1 ,c2 = value2 where c_prikey =value_pri语句二： insert into tab_name values(******)当在 tab_name的c_prikey找到有等于value_pri的，就执行语句一把所有对应的记录update。
Informatica完全快速学习手册.
1Informatica概述 (3)2安装Informatica8.6.1 (3)2.1服务端安装 (3)2.2客户端安装 (7)3配置管理服务器 (9)3.1创建知识库和集成服务 (9)3.2客户端到集成服务端的连接 (12)4PowerCenter Designer学习 (13)4.1概念和基本定义 (13)4.2Mapping设计和组件的使用 (15)4.2.1实例一：聚合抽取 (15)4.2.2实例二：取TOP前三条记录 (16)4.2.3实例三：抽取XML源 (19)4.3WorkFlow的设计和使用 (20)4.3.1创建Session (20)4.3.2设计WorkFlow (22)4.4Repository Manager (23)1 Informatica概述Informatica一直致力于为客户提供具有强大的元数据管理、数据集成和个性化分析递送功能的世界通行标准的统一数据服务平台。
Informatica的基础设施产品以可伸缩的、可扩展的企业级数据集成平台为特点，并广泛支持来自Informatica和其他的领先商务智能提供商的数据仓库基础设施和分析型应用软件的开发和管理，提供元数据管理解决方案，帮助企业集成、优化、审核信息资产以提高运营效率，增加客户收益，取得竞争优势。
详见文档：2 安装Informatica8.6.1这里以Informatica8.6.1为例：2.1 服务端安装找到安装目录pc861_win32_x86.zip\Server\Windows\Disk1\InstData\VM下点击安装选择安装语言，这里以中文版为例点击下一步，并选择安装PowerCenter8.6.1必须选择事先准备好的安装密匙选择安装路径HTTPS配置，配置管理控制台与配置管理器的安全通信（如果没有使用该端口就采用默认）配置好Informatica域并进行下一步，取掉为特定用户启动Informatica Services，点击完成安装2.2 客户端安装选择安装设置安装路径安装完成后可以看到包含的所有工具3 配置管理服务器3.1 创建知识库和集成服务接下来我们主要是配置知识库管理服务器，PowerCenter数据整合引擎是基于元数据驱动的，提供了基于元数据驱动的元数据知识库（Repository），知识库是PowerCenter的核心。
Informatica完全快速学习手册要点
Informatica完全快速学习手册要点Informatica是业界著名的数据集成工具，用于企业数据的整合和转换。
它能够抽取、转换和加载不同的数据源，并将其转化为目标数据格式的工具。
在企业信息化的时代，一个优秀的数据集成工具显得尤为重要。
本手册将介绍Informatica的学习要点，为初学者提供指导和支持。
模块介绍Informatica是包含多个模块的数据整合软件，下面将逐一介绍它们的作用。
PowerCenterPowerCenter是 Informatica平台中最重要的模块，具有抽取、转换和加载数据的能力。
它支持多种数据源类型，并可进行高效的数据加工处理。
在数据仓库、数据整合、数据转换和处理等方面的应用非常广泛。
PowerExchangePowerExchange是Informatica平台所提供的高性能数据集成工具，它能够将非结构化数据、主机数据等转换成PowerCenter所需要的结构化数据，以便产生更好的分析数据。
Metadata ManagerMetadata Manager模块允许Informatica的应用程序自动化地收集和存储关于企业中各种数据源，映射关系和操作规则等数据的元数据信息，以支持综合数据管理。
Business GlossaryBusiness Glossary 模块是一个数据字典，旨在帮助用户进行数据分类，有效管理数据，并促进不同部门间的信息共享。
这个工具也有利于标准化数据定义和术语。
Data QualityData Quality模块是一个全面的、可扩展的数据质量管理工具，支持数据清洗，规则制定等功能。
通过该工具，我们可以提高数据质量管理的能力。
Test Data ManagementTest Data Management主要用于生成测试数据，它允许测试人员利用特定的数据源类型来绕过一个或多个测试平台上的限制。
此外，该模块还可以帮助测试人员更好地模拟实际环境下的数据。
informatica面试总结
informatica面试总结一面：1、exector 分为几种内存？原理都是什么2、堆外内存不会被gc回收的，都是用来作什么的3、flatmap和mapPartition的区别？4、partition分为hashpartition和rangepartition？各自的实现原理5、sqoop怎么实现增量导入的？6、场景模拟：sql实现行转列和列转行？spark core怎么实现？7、group by的数据倾斜问题怎么解决？8、会问到hashmap 的相关问题9、找出两个数组中和为K的元素，两个for循环嵌套实现？时间复杂度为多少更优化的方案？map 实现？空间复杂度多少？10、二叉树实现左右子节点的交换，代码落地！11、还有项目中的相关的问题，注重的解决问题的思路和方法！12、当然算法也问到了，实现思路说一下就行了，逻辑回归，决策树等13、sql就是考察的开窗和相关的优化，尤其是shuffle要尽量少，stage 尽量优化为一个！二面：1、map、reduce的个数是有什么决定的？2、A 表：userid session，B表：userid order求userid count(session)，count(order),尽量优化3、NameNode 和Secondary NameNode 的区别和作用4、数仓建设流程5、union 和union all的区别6、数据倾斜的解决方案，多种，他会质疑你的方法或者私立，问你有没有更好的思路7、星型模型和雪花模型的区别8、业务实现：抠细节！很具体，很注重思路！（具体的情况实现，会不会出现的问题，比如数据量比较大的情况下会出现的问题，解决方案等）9、HDFS写数据的时候，是怎么写的？如果中途也在读数据会产生什么样的情况10、在hive表中临时加字段，重新跑一边数据就可以吗？怎么处理比较完善并且不用修改表？11、细节问题问的也不少，主要是能抗住他对你的一些思路的质疑和更加完善的想三面：（部门领导）基本上没怎么问具体的技术问题，会问思想和思路上的问题：1、处理问题的解决思路，会不会想到需要整合代码或者封装？2、平时自己的学习方法和方式3、一般业务需求来了之后，团队怎么分工，你在业务处理的过程中是都做的什么？4、在分层的时候，都需要注意那些点？比较重要的（脱敏、权限控制、业务线的整合等）5、平时都是通过什么方式提升自己的技术水平和思想6、你以后准备的发展方向都是什么样的7、还聊了好多自己对技术的看法和方向什么的，题目比较开放四面：（技术，实时情况问的多一些）1、离线的问题上面的其实都差不多，会让你写数据处理的过程2、mysql的更新数据是怎么导入到hive表中的？3、缓慢变化维是什么？怎么具体实现？4、实时的业务流程（数据走向？）具体你都做了什么，抠得很细，还注重思路的优化5、spark streaming 连接kafka的时候用的什么连接？为什么这么用？6、spark streaming 连接kafka的直连模式offset维护在哪里，这样有什么好处7、直连模式下，我想要重新消费三天之前的数据，这时候该怎么做？8、checkpoint怎么设置的？设置在哪里？会统一管理嘛？9、场景模拟题：一个实时流的数据message 就这一个字段，字段中包含了tag信息数据类似于：message #台风#风很大，降雨较多。
Informatica数据质量解决方案
I n f o r m a t i c a数据质量解决方案Company Document number：WTUT-WT88Y-W8BBGB-BWYTT-19998Informatica数据质量解决方案Informatica 平台为所有相关人员、项目和应用程序提供普遍深入的数据质量解决方案。
因此，在任何时候您的公司都可以信任 Informatica 平台提供的数据。
普遍深入的数据质量控制推动业务和数据质量的改善普遍深入的数据质量控制：解除可信数据，实现更好的业务成果Informatica Data Quality 解决方案为所有相关人员、项目和应用程序提供普遍深入的数据质量控制。
因此，在任何时候企业都可以信任该解决方案提供的数据。
通过普遍深入的数据质量控制，企业数据成为可信数据，确保关键战略方案取得成功，包括：•：通过构建受可信数据支持的解决方案，实现仓库和分析承诺。
•：构建没有质量问题的最完整和最全面的客户与产品视图。
•：采取战略治理方法，发现所有数据质量问题，并确保整个组织的所有相关人士在数据的生命周期中共同治理数据。
基于，Informatica Data Quality 解决方案支持业务经理、数据管理员和业务分析师协作处理企业数据质量。
通过提升业务部门的独立性和 IT 部门的工作效率，数据质量的改善可以成为整个企业广泛关注的焦点，极大地减少企业对紧缺 IT 资源的依赖，同时实现更好的业务成果。
利用 Informatica Data Quality 解决方案，全球企业可以构建更好的数据质量解决方案，从而提高收入，降低成本和管理风险。
全球 500 强公司通过以下方式解锁企业内部的可信数据：•为所有应用程序主动监控和清洗数据，保持数据清洁•使业务人员能够分担数据质量和数据治理的职责•借助可信的企业数据实现更好的业务成果。
Informatica风险和合规性管理解决方案
Informatica风险和合规性管理解决方案遵守行业和政府规定，提高透明度，并更好地管理企业风险Informatica 风险和合规性管理解决方案可采用更具成本效益的方式保留数据，实施数据保留和数据处置政策，确保数据隐私以免遭到监管部门的罚款和处罚,从而使银行和资本市场公司能够遵守行业和政府规定。
Informatica 风险和合规性管理解决方案提供对全面、准确、统一、经得起审计的数据，从而提高透明度。
这些解决方案还改善在整个企业内衡量、监控和管理信用、市场、运营和流动性风险的方式。
针对风险管理和合规性的数据治理针对风险管理和合规性的Informatica 数据治理解决方案使您的公司能够利用可信、可操作和可靠的信息，维护风险数据仓库和风险应用程序. 该解决方案能够发现和修复数据质量问题。
它生成数据沿袭报告以满足审计要求。
该解决方案还将数据存档,以遵守行业法规。
优点将风险降至最低提高透明度确保合规性交易对手和法人实体主数据管理Informatica 交易对手和法人实体主数据管理解决方案可帮助您的机构评估和管理交易对手风险，提供所有法人实体数据（交易对手、客户、产品和客户数据）的单一视图. 借助这一解决方案，贵公司可以在各个业务领域创建MDM 中心。
优点快速响应不良事件准确量化风险优化资本储备以便遵守法规数据虚拟化用于风险和合规性管理针对风险和合规性管理的Informatica 数据虚拟化解决方案使您的机构能够改善信用风险管理及合规性报告。
借助这一解决方案,您的IT 组织可以实时集成多个异构数据源的数据。
无需实际转移或整合数据,即可通过虚拟视图，迅速向业务应用程序交付数据。
您的IT 团队可以依赖丰富的预建数据转换方法和本地数据质量规则，加快向企业交付数据。
优点加快数据交付改善合规性报告将风险降至最低实时风险管理Informatica 实时风险管理解决方案可提供更多支持信用、市场和运营风险管理的实时数据. 该解决方案帮助风险管理专业人士检测、监控和快速响应可能增加风险敞口的内部和外部事件和活动。
informatica题
informatica题
这篇文章将介绍关于Informatica的一些常见问题和答案，以及一些基本概念和技术。
Informatica是一种企业级数据集成软件，可以帮助组织将数据从不同来源整合在一起，然后转换为目标格式，以满足业务需求。
在这篇文章中，我们将讨论一些关于Informatica的问题，例如：
1. 什么是Informatica？
2. Informatica有哪些组件？
3. 什么是ETL？
4. Informatica如何实现ELT？
5. 什么是数据仓库？
6. 什么是星型模型？
7. 什么是维度和事实表？
8. Informatica如何处理增量加载？
9. Informatica如何处理错误？
10. 什么是数据清洗？
11. 什么是数据映射？
12. 什么是数据转换？
13. 什么是数据加载？
14. 什么是工作流？
15. 什么是任务？
我们将探讨这些问题并提供一些答案和概念。
无论您是初学者还
是有一定经验的Informatica开发人员，这篇文章都将为您提供一些帮助和指导。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
深航Informatica学习总结修改记录编写2016/3/9框架：一、总体概述ETL 包括 Extract 、 Transform 、 Cleaning 和 Load ，它是用于从生产库中提取数据到数据仓库中，再由具体的报表、统计、分析工具对数据仓库的内容进行分析，分析出自己所需要的数据。
其中 ETL 培训的内容是如何利用 Informatic PowerCenter 把源数据库的内容提取存放到目标数据库中，四部分 Client ， Reposity Server ， Reposity Database 和 Informatic Server 每个部分实现自己的功能。
二、系统体系结构此部分介绍了 Informatic ETL 工具包括的主要内容。
1.ClientInformatic Client 主要有五个部分。
Client 可以和 Reposity 分离，通过 TCP/IP 连接，连接到远程的 Reposity Server 。
2. Reposity Manager主要用于进行一个 Reposity 库的管理，当用户使用 Client 工具登录一个 Reposity 服务器之后，进行文件夹权限的创建，用户权限、密码的管理等。
3. Designer主要是进行数据抽取的转换工具的设计，主要是 mapping 的设计、设计源数据库的结构，目标数据库的结构，然后设计把源数据导入到目标数据库中，所需要进行的转换操作（ Transformation ）。
同一个 Reposity 的 folder 之间可以建立 shortcut 方式，多个 reposity 的 folder 之间只能做拷贝。
4. Workflow Manager主要用于流程任务（ workflow Task ）的设计。
进行任务流程的设计、每一个 Tast 针对一个 Session ，一个 session 针对一个 mapping ，其中 workflow 中的 Folder 和 Designer 中的 folder 相对应的关系。
一版来说，用户都是建立自己的 Folder 。
5. Workflow Monitor主要进行流程运行、及任务运行时的流程运行情况跟踪。
可以跟踪日志。
包括 Session 日志和 Workflow 日志，可以设置生成日志的循环个数。
分析 session 运行是对源数据库的数据抽出信息和对目标数据库的更新信息。
6. Reposity Server Application Console主要进行 Reposity 的管理，包括 Reposity Server 的 start ， shutdown 操作。
进行 Reposity 库的 backup 、 restore 等操作，进行 Reposity 库级别的管理，级别较高。
7. Reposity ServerReposity server 是为客户端服务的，客户端可以和各种 client 不在一台服务器上。
关于数据抽取的设计成果转换成为 XML 格式的源数据，都是通过 Reposity Server 存放到 Reposity Database Server 上的。
8. Reposity Database Server用于存放的是进行 ETL 设计的元数据。
可以支持各类的数据库。
方式为数据库中用户的一个表目录和用户关系即可。
Reposity Database 可以和 Reposity server 不安装在一台服务器。
如果在一台机器上， server 通过 native 方式连接到 database ，如果不在一台及其上，需要在 database 上安装一个 reposity agent ，用户通过 agent ，以 native 方式连接到 reposity 数据库，然后 reposity agent 再以 tcp/ip 方式连接到 reposity server 。
rmatic ServerInformatic server 是实际执行数据抽取任务的运行环境。
即 workflows 、 task 、 sessions 等。
它是根据定义的 workflow 元数据库，然后在自己的实际环境中，执行数据抽取操作。
三、系统组件功能Informatic 的功能主要体现在 Designer 和 Workflow Manager 上，其中 Designer 实现的是对数据抽取的数据转换方式设计，以及效率设计目标等。
而在 Workflow Manager 中再把具体的数据转换方式应用到一个具体的工作任务中，包括目标库、源库的选择，以及一条具体的执行任务的属性设置等等。
包括任务的 insert 、 truncate 、 delete 、 increment insert 等。
1.Designer 组件（ 1 ）工作区在 Designer 中，涉及到的工作区主要包括有 Source Analyzer 、 Warehouse Designer 、 Transformation Designer 、 Mapplet Designer 和Mapping Designer 。
其中每个工作区的功能分别介绍：Source Analyzer ：Source Analyzer 的功能是实现对源数据库表的设计，可以手工的进行源数据库的设计，一般都是通过从 Flat File 或者 Relation DBMS 中导入数据库的表结构。
XLS 文件结构。
Warehouse Designer用于设计目标数据库库的结构，可以利用手工设计，也可以利用 import 工具导入导一个 warehouse 的结构。
Transformation Designer用户设计可重用的 transformation 组件，这里的组件，在一个 folder 里面都是可以重用的，而且以 shortcut 的方式使用。
Transformation 组件的修改，会直接反映到使用此 transformation 的 mapping 中。
Mpplet设计可以重用的多个组件，只要有 output 组件，可以有 input 组件，也可以没有 input 组件，实现的功能就和一个 expression 的功能类似，实现功能。
Mapping Designer实现的功能是设计具体进行抽取数据的 mapping ，这些 mapping 应用到一个 workflow 中，形成了 workflow 的一个 session （ task ）。
（ 2 ）组件功能ETL 支持的组件主要包括两类： Active 组件和 Passive 组件，其中 Active 组件是对输入记录集在输出时个数有变化的组件， Passive 组件，输入的记录集，输出时记录集的个数不发生改变。
Informatic 提供的组件包括：(1) Source Qualifier: reads data from flat file & relational sources(2) Expression: performs row-level calculations(3) Filter: drops rows conditionally(4) Sorter: sorts data(5) Aggregator: performs aggregate calculations(6) Joiner: joins heterogeneous sources(7) Lookup: looks up values and passes them to other objects(8) Update Strategy: tags rows for insert, update, delete, reject(9) Router: splits rows conditionally(10) Sequence Generator: generates unique ID values(11) Normalizer:izes records from relational or VSAM sources(12) Rank: filters the top or bottom range of records(13) Union : merges data from multiple pipelines into one pipeline(14) Transaction Control: allows user-defined commits(15) Stored Procedure: calls a database stored procedure(16) External Procedure : calls compiled code for each row(17) Custom: calls compiled code for multiple rows(18) Midstream XML Parser: reads XML from database table or message queue(19) Midstream XML Generator: writes XML to database table or message queue每一类组件都有自己独特的功能和特点，每一种组件的详细功能这里不详细介绍。
2.Workflow 组件Workflow 是对执行任务的执行进行控制，可以在执行时对执行的任务进行传参数进行传入，这样就能在执行的时候把数据库表进行动态的设置。
可以在执行的时候选择参数文件，对 mapping 、 workflow 中的 Session 的参数进行传入。
达到动态执行的目的。
Workflow 中定义 workflow 、 session 等任务，对这些任务的执行进行管理控制。
四、补充说明Source Qualifier 支持同构数据源的连接，衣钩数据源的连接通过 N-1 个 jointer 组件实现。
Lookup 为 passive 组件，查出的多条记录集，要么取 first ，或者 last ，或者报错。
Lookup 可以时动态 / 静态，可以 connected/unconnect 。
1.i nfa开发准备1.安装客户端2.准备工作创建表：建表语句create table SOURCE_EMPLOYEES(EMPLOYEE_ID NUMBER(6),EMPLOYEE_NAME VARCHAR2(50),EMPLOYEE_ADDRESS VARCHAR2(50),EMPLOYEE_CITY VARCHAR2(15),CREATE_DATE DATE);目标表create table TARGET_EMPLOYEES_XX(EMPLOYEE_ID NUMBER(6),EMPLOYEE_NAME VARCHAR2(50),EMPLOYEE_ADDRESS VARCHAR2(50),EMPLOYEE_CITY VARCHAR2(15),CREATE_DATE DATE);3.配置域域名Domain_infa9网关主机10.10.20.141网关端口60052.Repository创建文件夹1连接数据库目的：连接存储库2创建文件夹点击工具栏的Folder – Create,输入需要创建的文件夹名称点击确定完成创建如果文件夹没有显示，断开重新连接一下看看3.Designer中创建映射1.切换到d esigner窗口目的：切换到映射设计界面操作：点击D图标即可Designer 界面被打开，默认打开的是新建的XXX文件夹。