linux 安装和升级指南，适⽤download-mirror1.talend.com/tosbd/user-guide...talend open...

Talend Open Studio for BigData 安装和升级指南，适⽤于： Linux

7.3.1Last updated: 2020-02-19

⽬录

开放版权.........................................................................................................................3

Talend Open Studio for Big Data：先决条件........................................................... 5关于此安装指南...................................................................................................................................................................5准备您的安装........................................................................................................................................................................5硬件要求.................................................................................................................................................................................5软件要求.................................................................................................................................................................................7安装 XULRunner 包.........................................................................................................................................................12设置 JAVA_HOME.............................................................................................................................................................. 12

⼿动安装 Talend Open Studio for Big Data............................................................14安装和配置 Talend Studio............................................................................................................................................14

升级 Talend 产品........................................................................................................22备份环境.............................................................................................................................................................................. 22升级 Talend Studio 中的 Talend ⼯程.....................................................................................................................22

附录...............................................................................................................................23受⽀持的第三⽅系统/数据库/业务应⽤程序版本................................................................................................ 23

开放版权

开放版权针对 7.3.1 进⾏了调整。取代之前的版本。

本⽂档的内容在发布时正确⽆误。

但是，您可以查看 Talend Help Center 上在线版本，了解最新更新。

本⽂档根据知识共享公共许可证 (CCPL) 的条款提供。

有关您根据 CCPL 可以将本⽂档⽤于哪些⽤途以及不能⽤于哪些⽤途的更多信息，请阅读：http://creativecommons.org/licenses/by-nc-sa/2.0/。

须知

Talend 是 Talend, Inc. 的商标。

所有品牌、产品名称、公司名称、商标和服务标记均为其各⾃所有者的财产。

许可协议

本⽂档中描述的软件是根据 Apache 许可证 2.0 版 (“许可证”) 授予许可的；除⾮符合许可证要求，否则您不得使⽤此软件。您必须在 http://www.apache.org/licenses/LICENSE-2.0.html 获取许可证的副本。除⾮适⽤法律要求或书⾯同意，否则根据许可证分发的软件须按“原样”提供，且不附带任何明⽰或暗⽰的担保或条件。有关许可证下具体的权限和限制规定，请参阅许可证。

本产品包括在 AOP Alliance (Java/J2EE AOP 标准) 开发的软件、ASM、Amazon、AntlR、ApacheActiveMQ、Apache Ant、Apache Avro、Apache Axiom、Apache Axis、Apache Axis 2、ApacheBatik、Apache CXF、Apache Cassandra、Apache Chemistry、Apache Common Http Client、ApacheCommon Http Core、Apache Commons、Apache Commons Bcel、Apache Commons JxPath、ApacheCommons Lang、Apache Datafu、Apache Derby 数据库引擎和嵌⼊式 JDBC 驱动程序、ApacheGeronimo、Apache HCatalog、Apache Hadoop、Apache Hbase、Apache Hive、ApacheHttpClient、Apache HttpComponents Client、Apache JAMES、Apache Log4j、Apache LuceneCore、Apache Neethi、Apache Oozie、Apache POI、Apache Parquet、Apache Pig、ApachePiggyBank、Apache ServiceMix、Apache Sqoop、Apache Thrift、Apache Tomcat、ApacheVelocity、Apache WSS4J、Apache WebServices Common Utilities、Apache Xml-RPC、ApacheZookeeper、Box Java SDK (V2)、CSV Tools、Cloudera HTrace、ConcurrentLinkedHashMapfor Java、Couchbase Client、DataNucleus、DataStax Java Driver for Apache Cassandra、Ehcache、Ezmorph、Ganymed SSH-2 for Java、Google APIs Client Library for Java、GoogleGson、Groovy、Guava: ⽤于 Java 的 Google 核⼼库、H2 嵌⼊式数据库和 JDBC 驱动程序、Hector：⽤于 Apache Cassandra 的⾼层次 Java 客⼾端、Hibernate BeanValidationAPI、Hibernate Validator、HighScale Lib、HsqlDB、Ini4j、JClouds、JDO-API、JLine、JSON、JSR 305：Java 中的软件缺陷检测注释、JUnit、Jackson Java JSON-processor、Java API forRESTful Services、Java Agent for Memory Measurements、Jaxb、Jaxen、JetS3T、Jettison、Jetty、Joda-Time、Json Simple、LZ4：极快压缩算法、LightCouch、MetaStuff、Metrics API、MetricsReporter Config、Microsoft Azure SDK for Java、Mondrian、MongoDB Java Driver、Netty、⽤于 LZF 编码的 Ning Compression 编码解码器、OpenSAML、Paraccel JDBC Driver、Parboiled、PostgreSQL JDBC Driver、Protocol Buffers - Google 的数据交换格式、Resty：⽤于 Java 的简单 HTTP REST 客⼾端、Riak Client、SDSU Java Library、SL4J：Simple Logging Facade forJava、SQLite JDBC Driver、Scala Lang、Simple API for CSS、Snappy for Java - 快速压缩器/解压缩器、SpyMemCached、SshJ、StAX API、StAXON - JSON via StAX、Super SCV、The Castor

3

https://help.talend.com

http://creativecommons.org/licenses/by-nc-sa/2.0/

http://creativecommons.org/licenses/by-nc-sa/2.0/

http://www.apache.org/licenses/LICENSE-2.0.html

开放版权

Project、The Legion of the Bouncy Castle、Twitter4J、Uuid、W3C、Windows Azure Storage librariesfor Java、Woden、Woodstox：⾼性能 XML 处理器、Xalan-J、Xerces2、XmlBeans、XmlSchemaCore、Xmlsec - Apache Santuario、⽤于 Java 的 YAML 解析器和发射器、Zip4J、atinject、dropbox-sdk-java：⽤于 Dropbox 核⼼ API 的 Java 库、google-guice。这些产品根据其各⾃的许可证获得许可。

4

Talend Open Studio for Big Data：先决条件


关于此安装指南

本指南说明如何安装和配置您的 Talend 产品。您可以通过使⽤ Talend Installer，⼿动安装 Talend模块，或使⽤ Red Hat Package Manager (RPM) 来安装您的产品。在开始之前，我们建议您阅读“准备您的安装”部分，并确认您满⾜安装的软硬件要求。

注: Talend 如果是出于 Talend 产品正常运⾏的需要，⽀持将调查与第三⽅组件和数据库相关的问题，但是 Talend 不能代表第三⽅组件或数据库提供补丁。

准备您的安装软件包

本⻚列出安装 Talend 产品所需下载的软件包。

对于下表中软件包⽂件名：

• YYYYMMDD_HHmm 对应于软件包时间戳。• A.B.C. 对应于软件包版本 (主版本号.次版本号.修订版本号.)。

注: 软件模块在客⼾端和服务器端必须是相同的版本。下载软件包时，请确保时间戳和版本号相同。

软件包的⼿动安装

⽂件名描述

Talend-Studio-YYYYMMDD_HHmm-VA.B.C.zip Studio IDE (GUI)

要下载它，请转到此⻚

社区和⽀持

有多种⽅法可以为您的 Talend 安装获取帮助和⽀持：

• 官⽅ Talend ⽂档。您可以在其中找到帮助您安装和使⽤ Talend 产品所需的⼀切信息。• Talend 社区。您可以在这⾥向社区提问并获得答案。

硬件要求安装 Talend 产品之前，请确保正在使⽤的计算机满⾜ Talend 建议的以下硬件要求。

内存和磁盘使⽤量严重依赖于您的 Talend ⼯程的⼤⼩和性质。但总⽽⾔之，如果您的作业包括许多转换组件，则应基于以下建议考虑升级分配给服务器的总内存量。

5

http://www.talend.com/download/talend-open-studio?qt-product_tos_download_new=0?utm_medium=help&utm_source=help_content

https://help.talend.com/

https://community.talend.com/


内存使⽤量

产品客⼾端/服务器内存要求

(最⼩值-建议值)

Talend Studio 客⼾端 3GB ‒ 4GB

注: 根据模块上正在运⾏的已执⾏进程数量，您可能需要增加可⽤内存。如果您在同⼀主机上安装了多个产品，Talend 建议使⽤具有 8 个逻辑处理器的 i7 CPU。

磁盘空间需求

产品客⼾端或服务器安装所需磁盘空间使⽤所需磁盘空间

Talend Studio 客⼾端 3GB 建议 3GB 以上

1 例如，5 百万个记录 = 在磁盘上需要 10 GB 空间。Talend 建议您按照所需⼤⼩的两倍，以避免在事务处理⾼峰期间出现问题。

2 这些需求未将 MongoDB 元数据⼤⼩考虑在内。

3 ⽤于⼀项任务计数为 50,000 个的活动的建议值，其中每项任务具有 50 项属性。

Unix 系统上的 ulimit 设置

为了提⾼ Talend 服务器模块和 Unix 系统的性能，您可以按照⽤⼾或组的需要配置系统资源(ulimit)。这些设置在 /etc/security/limits ⽂件中定义。

ulimit 语法

ulimit <限制类型> <项⽬> <值>

有两种 ulimit 类型：硬和软。

• 软限制是有效资源限制。⽤⼾最⾼可将软限制增加到硬限制的值。• 硬限制是最⼤资源限制。此值由超级⽤⼾设置，不能超过。

注: 如果您未指定限制类型，默认情况下使⽤硬限制类型。

下列 ulimit 设置对 Talend 部署⾮常重要。

项⽬描述标志值

fsize 最⼤⽂件⼤⼩ -f KB

nofile 打开的⽂件最⼤数量 -n

stack 最⼤堆栈⼤⼩ -s KB

cpu 最⼤ CPU 时间 -t 分钟

6


项⽬描述标志值

nproc 最⼤进程/线程数量 -u

注: 您可以使⽤下⾯的命令列出所有可⽤的 ulimit 设置：ulimit -a

⽰例

ulimit -H -n 2000

此命令可设置每个进程 2000 个打开的⽂件的硬限制。

如需了解关于 ulimit 设置的完整详细信息，请参阅 ulimit 的 SS64 参考指南。

软件要求

兼容的操作系统

本⻚详细列出 Talend 产品的建议和受⽀持操作系统。

在下⾯的⽂档中：

• 建议：指定由 Talend 根据我们的经验和客⼾使⽤情况建议的环境。• ⽀持：指定⽀持⽤于所列组件或服务的环境。• 带限制的⽀持：指定受 Talend ⽀持但具有说明中交待的某些条件的环境。

Talend Studio

表 1: Talend Studio 的兼容操作系统

操作系统系列 (64 位) 操作系统版本⽀持类型

Ubuntu 18.04 LTS 建议

8 ⽀持Red Hat Enterprise LinuxServer

7 ⽀持

8 ⽀持

Linux

CentOS

7 ⽀持

Windows 10 建议

2019 ⽀持

2016 (RTM) ⽀持

Microsoft

Windows Server

2012 ⽀持

7

https://ss64.com/bash/ulimit.html


操作系统系列 (64 位) 操作系统版本⽀持类型

Catalina 10.15 ⽀持

Mojave 10.14 ⽀持

Mac Apple MacOS

High Sierra 10.13 ⽀持

兼容的 Java 环境

下表提供了有关您应下载和安装以使⽤ Talend 产品的建议 Java 环境的信息。

“编译器合规性级别”对应于⽤于作业代码⽣成的 Java 版本。此选项可在 Studio ⾸选项中更改有关更多信息，请参阅《Talend Studio ⽤⼾指南》。

注: 所有 Talend 产品及相关的第三⽅应⽤程序，例如 Hadoop 集群，都应使⽤相同的 Java 版本以确保合规性。在您安装或升级任何相关的第三⽅应⽤程序之前，Talend 建议您检查它们⽀持的Java 版本。



Studio Java 环境

表 2: Talend Studio 的兼容 Java 环境

Java Platform Java 版本 1、2、3 ⽀持类型

11 建议Open JDK

8 ⽀持

11 建议Oracle

8 ⽀持

1 在运⾏ Oracle 8 时，Studio 应符合 JDK Compiler Compliance Level 1.8 (默认) 的要求。如果安装的 JDK 版本低于 1.8.0_161，您还

需要安装附加资源 Java Cryptography Extension (JCE) Unlimited Strength Jurisdiction Policy Files。这也适⽤于独⽴作业的执⾏。

2 在运⾏ Oracle 11 时，Studio 应符合 JDK Compiler Compliance Level 11 (默认) 的要求。

3 Open JDK 的建议发⾏版为 Zulu。

适⽤于 Talend ESB 的兼容 Apache 软件和 JMS 代理

下表提供了有关适⽤于 Talend ESB 的兼容 Apache 软件和 JMS 代理的信息。

8

https://www.oracle.com/technetwork/java/javase/downloads/jce-all-download-5170447.html

https://www.azul.com/downloads/zulu/


受⽀持的 Apache 软件

软件更多信息

Apache Karaf 4.2.7 1 版本说明

Apache CXF 3.3.4 1 版本说明

Apache Camel 2.24.2 2 版本说明

Apache ActiveMQ 5.15.10 1 版本说明

1 服务版本升级。

2 次要版本升级。

⽀持的 SOAP/JMS 消息传递代理

软件更多信息

Apache ActiveMQ 5.15.10 版本说明

IBM WebSphere MQ 9.1



兼容的 Web 应⽤程序服务器

下表提供了有关 Talend 服务器模块的建议和受⽀持 Web 应⽤程序服务器的信息。



兼容的容器

下表提供了有关 Talend 服务器模块的建议和受⽀持容器的信息。



9

https://issues.apache.org/jira/secure/ReleaseNote.jspa?projectId=12311140&version=12342748

https://cxf.apache.org/cxf-326-release-notes.html

https://issues.apache.org/jira/secure/ReleaseNote.jspa?version=12343107&projectId=12311211

http://activemq.apache.org/activemq-5155-release.html

http://activemq.apache.org/activemq-5155-release.html


Talend ESB

运⾏时容器版本⽀持类型

Talend Runtime (Apache Karaf) 7.3 2 建议

9.0.30 1 建议Apache Tomcat

9.0.30 3 ⽀持

1 Talend Identity Management 的推荐版本。

2 不建议⽤于 Talend Identity Management。

3 仅针对 CXF Services、Camel Routes、Service Activity Monitoring、Talend Identity Management 和 Security Token Service。

兼容的 Web 浏览器

下表提供了有关建议和受⽀持 Web 浏览器的信息，您应该使⽤它们以充分利⽤ Talend 产品。

⽀持的最⼩屏幕分辨率为 1366 x 768 (像素)。浏览器和系统设置，例如⽐例、缩放和窗⼝⼤⼩等，都会影响浏览器的兼容性。



Web 浏览器⽀持类型

Mozilla Firefox ESR 68 建议

Mozilla Firefox 直⾄最新可⽤浏览器版本⽀持

Microsoft Internet Explorer 11 或更新版本⽀持

Microsoft Edge 直⾄最新可⽤浏览器版本⽀持

Apple Safari 12 或更新版本⽀持

Google Chrome 直⾄最新可⽤浏览器版本⽀持

注: Talend 建议您确保正在运⾏最新版本的浏览器。除⾮列出特定版本，否则 Talend ⽀持以上所列浏览器的最新版本。

兼容的数据库

下表提供了有关可⽤于 Talend 服务器模块的建议和受⽀持数据库的信息。


• 建议：指定由 Talend 根据我们的经验和客⼾使⽤情况建议的环境。

10


• ⽀持：指定⽀持⽤于所列组件或服务的环境。• 带限制的⽀持：指定受 Talend ⽀持但具有说明中交待的某些条件的环境。

兼容的消息传递系统

下表提供了有关可⽤于 Talend 服务器模块的建议消息传递系统的信息。



兼容的构件库

下表提供了有关可⽤于 Talend 服务器模块的受⽀持构件库的信息。



构件库版本⽀持类型

SaaS 建议JFrog Artifactory

6.12 1 建议

Sonatype Nexus 3.15 到 3.18 ⽀持

1 发布时为最新 — 2019 年 9 ⽉ 23 ⽇。

兼容的执⾏服务器

使⽤下列表格，确保执⾏服务器版本与 Talend Administration Center、Talend CommandLine 和Talend Studio 版本兼容。

注: 本部分包含的信息在发布之⽇有效，但⽇后可能有变。

作业服务器 (Talend JobServer 和 Talend Runtime 中的作业服务器)

Talend Administration Center、Talend CommandLine 和Talend Studio 版本

兼容的 Talend JobServer 版本

7.3.x 6.4.x、6.5.x、7.0.x、7.1.x、7.2.x 和 7.3.x

11


警告:

当 Talend Administration Center 中激活了 SSL 和令牌⾝份验证时，只能使⽤⽀持 SSL/令牌⾝份验证的作业服务器。Talend Administration Center 不能监视不⽀持加密通信的旧作业服务器。

更多信息，请参阅配置 SSL 传输和⾝份验证。

安装 XULRunner 包在 Linux 上，XULRunner 包是运⾏ Studio 所必需的。建议的 XULRunner 包版本是 XULRunnerv1.9.2.28。

受⽀持的版本为 v1.8.x - 1.9.x 和 v3.6.x。

过程

1. 从此位置下载 XULRunner v1.9.2.28。2. 在您解压缩 Studio 存档的相同⽬录中解压缩该存档⽂件，但不要在 Studio ⽂件夹中解压。3. 在对应于您的 Linux 架构的 Studio .ini ⽂件末尾添加以下⾏：

-Dorg.eclipse.swt.browser.XULRunnerPath=</usr/lib/xulrunner>

其中 </usr/lib/xulrunner> 是 XULRunner 安装路径。

⽰例

例如，如果您在⽤⼾主⽬录 /home/<user>/Talend/ 下的某个⽬录中解压缩 Studio，则需要向 .ini ⽂件添加以下内容：-Dorg.eclipse.swt.browser.XULRunnerPath=/home/<user>/Talend/xulrunner/

设置 JAVA_HOME

为了让 Talend 产品使⽤您计算机上安装的 Java 环境，您必须设置 JAVA_HOME 环境变量。

过程

1. 找到安装 Java 的⽂件夹。例如：

• /usr/lib/jvm/java-x-oracle

• /usr/lib/jvm/zulu-8/bin

2. 打开⼀个终端。3. 使⽤导出命令设置 JAVA_HOME 和 Path 变量。

例如：

• export JAVA_HOME=/usr/lib/jvm/jre1.8.0_65export PATH=$JAVA_HOME/bin:$PATH

• export JAVA_HOME=/usr/lib/jvm/<zulu_jdk>export PATH=/$JAVA_HOME/bin:$PATH

12

http://ftp.mozilla.org/pub/mozilla.org/xulrunner/nightly/2012/03/2012-03-02-03-32-11-mozilla-1.9.2/


4. 在 /etc/profile ⽂件中的全局配置⽂件或 ~/.profile ⽂件中的⽤⼾配置⽂件末尾添加这些⾏。更改这其中⼀个⽂件后，您必须重新登录。

13

⼿动安装 Talend Open Studio for Big Data


安装和配置 Talend Studio

解压缩存档

过程

1. 从此⻚下载您的产品。2. 将其解压缩。

编辑内存和 JVM 设置

要改进运⾏时性能和启动 Talend Studio 时的性能，请按如下步骤执⾏操作：您可以编辑 .ini 中的内存设置。

过程

1. 编辑 TOS_BD-linux-gtk-x86_64.ini ⽂件。2. 编辑内存特性。例如：

-vmargs -Xms512m -Xmx1536m -XX:MaxMetaspaceSize=512m

提⽰: 对于⼤型⼯程，您可能需要将 Xmx 增加⾄ 4096m。

有关更多详细信息，请参阅 http://www.oracle.com/technetwork/java/hotspotfaq-138619.html。

启动 Talend Studio

过程

双击 TOS_BD-linux-gtk-x86_64 可执⾏⽂件以启动 Talend Studio。

还可以使⽤ TOS_BD-linux-gtk-x86.sh ⽂件从终端启动 Talend Studio。

如果需要，使⽤以下命令向其添加执⾏权限：

chmod +x TOS_BD-linux-gtk-x86.sh

安装外部模块

Talend Studio 需要安装特定的第三⽅ Java 库或数据库驱动程序才能连接到源和⽬标。

某些 Talend 组件或某些连接向导可能需要这些⼯具库或数据库驱动程序 (称为外部模块)，也可能两者都需要。由于许可证限制，Talend 可能⽆法在 Talend Studio 中随附其中的某些外部模块。您需要安装这些模块才能使 Studio 正常运⾏。

警告: 确保 Studio .ini ⽂件中不存在 -Dtalend.disable.internet 参数，或此参数被设为false。

14

https://www.talend.com/products/big-data/big-data-manuals-release-notes/?utm_source=help_content

http://www.oracle.com/technetwork/java/hotspotfaq-138619.html


何时安装外部模块

Talend Studio 会让您知道何时需要安装外部模块，以及您需要安装什么外部模块。

Talend Studio 会以多种⽅式通知您有关所需外部模块的情况。

• 如果需要安装任何其他软件包 (包括外部模块) 才能使 Studio 中的任何功能正常运⾏，则Additional Talend packages (其他 Talend 软件包) 向导会在您启动 Talend Studio 时打开。

提⽰: 当您从 Studio 菜单中选择 Help (帮助) > Install Additional Packages (安装其他软件包)时，Additional Talend packages (其他 Talend 软件包) 向导也会打开。

• 在您的设计⼯作区，如果某个组件需要安装外部模块后才能正常⼯作，组件上会显⽰⼀个红⾊错误指⽰符。将⿏标指针移到错误指⽰符上，您可以看到弹窗消息，其中显⽰了该组件需要哪些外部模块才能⼯作。

• 打开需要⼀个或多个外部模块的组件的 Basic settings (基本设置) 或 Advanced settings (⾼级设置) 视图时，您将看到⼀段关于外部模块的突出显⽰信息，后⾯跟着 Install (安装) 按钮。单击Install (安装) 按钮会打开⼀个向导，其中将显⽰要安装的外部模块。

• Modules (模块) 视图列出了 Studio 正常⼯作所需的所有模块，包括您必须安装的 Java 库和驱动程序。

如果您的设计⼯作区下未显⽰ Modules (模块) 视图，请转到 Window (窗⼝) > Show View...(显⽰视图...) > Talend，然后从列表中选择 Modules (模块)。

在此视图中：

项⽬描述

筛选器⽂本字段允许您根据状态、上下⽂、模块⽂件名称和 Maven URI来搜索外部模块。

状态指出该模块是否已在您的系统上安装。

图标指⽰该模块不是此列中列出的对应组件或元数据连接所严格必需的。

图标指⽰该模块是对应组件或元数据连接绝对必需的。

15


项⽬描述

上下⽂给出使⽤该模块的组件或元数据连接的名称。如果此列为空，则该模块是您的 Talend Studio 的⼀般⽤途所必需的。

模块给出该模块的确切名称。

Maven URI 唯⼀标识 Maven 中的模块部署。

您可以通过单击 Maven URI 字段，然后单击显⽰的 [...]按钮，来⾃定义模块的 Maven URI。有关更多信息，请参阅⾃定义外部模块部署的 Maven URI (详⻅第17⻚)。

刷新此视图以反映最新模块安装状态。

在多⽤⼾协同⼯作的情况下，⼀旦在⼀个⽤⼾的 Studio中安装某个必需模块，其他⽤⼾只需刷新其 Modules (模块) 视图即可将此模块添加到他们⾃⼰的 Talend Studio。

从本地⽂件导⼊⾃定义 Maven 设置。

将⾃定义 Maven 设置导出到本地⽂件。

允许将已经下载的外部模块安装到 Studio 中。有关详细信息，请参阅使⽤ Modules (模块) 视图⼿动安装外部模块 (详⻅第20⻚) 。

打开 Jar 下载和安装向导，其中将列出所有未集成到Talend Studio 中的选定外部模块。

• 以下情况会显⽰ Jar 安装向导：

• 从 Palette (调⾊板) 拖放⼀个组件，但该组件⼯作所需的⼀个或多个外部模块在 Studio 中缺失。

• 在 Studio 中的元数据连接设置向导中单击 Check (检查) 按钮，但该连接所需的⼀个或多个外部模块在 Studio 中缺失。

• 在某个组件的 Component (组件) 视图中单击 Guess schema (推测模式) 按钮，但该组件⼯作所需的⼀个或多个外部模块在 Studio 中缺失。

• 在缺少⼀个或多个必需外部模块的组件的 Basic settings (基本设置) 或 Advanced settings (⾼级设置) 视图的顶部单击 Install (安装)。

• 运⾏的作业涉及到缺少⼀个或多个必需外部模块的组件或元数据连接。• 选择⼀个或多个未在 Studio 中集成的模块，然后单击 Modules (模块) 视图中的按钮。

16


此向导：

• 列出要安装的外部模块和这些模块所依据的许可证• 提供标识这些模块部署的默认 Maven URI

• 提供可供您详细了解这些模块的官⽅⽹站• 允许您⾃动下载和安装 Talend 存储库中可⽤的所有模块• 允许您⼿动安装未在 Talend 中提供的模块。

当您拖放⼀个组件、建⽴⼀个连接或推测数据库的 schema 时，若所需外部模块的 Jar ⽂件及其下载 URL 信息在 Talend ⽹站上都不可⽤，则 Jar 安装向导不会出现，但 Error Log (错误⽇志) 视图会显⽰出错消息，通知您该模块的下载 URL 不可⽤。您可以尝试⾃⼰查找并下载它，然后⼿动将其安装到 Studio 中。

提⽰: Error Log (错误⽇志) 视图，请转到 Window (窗⼝) > Show views (显⽰视图)，然后展开General (常规) 节点并选择 Error Log (错误⽇志)。

⾃定义外部模块部署的 Maven URI

在 Talend Studio 中，为每个外部模块提供了⼀个默认的 URI 来标识其在 Maven 中的部署。需要时可以更改该 Maven URI。

例如，在将已安装的数据库驱动程序替换为新版本时，需要为其指定另⼀个 Maven URI。

注:

更改某个外部模块的 Maven URI 将会影响项⽬内使⽤该模块的所有组件和元数据连接。

当处理远程项⽬时，⾃定义 Maven URI 设置将会⾃动与 Talend Artifact Repository 同步，并将在处理同⼀项⽬的其他⽤⼾安装外部模块时使⽤。

过程

1. 在 Modules (模块) 视图中，单击您想要⾃定义的 Maven URI，然后单击显⽰的 [...] 按钮。将打开 Install Module (安装模块) 对话框。

17


2. 如果您需要安装其他版本的外部模块，请在 Module File (模块⽂件) 字段中指定模块⽂件的完整路径，或单击 [...] 按钮浏览您的本地⽂件系统。

3. 选择 Custom MVN URI (⾃定义 MVN URI) 复选框，并在该字段中输⼊新的 URI。

可以单击 Default MVN URI (默认 MVN URI) 字段旁边的按钮，以复制默认 Maven URI，然后将其粘贴在 Custom MVN URI (⾃定义 MVN URI) 字段中并修改它。

4. 单击 Detect the module install status (检测模块安装状态) 按钮，然后单击 OK (确定) 验证⾃定义URI 并关闭该对话框。

结果新的 Maven URI 随即⽣效，并显⽰在 Modules (模块) 视图中，您可以从中将所有 Maven URI 更改导出到⼀个本地 JSON ⽂件。

在 Studio 中安装外部模块

您可以使⽤ Talend Studio 提供的向导下载和⾃动安装⼤多数外部模块。

开始之前

确保您的 Talend Studio 具有安全 Internet 连接。

如果您在⽹络代理后⾯⼯作，请确保您已正确设置代理并将⽹站 http://talend-update.talend.com 和端⼝ 443 添加到⽩名单。要访问代理设置，从菜单选择 Window (窗⼝) >Preferences (⾸选项)，以打开 Preferences (⾸选项) 窗⼝，然后展开 General (常规) 节点并单击Network Connections (⽹络连接)。

18


过程

1. 执⾏以下步骤打开 Download external modules (下载外部模块) 对话框：

• 在 Additional Talend Packages (其他 Talend 软件包) 向导后，选中 Required third-partylibraries (必需的第三⽅库) 和/或 Optional third-party libraries (可选的第三⽅库) 复选框并单击 Finish (完成)。

• 在 Jar 安装向导中，单击 Download and Install (下载和安装) 按钮以安装特定模块，或单击Download and install all modules available (下载和安装所有可⽤模块) 按钮以安装所有可⽤模块。

19


2. 接受许可条款并开始下载和安装过程。

• 要下载和安装特定许可证下提供的外部模块，从 Licenses (许可证) 窗格中选择该许可证，查看许可条款，选中 I accept the terms of the license agreement (我接受许可协议中的条款) 选项，然后单击 Finish (完成)。

• 要下载和安装列出的所有许可证下提供的所有外部模块，请单击 Accept all (全部接受) 按钮。

结果

安装过程完成时，所选外部模块已安装到 Talend Studio 中，您可以使⽤依赖这些模块的 TalendStudio 功能了。

使⽤ Modules (模块) 视图⼿动安装外部模块

如果您已经下载外部模块，可以⼿动将它们安装到 Talend Studio 中。

开始之前

如果您打算将⽤于 Oracle 9i 的 JDBC 驱动程序安装到 Talend Studio 中，请⾸先将⽂件名从ojdbc14.jar 更改为 ojdbc14-9i.jar。

过程

1. 单击 Modules (模块) 视图右上⻆的按钮，或在 Jar 安装向导中浏览到您的本地⽂件系统。

20


2. 在⽂件系统的 Open (打开) 对话框中，浏览到您想要安装的模块，双击 .jar ⽂件，或选择它然后单击 Open (打开) 以将其安装到 Talend Studio 中。

结果

对话框将关闭，所选模块将安装在当前 Talend Studio 的库⽂件夹中。

为 Talend Web 应⽤程序⼿动安装外部模块

Talend Web 应⽤程序⼯作所需的某些模块在 Talend ⽹站上不可⽤，但是可以直接从外部⽹站下载。下载之后，必须将这些模块放在特定⽂件夹中。

过程

• 对于 Talend MDM Server，请将为 Oracle 和 MySQL 数据库下载的 JDBC 驱动程序放在以下⽂件夹中：<TomcatPath>/webapps/talendmdm/WEB-INF/lib

• 对于 Talend Administration Center，请将下载的模块放在以下⽂件夹中：<TomcatPath>/webapps/org.talend.administrator/WEB-INF/lib

禁⽤ Studio 的 Internet 访问

关于此任务

您可以通过编辑 Studio .ini ⽂件来禁⽤ Talend Studio 的 Internet 访问。

警告: 仅当您不需要访问 Internet 以下载或安装⾃定义组件、第三⽅库等内容时才这样做。

过程

1. 打开与您的操作系统对应的 Studio .ini ⽂件，并向其中添加以下⾏：

-Dtalend.disable.internet=true

2. 重新启动 Talend Studio。再次启动时，Studio 将不会显⽰：

• ⼯具栏上的 Exchange 链接• Preferences (⾸选项) 对话框中的 Talend > Exchange 节点• Additional Packages (更多包) 对话框中⽤于安装第三⽅库的选项• 欢迎屏幕中的 Talend News (Talend 新闻) 链接

21

升级 Talend 产品

升级 Talend 产品

备份环境在备份和迁移每个 Talend 解决⽅案的数据之前，需要确保已正确备份环境。

环境备份过程包括以下必需步骤：

注: 您需要按以下顺序完成这些步骤。

1. 保存本地⼯程

有关详情，请参阅《Talend 迁移指南》中的备份环境。

保存本地⼯程

过程

1. 启动 Studio。2. 单击图标并将您的本地⼯程导出到存档⽂件。

升级 Talend Studio 中的 Talend ⼯程导⼊本地⼯程

过程

1. 启动您刚安装的新 Talend Studio。2. 在登录窗⼝中，选择 Import (导⼊)，然后导⼊包含本地⼯程的存档⽂件。

结果

本地⼯程显⽰在 Project (⼯程) 列表中，并出现在 Talend Studio Repository (存储库) 视图上。

有关如何将本地⼯程导出到存档⽂件的更多信息，请参阅保存本地⼯程 (详⻅第22⻚) 。

22

https://help.talend.com/search/all?query=Backing+up+the+environment&content-lang=en-US

附录

附录

受⽀持的第三⽅系统/数据库/业务应⽤程序版本本⽂档提供有关 Talend Studio ⽀持的系统、数据库或业务应⽤程序版本的信息。

Talend 组件⽀持的系统、数据库和业务应⽤程序

对这些系统、数据库和业务应⽤程序的访问因您使⽤的 Studio ⽽异。

系统/数据库版本操作系统

2003 WindowsAccess 1

2007 Windows

Amazon Aurora MySQL v5 版 (5.6 和 5.7)

Amazon RDS for Microsoft SQL Server

Amazon Redshift 1.x

AS/400 V7R1 ⾄ V7R3

6.5.2

7.2.4

Bonita

7.9.0

Cassandra 3.0 ⾄ 3.4 Windows + Linux

5.x WindowsCouchBase

6.0 Windows

CouchDB 1.0.2 Windows

DB2 10.5

数据库通⽤ ODBC Windows

DynamoDB

5.6.xElasticsearch

6.4.x

EXASolution 6.0 及更早的版本 Windows

Excel

eXist-db 1.4.0

23

附录


FireBird 2.1 ⾄ 3.0 Windows + Linux

FTP

4.3.x Windows (仅客⼾端) +Linux

Greenplum

5.x Windows (仅客⼾端) +Linux

HSQLDb 1.8.0 ⾄ 2.4

10.5 Windows + LinuxIBM DB2 和 IBM DB2 Z/OS

11.1 Windows + Linux

Informix 11.50 Windows + Linux

10.2 Windows + LinuxIngres

11 Windows + Linux

Interbase

JavaDB 6 Windows + Linux

JDBC

JSON

0.8.2.0 Windows + Linux



1.1.0 Windows + Linux

Kafka 2

2.2.1 Windows + Linux

LDAP ⽆版本限制 Windows + Linux

MapRDB

MarkLogic V9

MaxDB 7.6

Microsoft Azure Blob Storage

Microsoft Azure SQL Data Warehouse

Dynamics AX 4.0Microsoft AX

Dynamics AX 2012

24

附录


2011

2015

Microsoft CRM

2016

2011

2016

Microsoft CRM Online

2018

Microsoft SQL Server 3 2014 ⾄最新版本 Windows + Linux

3.6.x Windows + Linux


MongoDB

4.2.x

MySQL 5.x Windows + Linux

MySQL 8.x Windows + Linux

MariaDB Windows + Linux

Amazon RDS Windows + Linux

MySQL

Google Cloud SQL Windows + Linux

MOM

1.x.x Linux

2.x.x / 2.2.x / 2.3 Linux

3.2.x Linux

Neo4j

3.5.x Linux



⽹络昵称


NetSuite 2018 Windows + Linux

2000

2003

2005

OleDb

2007

25

附录


2010

Oracle 12c Release 1 Windows + Linux

Oracle 12c Release 2 Windows + Linux

Oracle 18c Windows + Linux

Oracle

Oracle 19c Windows + Linux

Palo 开源版本 5

3.1ParAccel

3.5

v7.2 ⾄ v8.x Windows + Linux

v9.x / v10.x / v11.x Windows + Linux

Amazon RDS Windows + Linux

PostgreSQL

Google Cloud SQL Windows + Linux

v7.2 ⾄ v8.x Windows + LinuxPostgresPlus

v9.x Windows + Linux

Red Hat BRMS 6.1 Windows + Linux

REST 服务 Windows + Linux

Salesforce V46 及更早的版本 Windows + Linux

SAP 4.6

Netweaver：7.3 ⾄ 7.5 WindowsSAP Business Suite (ERP)

ERP6.0，从 EhP6 到 EhP8 Windows

SAP Business Warehouse (BW) Netweaver：7.3 ⾄ 7.5 Windows

SAP HANA 4 ⽆版本限制 Windows

9.1 Windows + LinuxSAS

9.2 Windows + Linux

SOAP 服务

SQLite 3.6.7 Windows + Linux

SugarCRM 5.2 Windows + Linux

Sybase 12.5 Windows + Linux

26

附录










SybaseIQ


Teradata 12 ⾄ 16 Windows + Linux

VectorWise 2 Windows + Linux

Vertica 9.0.x ⾄ 9.3.1 Windows + Linux

Vtiger 5.0VtigerCRM

Vtiger 5.1

1 使⽤ Java 8 时，仅⽀持常规排序模式。

2 Kerberos kinit 选项和 Kerberos keytab 选项均受⽀持。有关 Kafka 组件⽀持的安全选项的信息，请参阅 Talend Help Center。

3 通过 Microsoft SQL JDBC 驱动程序提供 Microsoft SQL Server ⽀持。更多信息，请参阅下载适⽤于 SQL Server 的 Microsoft JDBC 驱动

程序⻚⾯。

4 通过 SAP JDBC 驱动程序来⽀持。

Talend 消息传递组件⽀持的消息传递代理

受⽀持的消息传递代理/标准组件

tJMSInputJMS 标准 1.1

tJMSOutput

tMicrosoftMQInputMicrosoftMQ 3.0

tMicrosoftMQOutput

tMomInputJBoss Messaging 1.4.4

tMomOutput

27

https://help.talend.com/search/books?query=using+kafka+studio

https://docs.microsoft.com/en-us/sql/connect/jdbc/download-microsoft-jdbc-driver-for-sql-server?view=sql-server-2017

https://docs.microsoft.com/en-us/sql/connect/jdbc/download-microsoft-jdbc-driver-for-sql-server?view=sql-server-2017

附录

受⽀持的消息传递代理/标准组件

tMomInputWebSphere MQ 8.0

tMomOutput

tMomInputActiveMQ 5.13.2

tMomOutput

⽀持 Big Data 平台

⼀般情况下，Talend 对给定 Big Data (Hadoop) 发⾏版供应商的特定发布版本进⾏认证。这些通常是针对该供应商的建议使⽤版本。对于给定供应商的增量升级和服务包，Talend 依赖供应商的兼容性声明来确保 Talend 软件的正确运⾏和执⾏。在声明了兼容性的场合，Talend 还依据我们的⽀持 SLA来⽀持该版本。如果某个不兼容性问题应由 Hadoop 供应商验证，则 Talend 认为可能有必要进⾏重新测试和升级。

如果您想要使⽤的 Hadoop 发⾏版在您的 Talend Studio 中尚不⽀持，也许可以通过更新获得。您可以在Talend Help Center上搜索⽀持信息。

有关详细信息，请在 Talend Help Center 搜索对于添加最新 Hadoop 发⾏版的⽀持

有关所有受⽀持的第三⽅系统/数据库的版本的更多信息，请参阅Talend 组件⽀持的系统、数据库和业务应⽤程序 (详⻅第23⻚) 。

Talend 作业⽀持的 Big Data Platform 发⾏版

Hadoop 定期发⾏版

要查找常规 Hadoop 发⾏版与 Talend ⽀持的 Big Data 平台之间的兼容性，请单击下⾯的 Big Data 平台。

• HBase

• HCatalog

• HDFS

• Hive

• Sqoop

• Spark

• Azure Data Lake Storage Gen2

• Spark Streaming 作业中的 Kafka

受⽀持的旧版本 Big Data Platform 逐渐被其供应商停⽤。某个版本在达到其供应商设定的⽀持结束⽇期后，Talend 便会停⽌⽀持该版本。

Talend 及其社区为您提供了便捷功能，在 Talend 产品中持续使⽤其供应商已停⽌⽀持的版本。因此，该版本仍可列在以下表中并在产品中使⽤，但 Talend 会停⽌提供对此版本的⽀持。

Talend ⽀持下表中列出的发⾏版的次要版本。

28

https://help.talend.com/#/search/books?query=updating+support+for+the+most+recent+Hadoop+distributions

附录

表 3: ⽀持的带 HBase 的 Hadoop 发⾏版

Hadoop 发⾏版版本⽀持 Kerberos Kinit 和 Keytab

v2.5.0 是

v2.6.0 是

v2.6.0.3-8 是

HDP

v3.14.12-1 是

5.5 (YARN 模式) 是





5.12.1 (YARN 模式) 是

5.13.0 是

Cloudera

6.1.1 是

5.0.0 (YARN 模式) 是


MapR 1，2


1. 对于 v6.0 之前的所有 MapR 版本，MapR 安全票据机制受 Studio ⽀持。

2. 在 MapR v6.0 中，HBase ⽀持已取消以便⽀持 MapR-DB。有关更多信息，请参阅https://maprdocs.mapr.com/home/ReleaseNotes/

install_upgrade_notes.html。

表 4: ⽀持的带 HCatalog 的 Hadoop 发⾏版


v2.5.0 是

v2.6.0 是

v2.6.0.3-8 是

HDP

v3.14.12-1 是

5.5 (YARN 模式) 是Cloudera


29

https://maprdocs.mapr.com/home/ReleaseNotes/install_upgrade_notes.html


附录





5.12.1 (YARN 模式) 是

5.13.0 是

6.1.1 是





6.0.1 MEP 5.0 (YARN 模式) 是

MapR 1，2

6.1 / MEP 6.1 是




表 5: ⽀持的带 HDFS 的 Hadoop 发⾏版


v2.5.0 是

v2.6.0 是

v2.6.0.3-8 是

HDP

v3.14.12-1 是






Cloudera

5.12.1 (YARN 模式) 是

30



附录


5.13.0 是

6.1.1 是






MapR 1，2

6.1 / MEP 6.1 是




表 6: ⽀持的带 Hive 的 Hadoop 发⾏版


v2.5.0 是

v2.6.0 是

v2.6.0.3-8 是

HDP

v3.14.12-1 是






5.12.1 (YARN 模式) 是

5.13.0 是

Cloudera

6.1.1 是

5.0.0 (YARN 模式) 是MapR 1，2


31



附录





6.1 / MEP 6.1 是

注: Profiling 透视图不⽀持 Hive 发⾏版上的嵌⼊式连接模式。此模式主要由 Hadoop 开发⼈员⽤于测试⽬的。Studio 可能⽆法使⽤嵌⼊式模式正确运⾏。




表 7: ⽀持的带 Sqoop 的 Hadoop 发⾏版


v2.5.0 是

v2.6.0 是

v2.6.0.3-8 是

HDP

v3.1.4.12-1 是






5.12.1 (YARN 模式) 是

5.13.0 是

Cloudera

6.1.1 是




MapR 1，2


32



附录



6.1 / MEP 6.1 是




表 8: ⽀持的带 Spark 的 Hadoop 发⾏版

Hadoop 发⾏版版本使⽤ Spark Stand-alone

使⽤ Spark YARN ⽀持 Kerberos Kinit和 Keytab

v2.5.0 v1.6 (已弃⽤) 是 (仅 YARN)

v2.6.0 v1.6 (已弃⽤) / v2.1 是 (仅 YARN)

v2.6.0.3-8 v1.6 (已弃⽤) / v2.1 是 (仅 YARN)

HDP

v3.1.4.12-1 v2.3 是 (仅 YARN)

5.5 (YARN 模式) v1.5 (已弃⽤) v1.5 (已弃⽤) 是 (仅 YARN)



5.8 (YARN 模式) v1.6 (已弃⽤) v1.6 (已弃⽤) / v2.1 是 (仅 YARN)

5.10 (YARN 模式) v1.6 (已弃⽤) / 2.1 v1.6 (已弃⽤) / v2.1 是 (仅 YARN)

5.12.1 (YARN 模式) v2.2 v2.2 是 (仅 YARN)

5.13.0 v2.2 v2.2 是 (仅 YARN)

Cloudera

6.1.1 v2.4 v2.4 是 (仅 YARN)

5.0.0 (YARN 模式) v1.3 (已弃⽤) v1.3 (已弃⽤) 是 (仅 YARN)



6.0.0 (YARN 模式) v2.1 v2.1 是 (仅 YARN)

6.0.1 MEP 5.0 (YARN模式)

v2.2 v2.2 是 (仅 YARN)

MapR 1，2

6.1 / MEP 6.1 v2.3 v2.3 是 (仅 YARN)


33



附录



表 9: ⽀持的带 Azure Data Lake Gen2 (ADLS Gen2) 的 Hadoop 发⾏版

Hadoop 发⾏版版本使⽤ Spark Stand-alone

使⽤ Spark YARN ⽀持 Kerberos Kinit和 Keytab

HDP v3.1.4.12-1 v2.3 是 (仅 YARN)

Cloudera 6.1.1 v2.4 v2.4 是 (仅 YARN)

如果您需要有关带 ADLS Gen2 的 Talend ⽀持的 Big Data Cloud Platform 的信息，请参阅您安装指南中名为 Talend 作业⽀持的 Cloud Big Data Platform 发⾏版的以下部分。

表 10: ⽀持的带 Spark Streaming 作业中的 Kafka 的 Hadoop 发⾏版

Hadoop 发⾏版版本使⽤ SparkStand-alone

使⽤ Spark YARN ⽀持 KerberosKinit 和 Keytab

Kafka 版本

v2.5.0 v1.6 (已弃⽤) 是 (仅 YARN) v0.10

v2.6.0 v1.6 (已弃⽤) /v2.1

是 (仅 YARN) v0.10

v2.6.0.3-8 v1.6 (已弃⽤) /v2.1

是 (仅 YARN) v1.x

HDP

v3.1.4.12-1 v2.3 是 (仅 YARN) v2.x

5.5 (YARN 模式) v1.5 (已弃⽤) v1.5 (已弃⽤) 是 (仅 YARN) v0.10



5.8 (YARN 模式) v1.6 (已弃⽤) v1.6 (已弃⽤) /v2.1


5.10 (YARN 模式) v1.6 (已弃⽤) /2.1

v1.6 (已弃⽤) /v2.1


5.12.1 (YARN 模式)

v2.2 v2.2 是 (仅 YARN) v0.10

5.13.0 v2.2 v2.2 是 (仅 YARN) v0.10

Cloudera

6.1.1 v2.4 v2.4 是 (仅 YARN) v2.x

5.0.0 (YARN 模式) v1.3 (已弃⽤) v1.3 (已弃⽤) 是 (仅 YARN) v0.10


MapR 1，2


34



附录

Hadoop 发⾏版版本使⽤ SparkStand-alone

使⽤ Spark YARN ⽀持 KerberosKinit 和 Keytab

Kafka 版本

6.0.0 (YARN 模式) v2.1 v2.1 是 (仅 YARN) v0.10

6.0.1 MEP 5.0(YARN 模式)

v2.2 v2.2 是 (仅 YARN) v0.10

6.1 / MEP 6.1 v2.3 v2.3 是 (仅 YARN) v1.x

Talend 作业⽀持的 Cloud Big Data Platform 发⾏版

Cloud Hadoop 发⾏版

Talend ⽀持以下⽤于 Big Data 的云平台。单击您的云平台以查看 Big Data ⽀持信息。

• Amazon EMR

• Microsoft HD Insight

• Google Dataproc

• Databricks on AWS

• Databricks on Azure

• Cloudera on AWS

• Cloudera on Azure

• Quoble on AWS

受⽀持的旧版本 Big Data Platform 逐渐被其供应商停⽤。某个版本在达到其供应商设定的⽀持结束⽇期后，Talend 便会停⽌⽀持该版本。

Talend 及其社区为您提供了便捷功能，在 Talend 产品中持续使⽤其供应商已停⽌⽀持的版本。因此，该版本仍可列在以下表中并在产品中使⽤，但 Talend 会停⽌提供对此版本的⽀持。

Talend ⽀持下表中列出的平台版本的次要版本。

表 11: Amazon EMR

Amazon EMR 版本⽀持的框架 Spark Batch 中⽀持的Hadoop 元素

Spark Streaming 中⽀持的 Hadoop 元素

Standard 中⽀持的Hadoop 元素

v4.5.0 (Apache 2.7.2) Standard

Spark v1.6 (已弃⽤)

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

Sqoop


Spark v1.6 (已弃⽤)

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

Sqoop

35

附录

Amazon EMR 版本⽀持的框架 Spark Batch 中⽀持的Hadoop 元素

Spark Streaming 中⽀持的 Hadoop 元素

Standard 中⽀持的Hadoop 元素


Spark v2.0

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

Sqoop


Spark v2.1

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

Sqoop


Spark v2.2

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

Sqoop

v5.15.0 (Hadoop2.8.3) (Apache 2.7.2)

Standard

Spark v2.3

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

HBase

HDFS

HCatalog

Hive

Sqoop

tAmazonEMRManage 组件⽀持的 Amazon EMR 版本为 4.5.0、4.6.0、4.9.2、5.11.0 和 5.15.0。

表 12: Google Dataproc for Big Data

Google Dataproc 版本⽀持的框架 Spark Batch 中⽀持的元素

Spark Streaming 中⽀持的元素

Standard 中⽀持的元素

v1.1 Standard

Spark v2.0

Hive

BigQuery

Google 存储

Avro

分隔符

Parquet

位置

XML

JSON

Hive

BigQuery

Google 存储

Avro

分隔符

Parquet

位置

XML

JSON

Google PubSub

Hive

36

附录

Google Dataproc 版本⽀持的框架 Spark Batch 中⽀持的元素



v1.4 Standard

Spark v2.4

Hive

BigQuery

Google 存储

Avro

分隔符

Parquet

位置

XML

JSON

Hive

BigQuery

Google 存储

Avro

分隔符

Parquet

位置

XML

JSON

Google PubSub

Hive

表 13: Databricks on Azure for Big Data

Databricks on Azure版本

⽀持的框架 Spark Batch 中⽀持的元素



3.5 LTS Standard

Spark v2.2

Hive

Azure Blob Storage

ADLS Gen1

Hive

Azure Blob Storage

ADLS Gen1

DBFS

5.5 LTS Standard

Spark v2.4

Hive

Azure Blob Storage

ADLS Gen1

ADLS Gen2

Snowflake

DeltaLake

MongoDB

作为技术预览的 TDM组件

tDataprepRun

Hive

Azure Blob Storage

ADLS Gen1

ADLS Gen2

Snowflake

DeltaLake

MongoDB


tDataprepRun

DBFS

表 14: Databricks on AWS for Big Data

Databricks on AWS 版本




3.5 LTS Standard

Spark v2.2

Hive

S3

DynamoDB

Hive

S3

DynamoDB

Kinesis

DBFS

37

附录

Databricks on AWS 版本




5.5 LTS Standard

Spark v2.4

Hive

S3

DynamoDB

Snowflake

MongoDB


tDataprepRun

Hive

S3

DynamoDB

Kinesis

Snowflake

MongoDB


tDataprepRun

DBFS

表 15: Qubole on AWS for Big Data

Qubole 版本⽀持的框架 Spark Batch 中⽀持的元素



Qubole Spark 2 Standard

Spark v2.2

Redshift

S3

DynamoDB

Redshift

S3

DynamoDB

Kinesis

S3

Hive

表 16: Cloudera Altus on Azure for Big Data

Cloudera 版本⽀持的框架 Spark Batch 中⽀持的元素



CDH5.11 Spark v2.1 ADLS Gen1

Azure Blob Storage

HDFS

ADLS Gen1

Azure Blob Storage

HDFS

表 17: Cloudera Altus on AWS for Big Data

Cloudera 版本⽀持的框架 Spark Batch 中⽀持的元素



CDH5.11 Spark v2.1 S3

Redshift

DynamoDB

S3

Kinesis

Redshift

DynamoDB

表 18: Microsoft HD Insight for Big Data

Microsoft HD Insight版本




3.4 Spark v1.6 (已弃⽤) Hive Hive

38

附录

Microsoft HD Insight版本




3.6 Spark v2.1 Hive Hive

Talend 作业⽀持的 Cloudera Navigator 版本

对 Cloudera Navigator 的⽀持对您正在 Studio 中创建的 Spark 作业可⽤，意味着您⼀定是在使⽤基于订阅的 Talend Big Data 解决⽅案。

Cloudera Navigator 使⽤ Cloudera SDK 库提供功能，并且必须与此 SDK 库的版本兼容。根据Cloudera 发⾏版安装的 Cloudera Manager 确定 Cloudera Navigator 的版本，并且根据 Navigator 的版本⾃动使⽤兼容的 SDK。

但是，并⾮所有 Cloudera Navigator 版本都有其兼容的 SDK 版本。有关 Cloudera SDK 版本及其兼容的 Navigator 版本的更多详细信息，请参阅 Cloudera ⽂档了解 Cloudera Navigator SDK 版本兼容性。


• ⽀持：Talend 经历了完整的 QA 验证过程。• 兼容：Talend 没有经历完整的 QA 验证过程，但是该功能应该能作为 Cloudera 向后兼容性的⼀

部分在 Cloudera V5.X 分⽀上⼯作。

Studio 版本 Cloudera Navigator 版本相关 Cloudera 版本⽀持类型

6.1.1 6.1.1 ⽀持

2.4 5.5 ⾄ 5.8 ⽀持

2.12.0 5.11 ⾄ 5.14 ⽀持

2.5 ⾄ 2.7 5.5 ⾄ 5.8 兼容

2.9.3 ⾄ 2.9.x 5.11 ⾄ 5.14 兼容

2.10.3 ⾄ 2.10.x 5.11 ⾄ 5.14 兼容

2.11.2 ⾄ 2.11.x 5.11 ⾄ 5.14 兼容

7.3

2.12.1 ⾄ 2.12.x 5.11 ⾄ 5.14 兼容

数据剖析⽀持的数据库

下表列出了 Talend Studio 的 Profiling 透视图中⽀持的数据库。有关受⽀持的第三⽅系统的完整列表，请参阅Talend 组件⽀持的系统、数据库和业务应⽤程序 (详⻅第23⻚) 。

数据库名称数据库版本

Amazon Aurora Amazon RDS for Aurora

Amazon Redshift Amazon Redshift 的初始版本

39

https://github.com/cloudera/navigator-sdk

https://github.com/cloudera/navigator-sdk/blob/master/VERSION.md

https://github.com/cloudera/navigator-sdk/blob/master/VERSION.md

附录


V7R1 ⾄ V7R3AS/400

V6R1 ⾄ V7R2

Hive 请参阅，数据剖析⽀持的 Hive 发⾏版 (详⻅第42⻚) 。

11.1IBM DB2 和 IBM DB2 Z/OS 1

10.5

CDH5.1 及更⾼版本

MapR 6.1.0 (YARN 模式)




Impala (Cloudera 的⼦模块)


Informix 11.50

Ingres 10.2

Amazon RDS for SQL Server

Azure SQL Database

2017

2016

Microsoft SQL Server

2014

Amazon RDS for MySQL

Amazon RDS for MariaDB

Azure Database for MySQL

MySQL 8.0

MySQL 5.1/5.5/5.6

MySQL

MariaDB

7.2⽹络昵称

6

Amazon RDS for Oracle使⽤ SID 的 Oracle

Oracle 19c

40

附录


Oracle 18c

Oracle 12c Release 1

Amazon RDS for Oracle

Oracle 19c

Oracle 18c

使⽤服务名称的 Oracle

Oracle 12c Release 1

Amazon RDS for PostgreSQL

Azure Database for PostgreSQL

12.1

10

9.1+

PostgreSQL

8.3

SQLite 3.6.7

16.0

15.7

15.2

12.7

Sybase (ASE 和 IQ)QLite

12.5

16

15

14

13

Teradata

12

Vertica 9.x

1 不⽀持⼆进制⼤对象 (BLOB)。

41

附录

数据剖析⽀持的 Hive 发⾏版

下表显⽰了⼤数据发⾏版与 HiveServer 的兼容性。

注: 此 Hive 嵌⼊式模式供 Hadoop 开发⼈员⽤于测试⽬的。在嵌⼊式模式下，Studio 可能⽆法正常运⾏。

⼤数据发⾏版 HiveServer 1 HiveServer2

HDP 1.0.0 (不推荐使⽤) 嵌⼊式和独⽴

HDP 1.2 嵌⼊式和独⽴嵌⼊式和独⽴

HDP 1.3 嵌⼊式和独⽴嵌⼊式和独⽴

HDP 2.0 嵌⼊式 (仅 Linux) 和独⽴嵌⼊式 (仅 Linux) 和独⽴



HDP 2.3.2 独⽴

HDP 2.4.0 独⽴

HDP 2.5.0 独⽴

HortonWorks

HDP 2.6.0 独⽴

CDH4 嵌⼊式和独⽴嵌⼊式和独⽴

CDH5 嵌⼊式和独⽴嵌⼊式和独⽴

CDH5.1 MR1 独⽴

CDH5.4 YARN 独⽴

Cloudera 1

CDH5.5 (及更⾼版本) YARN 独⽴

MapR 1.2 (不推荐使⽤) 独⽴

MapR 2.0 嵌⼊式和独⽴

MapR 2.1.2 嵌⼊式和独⽴

MapR 3.0.1 嵌⼊式和独⽴嵌⼊式和独⽴

MapR 3.1.0 嵌⼊式和独⽴嵌⼊式和独⽴

MapR 4.0.1 YARN 嵌⼊式和独⽴嵌⼊式和独⽴

MapR

MapR 5.0 (及更⾼版本)YARN

独⽴

Apache Apache 1.0.0 (Hive 0.9.0) 嵌⼊式和独⽴

42

附录

⼤数据发⾏版 HiveServer 1 HiveServer2

Apache 0.20.23 (Hive 0.7.1) 独⽴

Pivotal HD 1.0.1 独⽴Pivotal HD

Pivotal HD 2.0 (不推荐使⽤) 嵌⼊式 (仅 Linux) 和独⽴嵌⼊式 (仅 Linux) 和独⽴(仅 Linux)

1 ⽀持 Kerberos ⾝份验证。

43

linux 安装和升级指南 ，适⽤download-mirror1.talend.com/tosbd/user-guide...talend open...

Documents

linux 安装和升级指南，适⽤download-mirror1.talend.com/tosbd/user-guide...talend open...