Sqoop是一个用来将Hadoop和关系型数据库中嘚数据相互转移的工具可以将一个关系型数据库(例如: MySQL ,Oracle ,Postgres等)中的数据导进到Hadoop的HDFS中,也可以将HDFS的数据导进到关系型数据库中
在网上查,有的说是超时
最后还是没有找到问题的原因最终换了一台mysql机器。导入成功
在我的实际工作中数据来源一方面是关系型数据库MS SqlServer, 别一方面是HBase。本节主要介绍通过RODBC访问MS SqlServer 安装配置参见资料(),请注意:下载的msodbc 的版本与 unixODBC的版本之间有强制的对应关系参见:(),本文选择安装的是
此页面包含有关设置和使用ODBC宽带連接网线怎么连接器配置单元的详细信息此页面包含了以下主题:
该MAPR蜂房的ODBC宽带连接网线怎么连接器是一个ODBC驱动程序的Apache蜂巢0.7.0及更高版本,与符合ODBC 3.52规范使用ODBC驱动程序,配置一个数据源名称(DSN)的定义它指定如何宽带连接网线怎么连接到配置单元。的DSN通常是由操作系统进荇管理并且可以由多个应用程序。有些应用程序不使用的DSN您将需要参考您的特定应用程序的文档来了解如何宽带连接网线怎么连接使鼡ODBC。
标准查询语言数据库是SQLHiveQL,标准查询语言蜂房包括ANSI SQL-92的子集。宽带连接网线怎么连接使用ODBC HIVE应用程序可能需要修改查询如果查询使用嘚SQL功能,是不存在的蜂房使用SQL应用程序会识别HiveQL,但可能无法提供进入HiveQL特定的功能如多表插入。
请参阅长达最新信息HiveQL
在SQL宽带连接网线怎么连接器功能转换标准的SQL-92查询转换为等效的HiveQL查询。在SQL宽带连接网线怎么连接器进行语法翻译和结构转型例如:
`
)而SQL使用双引号(“
)即使在驱动程序报告后面引号作为引号字符,一些应用程序仍然会产生双引号的标识符
有宽带连接网线怎么连接器的32位和64位应用程序的版本。64位版本的宽带连接网线怎么连接器仅适用于64位的DSN32位宽带连接网线怎么连接器仅适用于32位的DSN。由于64位Windows机器上可以同时运行64位和32位应用程序以建立的DSN与这两种类型的应用程序一起使用安装寬带连接网线怎么连接器的两个版本。如果两个32位宽带连接网线怎么连接器和64位宽带连接网线怎么连接器的安装您必须配置的DSN为各自独竝,在各自的数据源管理员
默认
宽带连接网线怎么连接到默认配置单元数据库,或者输入特定的数据库名称
请从DSN的ODBC数据源管理器窗口,然后单击配置以显示设置对话框从设置对话框,单击高级选项...以显示高级选项对话框。
cacerts.pem
文件。默认设置使用与安装驱动程序的可信CA证书的PEM文件
SQLExecute
当使用原生查询模式下,驅动程序将执行HiveQL查询来检索结果集元数据运行SQLPrepare
作为结果,运行SQLPrepare
可能会很慢如果调用后不需要结果集元数据启用此选项运行SQLPrepare
。
字符串
列的长度使用蜂房不提供长度字符串
在其列元数据列。此选项允许您调整长度的字符串
列
输入设置-V
在蜂房CLI命令行或直線,以显示你的实现支持的Hadoop和Hive服务器端属性的列表
某些客户端应用程序如画面,提供用于宽带连接网线怎么连接到数据源使用一个驱动程序而不一个DSN一些支持。宽带连接网线怎么连接使鼡ODBC数据源应用程序发送的数据源中定义相应的身份验证凭据的工作与蜂巢服务器2应用程序是蜂巢服务器1察觉,但不能蜂巢服务器2认识和寬带连接网线怎么连接使用一个DSN-less宽带连接网线怎么连接不会有一个设备发送身份验证凭据HIVE服务器2
您可以与身份验证凭据使用驱动程序配置工具配置ODBC驱动程序。
在数据源定义凭据优先认证
配置为使用驱动程序配置工具使用驱动程序配置工具适用于所有的宽带连接网线怎么連接配置的凭据使用DSN-less宽带连接网线怎么连接,除非客户端应用程序是蜂巢服务器2认识和要求凭据的用户进行
该MAPR ODBC驱动程序仅支持用户名用户名和密码,鉯及用户名和密码(SSL)的认证机制
该宽带连接网线怎么连接器目前使用的查询执行,以确定运行SQLPrepare的结果集的元数据这样做的缺点是,運行SQLPrepare是缓慢的因为查询执行趋于缓慢。您可以配置宽带连接网线怎么连接器以加快运行SQLPrepare如果你不需要的结果集的元数据要更改运行SQLPrepare的荇为,创建一个字符串值NOPSQLPrepare根据您的DSN如果该值被设置为非零值时,运行SQLPrepare将不使用查询执行导出结果集的元数据如果该注册表项没有定义,默认值是0
HiveQL不支持CONVERT函数它使用CAST函数来执行类型转换。例如:
空值
,而不是一个错误如果它未能轉换数据。例如CAST(“STRING”为INT)
返回null。
使用CAST
与布尔
值:
TRUE
转换为数值1
FALSE
转换为数字值0
0
转换为布尔值FALSE
任何其他数字转换为TRUE
FALSE
;其他任何字符串转换为TRUE
该HiveQL STRING
类型存储文本字符串,并对应于SQL_LONGVARCHAR
数据类型该CAST
操作成功将字符串转换为数字,如果字符串只包含数字字符否则转换失败。
你可以调整用于列长度字符串
列要更改报告的默认长度字符串
列,添加注册表项DefaultStringColumnLength
根据您的DSN并指定一个值。如果该注册表项没有定义为1024个字符的预设长度被使用。
该宽带连接网线怎么连接器采用勤俭节约宽带连接网线怎么连接到蜂巢服务器蜂巢返回HiveQL查询的结果集作为换行符分隔行的字段都是用制表符分隔。蜂房目前并没有逃脱在该领域的任何制表符请务必在逃跑的蜂房數据的任何选项卡或换行字符,indlucing平台特定的换行符的字符序列如换行符(LF),用于在UNIX / Linux / Mac OS X上的/ etc回车/换行(CR / LF
从数据色带,使用从OTH并选择从数據宽带连接网线怎么连接向导或从Microsoft Query前者需要一个预先定义的DSN而后者支撑动态创建一个DSN。您可以通过OLE DB使用的ODBC驱动程序的ODBC驱动程序的桥梁 |
7.0,仅32位作品只有ODBC驱动程序的卷。 |
在此之前7.0.n版本你需要安装一个贸发局最大化驱动程序的能力。 |