如何宽带连接网线怎么连接不同的Hadoop版本到ODBC上

Sqoop是一个用来将Hadoop和关系型数据库中嘚数据相互转移的工具可以将一个关系型数据库(例如: MySQL ,Oracle ,Postgres等)中的数据导进到HadoopHDFS中,也可以将HDFS的数据导进到关系型数据库中

在网上查,有的说是超时

最后还是没有找到问题的原因最终换了一台mysql机器。导入成功

   在我的实际工作中数据来源一方面是关系型数据库MS SqlServer, 别一方面是HBase。本节主要介绍通过RODBC访问MS SqlServer 安装配置参见资料(),请注意:下载的msodbc 的版本与 unixODBC的版本之间有强制的对应关系参见:(),本文选择安装的是


  • unixODBC提供了Linux对ODBC的支持但它只是一个ODBC的管理器,要宽带连接网线怎么连接实际的数据库还需要提供这种数據库的ODBC驱动



  • odbcinst.ini 表示本机已经安装了哪些类型的驱动正确安装后内容如下

  • 安装完成后,在R命令行下执行如下脚本结果如下则OK

此页面包含有关设置和使用ODBC宽带連接网线怎么连接器配置单元的详细信息此页面包含了以下主题:

该MAPR蜂房的ODBC宽带连接网线怎么连接器是一个ODBC驱动程序的Apache蜂巢0.7.0及更高版本,与符合ODBC 3.52规范使用ODBC驱动程序,配置一个数据源名称(DSN)的定义它指定如何宽带连接网线怎么连接到配置单元。的DSN通常是由操作系统进荇管理并且可以由多个应用程序。有些应用程序不使用的DSN您将需要参考您的特定应用程序的文档来了解如何宽带连接网线怎么连接使鼡ODBC。

标准查询语言数据库是SQLHiveQL,标准查询语言蜂房包括ANSI SQL-92的子集。宽带连接网线怎么连接使用ODBC HIVE应用程序可能需要修改查询如果查询使用嘚SQL功能,是不存在的蜂房使用SQL应用程序会识别HiveQL,但可能无法提供进入HiveQL特定的功能如多表插入。

请参阅长达最新信息HiveQL

在SQL宽带连接网线怎么连接器功能转换标准的SQL-92查询转换为等效的HiveQL查询。在SQL宽带连接网线怎么连接器进行语法翻译和结构转型例如:

  • 带引号的标识符:当引鼡标识符,HiveQL使用反引号(`)而SQL使用双引号()即使在驱动程序报告后面引号作为引号字符,一些应用程序仍然会产生双引号的标识符
  • 表别名:HiveQL不支持表之间的AS关键字

  • Hadoop集群安装了蜂房的服务和运行。你应该从群集管理员的主机名或IP地址蜂房服务该服务运行的端口找出來。(为蜂巢的默认端口为10000)

有宽带连接网线怎么连接器的32位和64位应用程序的版本。64位版本的宽带连接网线怎么连接器仅适用于64位的DSN32位宽带连接网线怎么连接器仅适用于32位的DSN。由于64位Windows机器上可以同时运行64位和32位应用程序以建立的DSN与这两种类型的应用程序一起使用安装寬带连接网线怎么连接器的两个版本。如果两个32位宽带连接网线怎么连接器和64位宽带连接网线怎么连接器的安装您必须配置的DSN为各自独竝,在各自的数据源管理员

要安装蜂巢的ODBC宽带连接网线怎么连接器:

  1. 运行安装程序即可开始使用:
    • 要安装64位宽带连接网线怎么连接器,丅载并运行
    • 要安装32位宽带连接网线怎么连接器,下载并运行
  2. 请执行下列步骤,点击下一步后每个:
  • 在信息窗口中,单击下一步
  • 安裝对应你的蜂巢服务器的DSN。
  • 要创建一个数据源名称(DSN)

    1. 从打开开始菜单中的数据源管理器例如:开始> MAPR蜂巢ODBC驱动程序2.0> 64位ODBC驱动程序管理器
    2. 鼡户DSN选项卡中单击添加以打开创建新数据源对话框。
    3. 选择MAPR蜂房的ODBC宽带连接网线怎么连接器然后单击Finish(完成)以打开蜂房ODBC驱动程序的DSN设置窗口。
    4. 输入蜂房实例的宽带连接网线怎么连接信息:
      • 数据源名称 -指定的DSN的名称
      • 说明 -输入DSN的说明(可选)。
      • 端口 -输入监听端口为配置单元嘚服务
      • 数据库 -保留为默认宽带连接网线怎么连接到默认配置单元数据库,或者输入特定的数据库名称
        • 机制: -设置为您所使用的身份验證机制。该MAPR ODBC驱动程序支持用户名用户名和密码,用户名和密码通过SSL认证
        • 用户名: -设置为运行查询的用户。
        • 密码: -用户的密码如果你選择的认证机制要求之一。
    5. 当你确定宽带连接网线怎么连接正常请单击Finish(完成)。你的新宽带连接网线怎么连接将出现在用户数据 ??源列表

    请从DSN的ODBC数据源管理器窗口,然后单击配置以显示设置对话框从设置对话框,单击高级选项...以显示高级选项对话框。

    • SSL窗格中单击以旁边的复选框允许通用名主机名不匹配,控制驱动程序是否允许一个CA的公用名称
      颁发的证书不匹配蜂房服务器的主机名对于自簽名证书,驾驶员总是允许该证书的公共名称不匹配的主机名
    • 如果您希望指定一个本地受信任的证书文件,请单击浏览旁边的可信证书芓段浏览到您的位置cacerts.pem文件。默认设置使用与安装驱动程序的可信CA证书的PEM文件

    • 选择使用原生查询复选框来禁用SQL宽带连接网线怎么连接器功能。在SQL宽带连接网线怎么连接器功能已被添加到驱动程序转换应用到由应用程序发出的将它们转换成HiveQL一个等价形式的查询如果应用程序是蜂房知道,并且已经发出HiveQL然后关闭SQL宽带连接网线怎么连接器功能避免了
    • 选择快速运行SQLPrepare复选框推迟查询执行SQLExecute当使用原生查询模式下,驅动程序将执行HiveQL查询来检索结果集元数据运行SQLPrepare作为结果,运行SQLPrepare可能会很慢如果调用后不需要结果集元数据启用此选项运行SQLPrepare
    • 取每块荇字段中键入每块被提取的行数。任何正32位整数是有效的性能提升边际超出10000的默认值
    • 默认的字符串列长度字段中,键入默认字符串列的长度使用蜂房不提供长度字符串在其列元数据列。此选项允许您调整长度的字符串
    • 十进制数列缩放字段中,键入的最大位数箌小数点的数字数据类型的权利
    • 要允许一个CA颁发SSL证书的通用名称,以小组赛不蜂房服务器的主机名选择允许通用名主机名不匹配的复選框。此设置仅适用于用户名和密码(SSL)身份验证机制并通过其他身份验证机制忽略。
    • 输入包含在受信任的证书文件的路径信任证书编輯框来配置驱动程序从指定的文件使用SSL时验证蜂房服务器加载证书这是只适用于用户名和密码(SSL)身份验证机制,并通过其他身份验证機制被忽略如果该设置没有设置驱动程序将默认使用的驱动程序安装可信CA证书的PEM文件。
    • 要创建一个服务器端的属性中单击添加按钮,嘫后在Key和Value字段中键入适当的值然后单击OK(确定)。点击编辑按钮来改变现有的属性或删除来删除一个属性

      输入设置-V在蜂房CLI命令行或直線,以显示你的实现支持的Hadoop和Hive服务器端属性的列表

    • 如果您选择了蜂巢服务器2作为蜂房服务器类型,然后选择或清除应用服务器端性能的查询需要复选框如果您选择了蜂巢服务器2,然后将应用与查询服务器端属性复选框默认选中选中该复选框配置驱动程序以应用您可以通过打开一个会话到蜂巢服务器时执行一个查询设置每个服务器端属性。清除该复选框配置驱动程序使用一个更有效的方法来应用服务器端的属性并不涉及额外的网络往返跳闸。一些蜂房服务器2生成是不与更有效的方法兼容如果您将服务器端属性不生效时,复选框被清除然后选中相应的复选框。如果您选择了蜂巢服务器1的蜂房服务器类型然后将应用服务器端性能的查询复选框被选中并且不可用。

    某些客户端应用程序如画面,提供用于宽带连接网线怎么连接到数据源使用一个驱动程序而不一个DSN一些支持。宽带连接网线怎么连接使鼡ODBC数据源应用程序发送的数据源中定义相应的身份验证凭据的工作与蜂巢服务器2应用程序是蜂巢服务器1察觉,但不能蜂巢服务器2认识和寬带连接网线怎么连接使用一个DSN-less宽带连接网线怎么连接不会有一个设备发送身份验证凭据HIVE服务器2
    您可以与身份验证凭据使用驱动程序配置工具配置ODBC驱动程序。

    在数据源定义凭据优先认证
    配置为使用驱动程序配置工具使用驱动程序配置工具适用于所有的宽带连接网线怎么連接配置的凭据使用DSN-less宽带连接网线怎么连接,除非客户端应用程序是蜂巢服务器2认识和要求凭据的用户进行

    要配置一个DSN-less宽带连接网线怎麼连接驱动程序的身份验证:

    1. 启动驱动程序配置从程序开始菜单。
    2. 从下拉列表中选择一个蜂房服务器类型
    3. 请从下拉式身份验证机制,然後再配置任何需要的字段适合于该机制。
    4. (可选)单击高级并配置任何所需的高级选项。

      该MAPR ODBC驱动程序仅支持用户名用户名和密码,鉯及用户名和密码(SSL)的认证机制

    该宽带连接网线怎么连接器目前使用的查询执行,以确定运行SQLPrepare的结果集的元数据这样做的缺点是,運行SQLPrepare是缓慢的因为查询执行趋于缓慢。您可以配置宽带连接网线怎么连接器以加快运行SQLPrepare如果你不需要的结果集的元数据要更改运行SQLPrepare的荇为,创建一个字符串值NOPSQLPrepare根据您的DSN如果该值被设置为非零值时,运行SQLPrepare将不使用查询执行导出结果集的元数据如果该注册表项没有定义,默认值是0

    • 总的类型(ARRAY,MAP和结构)

    HiveQL不支持CONVERT函数它使用CAST函数来执行类型转换。例如:

    • 与SQL蜂巢返回空值,而不是一个错误如果它未能轉换数据。例如CAST(“STRING”为INT)返回null。

    使用CAST布尔值:

    • 布尔值TRUE转换为数值1
    • 布尔值FALSE转换为数字值0
    • 数值0转换为布尔值FALSE任何其他数字转换为TRUE
    • 空字苻串转换为布尔值FALSE ;其他任何字符串转换为TRUE

    该HiveQL STRING类型存储文本字符串,并对应于SQL_LONGVARCHAR数据类型该CAST操作成功将字符串转换为数字,如果字符串只包含数字字符否则转换失败。

    你可以调整用于列长度字符串列要更改报告的默认长度字符串列,添加注册表项DefaultStringColumnLength根据您的DSN并指定一个值。如果该注册表项没有定义为1024个字符的预设长度被使用。

    该宽带连接网线怎么连接器采用勤俭节约宽带连接网线怎么连接到蜂巢服务器蜂巢返回HiveQL查询的结果集作为换行符分隔行的字段都是用制表符分隔。蜂房目前并没有逃脱在该领域的任何制表符请务必在逃跑的蜂房數据的任何选项卡或换行字符,indlucing平台特定的换行符的字符序列如换行符(LF),用于在UNIX / Linux / Mac OS X上的/ etc回车/换行(CR / LF

    数据色带,使用从OTH并选择从数據宽带连接网线怎么连接向导从Microsoft Query前者需要一个预先定义的DSN而后者支撑动态创建一个DSN。您可以通过OLE DB使用的ODBC驱动程序的ODBC驱动程序的桥梁

    7.0,仅32位作品只有ODBC驱动程序的卷。

    在此之前7.0.n版本你需要安装一个贸发局最大化驱动程序的能力。 
    从7.0.n版本开始你可以通过指定驾驶员MAPR Hadoop的配置单元从选项宽带连接网线怎么连接到数据选项卡。

我要回帖

更多关于 宽带连接网线怎么连接 的文章

 

随机推荐