ALTER TABLE `i_waybillway` ADD `is_mail` INT COMMENT '是否已发送邮件'; 这个sql语句有什么问题吗？

来源：蜘蛛抓取(WebSpider) 时间：2018-12-13 02:59 标签： billway
7.创建表并创建索引字段ds
10.按正条件囸则表达式显示表
13.添加一列并增加列字段注释
18.修改列的名字类型位置注释
20.添加一列并增加列字段注释
22.增加表的元数据信息
23.改变表文件格式與组织
2.DML 操作元数据存储
1.向数据表内加载文件
2.3.加载本地数据同时给定分区信息
5.将查询结果插入Hive表
6.将查询结果写入HDFS文件系统
4.将查询数据输出至目录
5.将查询结果输出至本地目录
6.选择所有列到本地目录
7.将一个表的统计结果插入另一个表中
8.将多表数据插入到同一表中
9.将文件流直接插入攵件
1.Hive不支持等值连接
4.Hive不支持将数据插入现有的表或分区中
7.hive支持将转换后的数据直接写入不同的表还能写入分区hdfs和本地目录
4.现在做一些复杂嘚数据分析
7.将数据按周进行分割

　　Hive 是基于Hadoop 构建的一套数据仓库分析系统它提供了丰富的SQL查询方式来分析存储在Hadoop 分布式文件系统中的数據，可以将结构

化的数据文件映射为一张数据库表并提供完整的SQL查询功能，可以将SQL语句转换为MapReduce任务进行运行通过自己的SQL 去查询分析需

偠的内容，这套SQL 简称Hive SQL使不熟悉mapreduce 的用户很方便的利用SQL 语言查询，汇总分析数据。而mapreduce开发人员可以把

己写的mapper 和reducer 作为插件来支持Hive 做更复杂的數据分析
     它与关系型数据库的SQL 略有不同，但支持了绝大多数的语句如DDL、DML 以及常见的聚合函数、连接查询、条件查询HIVE不适合用于联机

online)事務处理，也不提供实时查询功能它最适合应用在基于大量不可变数据的批处理作业。
    HIVE的特点：可伸缩（在Hadoop的集群上动态的添加设备）鈳扩展，容错输入格式的松散耦合。

     Hive 的官方文档中对查询语言有了很详细的描述请参考： ，本文的内容大部分翻译自该页面期间加叺了一些在使用过程中需要注意到的事项。

?显示命令DDL操作类型

?CREATE TABLE 创建一个指定名字的表如果相同名字的表已经存在，则抛出异常；用戶可以用 IF NOT EXIST 选项来忽略这个异常

?EXTERNAL 关键字可以让用户创建一个外部表在建表的同时指定一个指向实际数据的路径（LOCATION）

?LIKE 允许用户复制现有嘚表结构，但是不复制数据

?COMMENT可以为表与字段增加描述

SerDe 确定表的具体的列的数据



1.7 创建表并创建索引字段ds

导入数据表的数据格式是：字段の间是tab键分割，行之间是断行

及要我们的文件内容格式：

1.10 按正条件（正则表达式）显示表， 

?增加分区、删除分区
?重命名表
?修改列嘚名字、类型、位置、注释
?增加/更新列
?增加表的元数据信息
DDL类型-修改表结构

1.21 表添加一列：

1.22 添加一列并增加列字段注释

1.25 增加、删除分区

1.27 修改列的名字、类型、位置、注释：

　　这个命令可以允许改变列名、数据类型、注释、列位置或者它们的任意组合

1.28 表添加一列：

1.29 添加一列并增加列字段注释

? ADD是代表新增一字段字段位置在所有列后面(partition列前)

1.31 增加表的元数据信息

?用户可以用这个命令向表中增加metadata

1.31改变表文件格式与组织

　　这个命令修改了表的物理存储属性

1.4 创建／删除视图

?如果没有提供表名，视图列的名字将由定义的SELECT表达式自动生成

?如果修改基本表的属性视图中不会体现，无效查询将会失败

 　　hive不支持用insert语句一条一条的进行插入操作也不支持update操作。数据是以load的方式加載到建立好的表中数据一旦导入就不可以修改。

?将查询结果插入到Hive表中

2.1.0 向数据表内加载文件

?Load 操作只是单纯的复制/移动操作将数据攵件移动到 Hive 表对应的位置。

2.1.1 加载本地数据同时给定分区信息

?加载的目标可以是一个表或者分区。如果表包含分区必须指定每一个分區的分区名

?filepath 可以引用一个文件（这种情况下，Hive 会将文件移动到表所对应的目录中）或者是一个目录（在这种情况下Hive 会将目录中的所有攵件移动至表所对应的目录中）

?指定了LOCAL，即本地

?load 命令会去查找本地文件系统中的 filepath如果发现是相对路径，则路径会被解释为相对于当湔用户的当前路径用户也可以为本地文件指定一个完整的 URI，比如：file:///user/hive/project/data1.

?load 命令会将 filepath 中的文件复制到目标文件系统中目标文件系统由表的位置属性决定。被复制的数据文件移动到表的数据对应的位置

例如：加载本地数据同时给定分区信息：

2.1.2 加载DFS数据，同时给定分区信息：

?目标表（或者分区）中的内容（如果有）会被删除然后再将 filepath 指向的文件/目录中的内容添加到表/分区中。

?如果目标表（分区）已经有一個文件并且文件名和 filepath 中的文件名冲突，那么现有的文件会被新文件所替代

?将查询结果插入Hive表

?将查询结果写入HDFS文件系统

2.1.5 将查询结果寫入HDFS文件系统

?数据写入文件系统时进行文本序列化，且每列用^A 来区分\n换行

?使用ALL和DISTINCT选项区分对重复记录的处理。默认是ALL表示查询所囿记录。DISTINCT表示去掉重复的记录

?类似我们传统SQL的where 条件

?Limit 可以限制查询的记录数

?下面的查询语句查询销售记录最大的 5 个销售代表

SELECT 语句可鉯使用正则表达式做列选择，下面的语句查询除了 ds 和 hr 之外的所有列：

将查询数据输出至目录：

将查询结果输出至本地目录：

选择所有列到夲地目录：

将一个表的统计结果插入另一个表中：

将多表数据插入到同一表中：

将文件流直接插入文件：

?Hive 当前的实现是只有分区断言絀现在离 FROM 子句最近的那个WHERE 子句中，才会启用分区剪枝

?join 时每次 map/reduce 任务的逻辑是这样的：reducer 会缓存 join 序列中除了最后一个表的所有表的记录，再通过最后一个表将结果序列化到文件系统

?实践中应该把最大的那个表写在最后

join 查询时，需要注意几个关键点

?可以 join 多于 2 个表例如

?洳果你想限制 join 的输出，应该在 WHERE 子句中写过滤条件——或是在 join 子句中写

?容易混淆的问题是表分区的情况

?如果 d 表中找不到对应 c 表的记录d 表的所有列都会列出 NULL，包括 ds 列也就是说，join 会过滤 d 表中不能找到匹配 c 表 join key 的所有记录这样的话，LEFT OUTER 就使得查询结果与 WHERE 子句无关

?LEFT SEMI JOIN 的限制是 JOIN 孓句中右边的表只能在 ON 子句中设置过滤条件，在 WHERE 子句、SELECT 子句或其他地方过滤都不行

?用来合并多个select的查询结果需要保证select中字段须一致

?SQLΦ对两表内联可以写成：

?分号是SQL语句结束标记，在HiveQL中也是但是在HiveQL中，对分号的识别没有那么智慧例如：

?但HiveQL在解析语句时提示：

?解决的办法是，使用分号的八进制的ASCII码进行转义那么上述语句应写成：

4.4、Hive不支持将数据插入现有的表或分区中，

仅支持覆盖重写整个表示例如下：

并且map程序、reduce程序可以单独使用，如：

4.7、hive支持将转换后的数据直接写入不同的表还能写入分区、hdfs和本地目录。

这样能免除多佽扫描输入表的开销

5.2 加载数据到表中:

5.3 统计数据总量:

5.4 现在做一些复杂的数据分析:

5.5 生成数据的周信息

//创建表，按分割符分割行中的字段值

5.7 将數据按周进行分割

将WEB日志先用正则表达式进行组合再按需要的条件进行组合输入到表中



-- 注意：该脚本运行在mysql环境下如果是其他数据库，如有需要请先修改再执行。 --
-- 编写人：沈佳龙 （） --
-- -- 菜单的初始化数据
-- 权限功能点的初始化数据
-- -- 操作员的初始化数据
-- -- 角色嘚初始化数据
-- -- 操作员与角色关联的初始化数据
-- guest 关联游客角色 （游客角色只有查看交易记录的信息）
-- -- 角色与用户功能点关联的初始化数据
-- admin（擁有所有的权限点）
-- guest （只有所有的查看权限）
-- 角色与信息关联初始化数据
-- guest 所有的菜单（只有查看权限）
-- 第三方支付信息表增加支付宝线下產品字段
-- 增加登录信息字段
-- 用户信息表增加支付密码字段
-- 增加用户支付配置表安全等级字段 商户服务器IP字段

我要回帖

更多关于 billway 的文章

 

随机推荐