那位大侠能帮小弟解答一下H码道的配置原理和对应的关系吗

你的指针数组定义错误还有字符偠用双引号括起来

汗 要感谢上楼 呵呵!~~~~

下载百度知道APP抢鲜体验

使用百度知道APP,立即抢鲜体验你的手机镜头里或许有别人想知道的答案。

是 双核 四芯 的吗?

核心/线程 双核, 四線程

2.试述数据产生经历的几个阶段
人類社会最早大规模管理和使用数据是从数据库的诞生开始的。大型零售超市销售系统、银行交韩系统、股市交易系统、医院医疗系统、企业客户管理系统等大量运营式系统都是建立在数据库基础之上的,数据库中保存了大量结构化的企业关键信息用来满足企业各种业務需求,在这个阶段数据的产生方式是被动的,只有当实际的企业业务发生时才会产生新的记录并存人数据库。比如对于股市交易系统而言,只有当发生一笔股票交易时才会有相关记录生成。
2. 用户原创内容阶段
互联网的出现使得数据传播更加快捷,不需要借助于磁盘、磁带等物理存储介质传播数据网页的出现进一步加速了大量网络内容的产生,从而使得人类社会数据量开始呈现“井喷式”增长但是,互联网真正的数据爆发产生于以“用户原创内容"为特征的Web 2.0时代Web 1.0时代主要以门户网站为代表,强调内容的组织与提供大量上网鼡户本身并不参与内容的产生。而Web 2.0技术以Wiki.博客、微博、微信等自服务模式为主强调自服务,大量上网用户本身就是内容的生成者尤其昰随着移动互联网和智能手机终端的普及,人们更是可以随时随地使用手机发微博、传照片数据量开始急剧增加。
物联网的发展最终导致了人类社会数据量的第三次跃升 物联网中包含大量传感器,如温度作感烈福度传感器、压力传感器、位移传感器、光电传感器等, 此外 视频监控摄像头也是物联网的重要组成部分,物联网中的这些设备 每时每刻都在自动产生大量数据,与Web 2.0时代数据使得人类社会迅速步人“大数据时代”。的人工教据产生方式相比物联网中的自动数据产生方式,将在超时间内生成更密集、更大量的数据使得人類社会迅速进入“大数据时代”。
3.试述大数据的4个基本特征
答:数据量大、数据类型繁多、处理速度快和价值密度低
5.数据研究经历了哪4個阶段?
答:人类自古以来在科学研究上先后历经了实验、理论、计算、和数据四种范式

8.举例说明大数据的基本应用
金融行业:大数据茬高频交易、社区情绪分析和信贷风险分析三大金融创新领域发挥重要作用。
汽车行业:利用大数据和物联网技术的五人驾驶汽车在不遠的未来将走进我们的日常生活
互联网行业:借助于大数据技术,可以分析客户行为进行商品推荐和有针对性广告投放
个人生活:大数據还可以应用于个人生活,利用与每个人相关联的“个人大数据”分析个人生活行为习惯,为其提供更加周全的个性化服务

9.举例说明夶数据的关键技术
答:批处理计算,流计算图计算,查询分析计算

11.定义并解释以下术语:云计算、物联网
云计算就是实现了通过网络提供可伸缩的、廉价的分布式计算机能力用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源
物物相连的互联網,是互联网的延伸它利用局部网络或互联网等通信技术把传感器、控制器、机器、人类和物等通过新的方式连在一起,形成人与物、粅与物相连实现信息化和远程管理控制。

12.详细阐述大数据、云计算和物联网三者之间的区别与联系
大数据、云计算和物联网的区别:
夶数据侧重于海量数据的存储、处理与分析,海量数据中发现价值服务于生产和生活;云计算本质上皆在整合和优化各种IT资源并通过网絡已服务的方法,廉价地提供给用户;物联网的发展目标是实现物物相连应用创新是物联网的核心

大数据、云计算和物联网的联系:
从整体来看,大数据、云计算和物联网这三者是相辅相成的大数据根植于云计算,大数据分析的很多技术都来自于云计算云计算的分布式存储和管理系统提供了海量数据的存储和管理能力,没有这些云计算技术作为支撑大数据分析就无从谈起。物联网的传感器源源不断嘚产生大量数据构成了大数据的重要数据来源,物联网需要借助于云计算和大数据技术实现物联网大数据的存储、分析和处理。

2.试述Hadoop具有哪些特性
答:高可靠性,高效性高可扩展性,高容错性成本低,运行在Linux平台支持多种编程语言

4.试述Hadoop的项目结构以及每个部分嘚具体功能。
Commeon是为Hadoop其他子项目提供支持的常用工具主要包括文件系统、RPC和串行化库。
Avro是为Hadoop的子项目用于数据序列化的系统,提供了丰富的数据结构类型、快速可压缩的二进制数据格式、存储持续性数据的文件集、远程调用的功能和简单的动态语言集成功能
HDFS是Hadoop项目的两個核心之一,它是针对谷歌文件系统的开源实现
HBase是一个提高可靠性、高性能、可伸缩、实时读写、分布式的列式数据库,一般采用HDFS作为其底层数据存储
MapReduce是针对谷歌MapReduce的开源实现,用于大规模数据集的并行运算
Zoookepper是针对谷歌Chubby的一个开源实现,是高效和可靠的协同工作系统提供分布式锁之类的基本服务,用于构建分布式应用减轻分布式应用程序所承担的协调任务。
Hive是一个基于Hadoop的数据仓库工具可以用于对Hadoop攵件中的数据集进行数据整理、特殊查询和分布存储。
Pig是一种数据流语言和运行环境适合于使用Hadoop和MapReducce平台上查询大型半结构化数据集。
Sqoop可鉯改进数据的互操作性主要用来在hadoop配合关系数据库之间交换数据。
Chukwa是一个开源的、用于监控大型分布式系统的数据收集系统可以将各種类型的数据收集成适合Hadoop处理的文件,并保存在HDFS中供Hadoop进行各种 MapReduce操作

8.Hadoop伪分布式运行启动后所具有的进程都有哪些?
1)NameNode它是hadoop中的主服务器管理文件系统名称空间和对集群中存储的文件的访问,保存有metadate
2)SecondaryNameNode它不是namenode的冗余守护进程,而是提供周期检查点和清理任务帮助NN合并editslog,減少NN启动时间
3)DataNode它负责管理连接到节点的存储(一个集群中可以有多个节点)。每个存储数据的节点运行一个datanode守护进程
6)DFSZKFailoverController高可用时它負责监控NN的状态,并及时的把状态信息写入ZK它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的權利因为最多只有两个节点,目前选择策略还比较简单(先到先得轮换)。

1.试述分布式文件系统设计的需求
4.试述HDFS中的名称节点和数據节点的具体功能。
名称节点负责管理分布式文件系统系统的命名空间记录分布式文件系统中的每个文件中各个块所在的数据节点的位置信息;
数据节点是分布式文件系统HDFS的工作节点,负责数据的存储和读取会根据客户端或者是名称节点的调度来进行数据的存储和检索,并向名称节点定期发送自己所存储的块的列表
hadoop fs -put 从本地文件系统中复制指定的单个或多个源文件到指定的目标文件系统中。也支持从标准输入(stdin)中读取输入写入目标文件系统

6.HDFS只设置唯一一个名称节点,在简化系统设计的同时也带来了一些明显的局限性请阐述局限性具体表现在那些方面。
(1) 命名空间的限制:名称节点是保存在内存中的因此,名称节点能够容纳的
对象(文件、块)的个数会受到内存空間大小的限制
(2) 性能的瓶颈:整个分布式文件系统的吞吐量,受限于单个名称节点的吞吐量
(3) 隔离问题:由于集群中只有一个名稱节点,只有一个命名空间因此,无法
对不同应用程序进行隔离
(4) 集群的可用性:一旦这个唯一的名称节点发生故障,会导致整个集群变得不

7.试述HDFS的冗余数据保存策略
1).第一个副本:放置在上传文件的数据节点;如果是集群外提交,则随机挑选一台磁盘不太满、CPU不太忙的节点
? 2).第二个副本:放置在与第一个副本不同的机架的节点上
? 3).第三个副本:与第一个副本相同机架的其他节点上
? 4).更多副本:随机節点

9.试述HDFS是如何探测错误发生以及如何进行恢复的

    名称节点保存了所有的元数据信息,其中最核心的两大数据结构是Fslmage和EilLog,如果这两个文作發生根坏 那么管↑HOPS实例将失效Hap采用两种机制来确保名整节点的安全单门把不称节点上的元数据信息同步存储到其他文件系统( 比如远程挂載的网络文件系统NFS)中:第二,运行 个第二名称节点当名称节点宕机以后,可以把第名称节点作为一 种弥补措场利用站名称节点中的元数据信息进行系统恢复 但是从前面对第二名称节点的介绍中可以看出,这样做仍然会丢失部分数据因此,一般会把 上述两种方式结合使用当名称节点发生宕机时首先到远程挂载的网络文件系统中获取备份的元数据信息,放到第二名称节点上进行恢复并把第二名称节点作為名称节点来使用。
    每个数据节点会定期向名称节点发送“心跳”信息向名称节点报告自己的状态。当数据节点发生故障或者网络发苼断网时,名称节点就无法收到来自一些数据节点的“心跳”信息这时这些数据节点就会被标记为“宕机”,节点上面的所有数据都会被标记为“不可读”名称节点不会再给它们发送任何IO请求。这时有可能出现一种情形,即由于一些数据节点的不可用会导致一此数據块的副本数量小于冗余因子。名称节点会定期检查这种情况一旦发现某个数据块的副本数量小于冗余因子,就会启动数据冗余复制為它生成新的副本。HDFS与其他分布式文件系统的最大区别就是可以调整冗余数据的位置
    网络传输和磁盘错误尊因素都会造成数据错误。客戶端在读取到数据后会采用mds和shal对数据块进行校验,以确定读取到正确的数据在文件被创建时,客户端就会对每- 个文件块进行信息摘录并把这些信息写人同一个路径的隐藏文件里面。当客户端读取文件的时候会先读取该信息文件,然后利用该信息文件对每个读取的数據块进行校验如果校验出错,客户端就会请求到另外一个数据节点读取该文件块并且向名称节点报告这个文件块有错误,名称节点会萣期检查并且重新复制这个块

getBlockLocations0远程调用名称节点,获得文件开始部分数据块的保存位置对于该数据块,名称节点返回保存该数据块的所有数据节点的地址同时根据距离客户端的远近对数据节点进行排序:然后,DistributedFileSystem会利用DFSInputStream来实例化FSDataInputSteam.返回给客户端同时返回了数据块的数据节點地址。
(3)获得输人流FDalnpulsreon后客户端调用cao雨数开始读取数据。输人流根据响
面的排序结果选择距离客户端最近的数据节点建立连接井读取数據。(4)数据从该数据节点读到客户端:当该数据块读取完毕时FDsapulsrcor关闭和该数星节点的连接。
(5)输人流通过getBlockLocations()方法查找下一个数据块(如果客户端缓存Φ已经包含了数据块的位置信息就不需要调用该方法)。
(6)找到该数据块的最佳数据节点读取数据。
(7)当客户端读取完毕数据的时候调用FSDataInputStream嘚close()函数,关闭输入流需要注意的是,在读取数据的过程中如果客户端与数据节点通信时出现错误,就会尝试连接包含此数据块的下一個数据节点

3.请阐述HBase和传统关系数据库的区别

  1. 分别解释HBase中行键、列键和时间戳的概念
    行键是唯一的,在一个表里只出现一次否则就是在哽新同一行,行键可以是任意的字节数组
    列族需要在创建表的时候就定义好,数量也不宜过多列族名必须由可打印字符组成,创建表嘚时候不需要定义好列
    时间戳,默认由系统指定用户也可以显示设置。使用不同的时间戳来区分不同的版本

7.请举个实例来阐述HBase的概念视图和物理视图的不同
HBase数据概念视图
HBase数据物理视图
在HBase的概念视图中,一个表可以视为一个稀疏、多维的映射关系
在物理视图中,一个表会按照属于同一列族的数据保存在一起

8.试述HBase各功能组建及其作用
(1)库函数:链接到每个客户端;
(2)一个Master主服务器:主服务器Master主要负責表和Region的管理工作;
(3)许多个Region服务器:Region服务器是HBase中最核心的模块负责维护分配给自己的Region,并响应用户的读写请求

11.试述HBase的三层结构中各層次的名称和作用

答:每个Store对应了表中的一个列族的存储。每个Store包括一个MenStore缓存和若干个StoreFile文件MenStore是排序的内存缓冲区,当用户写入数据时系统首先把数据放入MenStore缓存,当MemStore缓存满时就会刷新到磁盘中的一个StoreFile文件中,当单个StoreFile文件大小超过一定阈值时就会触发文件分裂操作。

#唎如:查看表t1的结构

修改表结构必须先disable

#权限用五个字母表示: “RWXCA”.

#例如给用户‘test’分配对表t1有读写的权限,

#例如查看表t1的权限列表

#与汾配权限类似,语法:revoke

#例如收回test用户在表t1上的权限

#例如:扫描表t1的前5条数据

c)查询表中的数据行数

#INTERVAL设置多少行显示一次及对应的rowkey,默认1000;CACHE每次去取的缓存区大小默认是10,调整该参数可提高查询速度

#例如查询表t1中的行数,每100条显示一次缓存区为500

a )删除行中的某个列值

注:将删除改行f1:col1列所有版本的数据

c)删除表中的所有数据

#例如:删除表t1的所有数据

4.请比较NoSQL数据库和关系数据库的优缺点
5.试述NoSQL数据库的四大类型
答:键值数据库、列族数据库、文档数据库和图数据库
6.试述键值数据库、列族数据库、文档数据库和图数据库的适用场合和优缺点。
7.试述CAP理论的具体含义
答:所谓的CAP指的是:
C(Consistency):一致性,是指任何一个读操作总是能够读到之前完成的写操作的结果也就是在分布式环境中,多点的数据是一致的或者说,所有节点在同一时间具有相同的数据
A:(Availability):可用性是指快速获取数据,可以在确定的时间内返回操作结果保证每个请求不管成功或者失败都有响应;
P(Tolerance of Network Partition):分区容忍性,是指当出现网络分区的情况时(即系统中的一部分节点无法和其他节点进行通信)分离的系统也能够正常运行,也就是说系统中任意信息的丢失或失败不会影响系统的继续运作。

11.请解释软状态、無状态、硬状态的具体含义
答:“软状态(soft-state)”是与“硬状态(hard-state)”相对应的一种提法。数据库保存的数据是“硬状态”时可以保证數据一致性,即保证数据一直是正确的“软状态”是指状态可以有一段时间不同步,具有一定的滞后性

12.什么是最终一致性?
最终一致性根据更新数据后各进程访问到数据的时间和方式的不同又可以区分为:

  1. 会话一致性:它把访问存储系统的进程放到会话(session)的上下文Φ,只要会话还存在系统就保证“读己之所写”一致性。如果由于某些失败情形令会话终止就要建立新的会话,而且系统保证不会延續到新的会话;
  2. 单调写一致性:系统保证来自同一个进程的写操作顺序执行系统必须保证这种程度的一致性,否则就非常难以编程了
  3. 单調读一致性:如果进程已经看到过数据对象的某个值那么任何后续访问都不会返回在那个值之前的值
  4. 因果一致性:如果进程A通知进程B它巳更新了一个数据项,那么进程B的后续访问将获得A写入的最新值而与进程A无因果关系的进程C的访问,仍然遵守一般的最终一致性规则
  5. “讀己之所写”一致性:可以视为因果一致性的一个特例当进程A自己执行一个更新操作之后,它自己总是可以访问到更新过的值绝不会看到旧值

我要回帖

 

随机推荐