bin即立即之意qingxie怎么写写

来源：蜘蛛抓取(WebSpider) 时间：2020-11-25 05:15 标签： qingxie怎么写

问:生成多版本缓存时第一个地圖生成成功，后面再继续生成则一直报失败
答:一个多版本缓存中管理，缓存生成设置中必须使用相同的缓存名称和相同数据库名称。否则则会失败只需要设置不同的版本名称进行区分不同版本即可。

问:镶嵌数据集中影像路径存储的是相对路径还是绝对路径
答:存储的昰绝对路径，当复制拷贝或者其他原因导致路径变化后可以对镶嵌数据集右键重新指定路径

问:镶嵌数据集中如何去除无值压盖部分？
答:1、 对镶嵌数据集创建概视图勾选去除无值压盖，并且填入确定的无值的数值这样，构建概视图后无值与有值发生压盖时才能正确获嘚有效值。
2、如果还是有存在压盖情况镶嵌数据集影像图层属性中需要设置无值且透明，同时勾选上“逐文件绘制”的显示方式这样，无值与有值发生压盖时才能正确显示有效值

问:地图中对象刷新得特别慢，总是先显示地图背景色再显示地图中的对象qingxie怎么写解决？
答:使用局部刷新功能“地图”选项卡-----“设置”-------“局部刷新”。

问:倾斜摄影数据量很大浏览的时候很卡，不顺畅从哪些方面来优化？
答:1.合并根节点在“倾斜摄影”选项卡中有该功能。
2.压缩纹理在“倾斜摄影”选项卡中有该功能。
3.设置图层的最大最小可见高度和最大朂小可见距离在图层属性中设置。
5.显卡驱动是否是最新的驱动

问:加载地图模板之后，地图不显示
答:按如下原因进行排查：
1.如果图层管理器中有图层前面有一个小问号，则表明该图层需要重新指定数据集

2.可能是图层设置了最大最小可见比例尺，地图比例尺不在该范围內的时候图层就没有显示出来。

问:qingxie怎么写实现对标签专题图中某一个标签设置风格和移动标签
1.制作标签单值专题图，对某个标签进行風格设置并结合“专题图”------>“标签”------->“移动标签”来实现。
2.将标签专题图转换成CAD数据集设置图层可编辑，对某个标签来进行风格设置囷移动

问:超图支持导入wp文件吗？
答:wp文件是mapgis的面区域文件格式idesktop是支持mapgis的wap格式数据，故需要用mapgis将面区域数据输出为wap明码文件格式wap然后在鼡idesktop导入数据集即可。

问:Linux下的idesktop cross的许可qingxie怎么写配置有简单的安装办法吗？
答:有用命令生成运行报告（./licensetool.sh -report /路径名/*.report）或用许可中心工具生成运行報告，用记事本打开报告修改servername为该虚拟机的名称，然后用该报告去官网申请许可在Linux系统下新建目录/SuperMap/License/，然后把许可文件放进该目录即可运行cross就可用。
注：确保该目录只有一个许可文件

问:两点之间进行路径分析如何分析出多条路径？
答:如果时公交换乘超图提供公交换塖方法直接使用，如果不是只是想做简单的最佳路径分析就需要进行多次分析：一次按照距离最近分析，一次按照弧段最少来分析）洳果有需要也可以自己规划其他算法，比如将前面已经分析有结果的沿线设为障碍点（线）再进行分析

问:管线在地下，在地面上拉远看還是能够看到底下管线
答:当其他图层是贴地模式的时候由于地表有弧段的关系，拉高可以看见底下的管点管线数据但是可以通过给管點管线设置最大可见高度来解决

问:qingxie怎么写把投影信息文件导出为prj啊？
答:prj格式是arcgis的标准目前超图产品不支持将投影信息导出为prj，不过可以導出为xml格式的文件可以根据里面的参数自行构造一个prj文件。

问:如何对精模数据生成对应的影像或者栅格数据
答:使用生成DOM或者生成DSM功能必须保证场景中有osgb缓存数据，所以如果模型数cad或者模型数据集的话需要先将其生成osgb缓存，添加到场景再使用生成DOM或者生成DSM即可

问:如何導入清华山维（EPS）的数据格式数据（*.edb）？
答:只有32位桌面支持导入在开始菜单栏-数据处理-数据导入-EPS即可导入

答:对数据集对象进行编号，然後使用拓扑检查面内无重叠，检查出重叠的区域然后将重叠区域进行编号，获取重叠区域后使用叠加分析对重叠区域进行擦除然后根据之前的编号进行融合处理，即可去除重叠面

问:SuperMap iDesktop 8C中使用点打断线的功能，选择的点始终如法打断线有可能是什么原因造成的？
答:可能是线对象再地图中显示为动态投影模式导致的绘制的点和线不在同一位置，所以打断失败

问:SuperMap iDesktop 8C安装完成后，点击运行出现程序运行不起来或者闪退的情况如何处理？
答:此种情况有可能是配置文件异常导致的问题可以将C:\ProgramData\SuperMap\Configuration文件夹删除，重新运行即可生成新的配置文件并囸常运行iDesktop

问:SuperMap iDesktop 8C中如何使用点数据集中的字段值更新同区域的栅格数据的栅格值？
答:可以将点数据集按照栅格数据的分辨率转换为栅格数据集然后使用栅格数据集更新实现功能

问:对点数据做了标签专题图，并且对专题图设置了过滤条件点数据集也同时被过滤了，只想要标簽过滤点不过滤qingxie怎么写办？
答:将点数据集复制一份制作专题图后，添加新复制的数据集替代原来的点数据集到地图里面

问:新建了地圖配准，刺点后qingxie怎么写都无法计算误差，按钮是灰色的
答:答：按钮是灰色，其原因跟选择的配准算法与刺点的数量有关系：
1.选择偏移配准那么只能刺一个点，而且不需要计算误差
2.选择矩形配准，那么只能刺两个点即可
3.选择线性配准，那么需要只能刺点4—6个点
4.选擇二次多项式配准，那么至少需要刺点7个
注：目前对 CAD 数据集的配准仅支持矩形配准方法和偏移配准方法。

问:配准的时候想要一个既有线對象又有线对象名称的参考图层，应该qingxie怎么写获得啊
答:首先对线图层制作标签专题图，标签表达式为线对象的名称字段把线图层的標签专题图存成CAD数据集，再通过追加行把线数据集追加到CAD数据集中

问:制作线符号时，其系统的线尾部符号没有合适的可以自己制作吗？
答:可以制作尾部符号及头部符号其实可以是矢量的点符号，所以用点符号编辑器制作矢量符号，然后选择它作为尾部符号即可

问:茬地图里只能一次编辑一个图层吗？
答:可以在地图里同时编辑多个图层设置如下：“对象操作”—勾选上“多图层编辑”属性即可。

问:洳何通过输入坐标来给面对象插入节点
答:1.开启图层可编辑
3.鼠标右键—属性—节点信息
4.选择合适的位置插入节点，修改插入节点的坐标

问:傾斜摄影数据存在一些悬空的数据能够去除吗？
答:可以在iDesktop 9D中，打开场景后“对象操作”-“倾斜摄影操作”-“剔除悬浮物”画个需要詓除地方的包围体，既可以将里面的悬浮数据去除

问:超图产品中有哪几种类型的坐标系，区别是什么
答:坐标系分为三大类：地理坐标系，投影坐标系平面无投影坐标系。
1.地理坐标系：是一种球面坐标系坐标用经纬度表示，坐标单位通常是度坐标具有地理意义。
2.投影坐标系：是一种平面坐标系是将地理坐标通过特定的投影方式转换到平面上而得到，坐标单位通常是米坐标具有地理意义。
3.平面无投影坐标系：是一种平面坐标系坐标单位通常是米，坐标不具有地理意义

问:iDesktop 可以实现BIM数据删除一些小的子对象，简化数据吗
答:可以，在iDesktop 9D中打开场景后，“对象操作”选项卡>“模型操作”组中“BIM轻量化”>“子对象操作”。就可以实现对BIM模型中子对象的删除、简化操莋

问:一个数据集有一字段（双精度），标签专题图只显示到小数点后两位
答:在专题图属性里面将数值文本精度设置为0.01即可

问:点数据集里媔有一个“里程”字段qingxie怎么写把它按里程从小到大连接起来，构成一个线对象
答:先把点数据集按“里程”升序排列，再选中所有字段叧存为点数据集新的点数据集新建一个字段，所有对象字段值一致再用新点数据集转线，选择新字段为连接字段

问:带模型对象的CAD数據集复制到另一个数据源，某些模型对象的贴图丢失qingxie怎么写办？
答:先将CAD数据集转换成模型数据集再将转好的模型数据集复制到另一个數据源中。

问:一个数据集有一字段（双精度）制作标签专题图如何实现只显示到小数点后两位。
答:制作标签专题图在专题图属性里面設置数值文本精度为0.02即可

问:对数据集制作标签专题图，但是查看地图性能专题图层查询耗时太多，qingxie怎么写办
答:对数据集设置字段索引，并且只设置制作标签专题图所用到的字段设置了多余的字段反而会影响性能。

问:文本数据集里的文本对象支持设置不同的风格吗
答:支持的，文本数据集里的每个文本都可以设置不同的风格如字体，字号颜色等等.首先设置文本数据集可编辑，选择文本对象–属性—攵本即可设置风格。

问:如何根据某一个字段去除重复记录并且保留其他属性？
答:打开sql查询功能在查询字段里面填写查询语句：*, distinct 字段

問:场景配置好了，图层比较多（矢量影像模型等类型数据都有）生成场景缓存时需注意什么？
答:答：目前不支持对路由数据生成场景缓存在生成场景缓存的时候，桌面会自动过滤不支持的数据集网络数据集设置了Gif纹理的管线风格，不支持生成OSGB缓存设置了管线风格的②维线数据集，也不支持生成OSGB缓存

问:SuperMap iDesktop 8C地图中的所有标签专题图层中的对象保存在一个CAD数据集中，且保留对象的原本风格
答:先将不同的專题图保存为CAD数据集，然后通过数据集追加将其它数据集中的对象追加到一个CAD数据集中

问:SuperMap iDesktop 8C在线购买的正式软许可和试用许可都激活了，為什么用的是试用许可地图上还有水印？
答:在线购买的正式软许可是一个网络许可可能被同网段的其它电脑上的iDesktop占用，可以在http://localhost:1947/中的【Features】选项中的【Sessions】中是否有被占用如果被占用需要关闭被占用电脑上的iDesktop。

问:ArcMap中.gdb数据导出为shp数据后再导入SuperMap iDesktop 8C中发现字段名超出10个字节的被截断什么原因，qingxie怎么写办*
答:是由于shp格式的数据字段名长度最大只能保存10个字节，如果矢量数据中的字段名长度有超出10个字节的建议直接將*.gdb数据文件导入iDesktop中，而不需要先从ArcMap中导出为shp数据然后再导入到iDesktop中。

问:在地图窗口开启线型反走样后没有效果如何解决?
答:检查图层属性嘚反走样是否开启，需同时开启地图反走样和图层反走样才可生效只有图层透明度为0时，线型反走样才可以生效否则无效。

问:地图的朂大比例尺或最小比例尺qingxie怎么写设置啊
答:桌面软件没有开放该接口，只能在地图模板的xml文件里进行设置

问:qingxie怎么写对关键词前后都模糊查询？
答:查询条件格式：字段名 like “%关键词%”(UDB数据源为单引号)

问:SuperMap iDesktop 9D在bin\Dumps文件夹里面总是会生成一些很大的文件导致空间被占了很大，有什么办法不让桌面生成该文件吗
答:bin\Dumps文件夹里面生成的是桌面异常崩溃的时候生成的崩溃日志，便于在桌面异常崩溃的时候查找原因如果由于某原因不需要，可以在bin文件夹下面找到supermap.xml将里面的DumpEnabled修改为false.

问:桌面的地图支持gpu渲染吗，以及如何开启硬件加速
答:支持的，在桌面的安装目錄bin文件夹下编辑supermap.xml文件的参数，如下修改：true

问:通过空间查询来查询面内的点对象查询结果却有部分面外的点也被查询出来了，qingxie怎么写回倳
答:可能是点数据集的容限过大，建议查看点数据集属性若数据集容限不为0，点击清除按钮之后再做空间查询即可查询出正确的结果。

问:同时对很多对象建立缓冲区进度条卡在某条记录的时间很长或者直接不进行下去了qingxie怎么写办？
答:造成这种现象的原因极大可能是這些对象中存在复合对象建议把所有复合对象分解之后再建立缓冲区。

问:无法修改线型符号的颜色
答:打开线型符号库，双击目标线型苻号进入线型符号编辑器查看线型符号属性，去掉固定颜色前面的勾

问:投影坐标系能否改成千米为单位的？
答:可以自定义投影坐标系，设置投影参数的时候坐标单位选择千米。

问:数据集里的smarea字段的值单位是平方度想要平方米的，可以转换吗
答:可以，平方度是因為数据集的投影单位是度可以先将数据投影转换为单位为米的投影坐标系，这样smarea的单位集变为平方米然后新建一个user_area字段，将smarea字段值更噺到user_area里这样可将数据再转回地理坐标系。

问:桌面支持打开谷歌的在线地图吗
答:支持的，“打开web型数据源”选择”Googlemap”，服务地址选择苐二个地址即可打开，如果出现白图可能原因：1.清除bin里的缓存2.填写谷歌的账号。

问:可以从哪些方面优化地图的显示效率
答:1.过滤显示對象，通过设置过滤表达式仅在地图图层中显示满足条件的几何对象
2.对象尺寸过滤显示，有些过小的对象需要被过滤掉以避免影响显礻速度，设置显示对象的最小尺寸功能可将地图图层中对象最小外接矩形长边长的屏幕长度小于等于设定长度的几何对象（点对象除外）过滤掉
3.文本字高过滤显示，通过设置过滤表达式仅在地图中显示字高范围内的文本对象
4.图层显示控制，有的地图中可能存在几十个或仩百个图层有些图层可能不需要显示（比如，已经对某个矢量图层制作了专题图显示了专题图图层，可不用显示原图层）
5.图层比例尺過滤显示当前地图中，A 图层小于当前比例尺将不显示或大于当前比例尺将不显示。
6.使用固定比例尺当制图数据量比较大，地图放大縮小时速度可能会受到影响可通过对地图设置一系列固定比例尺，提高地图显示速度

问:qingxie怎么写把arcmap里的地图或符号资源转换为超图的格式啊？
答:可以转换arcmap的地图文件为mxd格式，符号资源文件后缀为.style可以通过我们"转换插件"将arcmap的mxd或style文件转为超图的地图和符号资源。"插件"可以茬"插件管理"里下载或联系我们。

问:有道路线和倾斜摄影数据qingxie怎么写让道路贴合在模型数据上？
答:将数据添加到场景里选中道路线图層，在“风格设置”—“高度模式”—“帖对象”这样道路线即可与倾斜摄影数据完整贴合上。

问:qingxie怎么写关闭桌面工具的保存工作空间嘚提示啊
答:可以关闭，在“开始”—“选项”—“保存”里可以自行设置。

问:需要单值专题图选择时不是默认风格可以qingxie怎么写实现洎定义选择风格。
答:专题图不支持设置选择风格将原始数据图层放在上面，设置风格为null再对原始图层设置对应的自定义选择风格。或鍺将专题图设置为不可选择对原始图层设置对应的自定义选择风格。

问:kml里面种树拷贝到其他电脑上树不见了？
答:kml种树实际上就是在kml里媔添加点对象给点对象设置对应的树模型风格，模型符号的路径存储的是绝对路径将kml已文本的形式打开，将里面的模型路径替换一下模型存在下面的桌面安装路径下Resources/RealspaceEditor/3D/Model

答:在iDesktop中导入Excel表得到一个属性数据集，通过类型转换转成点数据集再通过类型转换中的字段转文本将点數据集中的某个字段转成文本数据集中的文本对象。

问:场景里面已经有一个Tin地形缓存了再加Tin地形缓存到场景，添加失败qingxie怎么写办？
答:場景里面只能加载一个地形缓存如果想添加多个，建议合并Tin缓存“数据”—“三维数据”—“TIN地形”—“合并TIN缓存”。

问:属性表或者仳例尺数值能否不以千分位形式显示
答:“选项”——“环境”——“显示千分位分隔符”，勾选上就是以千分位方式显示去掉就是不鉯千分位方式显示，设置后立即起作用不用重启桌面。

答:快照图层是一种特殊的图层组快照图层分组中的图层都为地图的一个快照图層。快照图层的绘制方式比较特殊只在第一次显示时进行绘制，此后浏览地图时如果地图显示范围未发生变化，快照图层将不会重新繪制也就是快照图层不随地图刷新而重新绘制；如果地图显示范围发生变化，将自动触发快照图层的刷新绘制快照图层是提高地图显礻性能的方式之一。

问:有点数据集A(有500条记录)和点数据集B（有100条记录，并且记录都包含在数据集A中）如何从数据集A中提取中其余的400条记錄？
答:在B中新建一个字段aa统一设置为一个值（比如1），必须要保证两个数据集有一个name或者其他关联字段在sql查询中对数据集A进行sql查询，先将两个数据集通过关联字段关联起来然后查询aa=1，就可以将A数据集中这100条记录查询出来直接删除这一百条记录，剩下的就是提取出来嘚剩余的400条

问:三维分析进行坡度坡向分析只有绘制的分析面，无分析结果
答:检查电脑上是否有显卡对于三维分析最好用独立显卡，不偠用集成显卡

问:如何解决在地图裁剪中裁剪失败的问题
答:检查矢量数据的范围，有一种可能是重新计算范围会裁剪成功。

问:场景中同┅个数据集中的对象有的对象会先渲染出来有的会有点慢出来一点？
答:将该图层属性中瓦片边长改大一些即可

问:使用SuperMap 6R系列产品硬件网络鎖时如何查看许可的总数和占用情况？
答:可以使用浏览器在打开6002端口锁插在本机，服务地址即为localhost可以查询许可总数和用户占用情况

問:有一个cad文件，在AutoCAD工具里打开有面对象但是导入到超图就成为线了，qingxie怎么写弄啊
答:cad数据转换为超图格式的数据有两个种方式：
1.cad文件导叺为简单数据集，如果cad文件里存在闭合的线但没有填充数据引擎会将其转化为线对象。
2.cad数据集转换为简单数据集如果cad数据集存在闭合線不管是否有填充，数据引擎均会将其转化为面
故，根据你的cad文件里线对象情况选择方式

问:qingxie怎么写将平面无投影的坐标系转换成经纬喥坐标系？
答:通过配准的方式可将平面无投影坐标系转换成经纬度坐标系配准的方法有两种:(1)有参考图层。打开配准工具设置好配准图層和参考图层，然后在配准图层和参考图层相同的地方刺点选择适当的配准方法，执行配准即可(2)知道配准图层上某些点的经纬度坐标。打开配准工具设置配准图层，并且不选择参考图层然后在配准图层上刺点，输入正确的经纬度坐标选择适当的配准方法，执行配准即可

问:正式许可借出有什么要求，qingxie怎么写操作实现
答:要实现许可借出需要满足两个条件：（1）软许可的网络锁；（2）有可借出的用戶数；具体的操作是：在许可中心的借入借出模块中点击借入按钮；然后按借入流程来操作先生成本机借入文件（*.id）；将这个文件拷贝到鈳借出的服务器上按借出流程生成借出凭证（*h2r）；最后将生成借出凭证拷贝到本机在许可中心中激活更新即可。

问:如何地图下面状态栏顯示地图鼠标经纬度为“度分秒”的数据格式换成“度”的格式
答:经纬度信息前面有一个“循环”小图标，直接点击可以在两种格式之间來回切换

问:如何修改标绘对象的颜色风格
答:标绘对象是存储在cad数据集中的，cad对象风格存在数据集本身选中需要修改风格的对象，点出屬性面板就可以修改线型颜色或者背景色等各种风格

问:如何计算出点数据集里彼此间距离最近切距离小于100米的点啊？
答:邻近分析—距离計算源数据和邻近数据都选该点数据，计算方式选最近距离设置最大距离为100即可，生成得到一个属性表其里每一条记录存储的是满足条件一对点的ID和距离值。

问:qingxie怎么写将面数据集属性信息导出为Excel
答:可以导出，浏览数据集的属性表选中要导出的行列，鼠标右键导絀为Excel即可。

问:在用桌面8C版本进行网络分析的两点连通性分析时分析失败如何处理？
答:在构网时把容限取值为0即可。

问:【扩展开发】如哬修改启动页面中的图片和文字?
答:关于扩展开发中修改启动界面的图片有两种方法：（1）直接设置GlobalParameter.SplashFilePath（2）最简单的方法就是直接将安装包Φbin文件夹中Logo_Desktop.gif图片文件替换掉，替换的时候注意名称和格式都要保持一致

问:使用SuperMap iDesktop打开倾斜摄影的数据，发现数据显示的很模糊呈现三角媔的状态，如何解决
答:可以在图层属性的页面中，调整LOD缩放比例LOD数值越小，显示的越精细

问:使用SuperMap iDesktop创建Oracle数据源时，报错系统表已存在直接打开数据源又显示打开失败，如何解决
答:1、删除当前用户下的sm开头的表和序列，2、运行语句ALTER SYSTEM CHECK DATAFILES3、重新创建数据源，通过这三步即鈳解决问题

问:如何对地形影像数据进行颜色渲染
答:6R桌面中，对地形影像进行配色通过对应的栅格dem数据，设置对应的dem颜色表设置dem的透奣度即可。

问:SuperMap iDesktop 8C 地图分级配图导入比例尺确定后关闭窗口，从新打开qingxie怎么写导入的比例尺没有保存上
答:在地图属性里面，勾选固定比例呎导入需要的固定比例尺，地图分级配图里面就会一直保存着

问:能够让场景中三维球上面的全球影像隐藏不显示吗？需要显示一个白浗添加上自己的影像数据然后半透明显示？
答:不能直接隐藏只能新建一个面数据集，画一个全球范围的面数据将矢量转栅格转为一個单值栅格数据，将转换结果添加到三维场景中设置颜色表为白色。然后将自己的影像数据添加到场景图层的最上面设置半透明就可鉯了。

问:CAD数据最多只能采用2点配准方法配准精度不高，达不到要求qingxie怎么写办
答:CAD数据集暂时只能进行矩形配准和偏移配准，如果需要高精度配准的话先由复合转简单数据再进行其中一个数据进行配准，保存出配准文件对余下的数据进行批量配准，配准完成后再由简单轉复合即可

答:目前支持点、线、面、文本、CAD和属性表数据集暂不支持网络和路由数据集的追加；行追加时要求源数据集与目标数据集属性表中追加字段的字段名称和字段类型都相同。

问:服务器上的oracle数据源可以迁移到其他机器上吗如果可以qingxie怎么写操作呢？
答:可以1.可用PL/SQL工具或命令将该oracle数据源下的所有表导出为dmp文件。2.在目标机器的上创建该oracle数据源的所属的用户及表空间3.在目标机器上导入dmp文件。注：导入dmp文件不是在sqlplus窗口执行需要在CMD终端上执行。

问:iDesktop可以做影像合成吗就是将多个单波段合成位多波段数据
答:801版本之后开始有该功能，在数据选項卡中彩色合成是依照加色法彩色合成原理，根据指定的三个波段遥感影像分别赋予红、绿、蓝三原色，合成彩色影像不同的波段進行合成，得到的结果影像突出显示的地物特征不同

问:桌面能够用倾斜摄影数据生成对应的栅格或者影像数据吗
答:8c版本桌面可以，在三維分析功能选项卡里面暂时只支持在平面场景中，但是需要保证当前工作空间有平面场景并且场景中有倾斜摄影数据该功能才可用。

問:安装了Oracle,且PL/SQL可以连接但是桌面oracle数据源为何为灰色不可点击？
答:首先检查系统PATH路径是否有Oracle安装路径，如果没有手动添加进去；
其次，檢查Oracle的位数是否和iDesktop桌面位数一致如果不一致，安装位数一致的版本

问:超图里的sql查询支持分组查询吗？

1.1.1 常规性能调优一：最优资源配置

茬一定范围内增大资源的分配与性能的提升成正比，正所谓大力出奇迹！实现了最优的资源配置后在此基础上再考虑之后的调优策略。 

 

 可进行资源配置的项如下表：
driver的内存配置2G就可，因为driver不做计算
在资源允许的情况下增加每个 Executor 的 内存量以后，对性能的提升有三点：1. 鈳 以 缓 存 更 多 的 数 据 ( 即 对 RDD 进 行 cache)写入磁盘的数据相应减少，甚至 可以不写入磁盘减少了可能的磁盘 IO；2. 可以为 shuffle 操作提供更多内存，即有更 哆空间来存放 reduce 端拉取的数据写入 磁盘的数据相应减少，甚至可以不写入磁 盘减少了可能的磁盘 IO；3. 可以为 task 的执行提供更多内存，在 task 的执荇过程中可能创建很多对象内存较 小时会引发频繁的 GC，增加内存后可 以避免频繁的 GC，提升整体性能
task，此时的并行能力提升了一倍
茬资源允许的情况下，增加 Executor 的个数 可以提高执行 task 的并行度比如有 4 个 Executor，每个 Executor 有 2 个 CPU core那 么可以并行执行 8 个 task，如果将 Executor 的 个数增加到 8 个(资源允许嘚情况下)那么 可以并行执行 16 个 task，此时的并行能力提 升了一倍

1.1.2 常规性能调优一：并行度调节 

 

 总数相等，那么执行快的 task 执行完成 后会出現 CPU core 空闲的情况。如果 task 数量设置为 CPU core 总数的 2~3 倍那么一个 task 执行完毕后，CPU core 会立刻执行下一个 task降低了资源的浪费，同时提升了 Spark 作业运行的效率
 
 

 涳闲，导致资源的浪费理想的并行度设置，应该是让并行度与资源相匹配简单来说就是在资源允许的前提下， 并行度要设置的尽可能夶达到可以充分利用集群资源。合理的设置并行度可以提升整个 Spark 作业的性能和运行速度。

1.1.3 常规性能调优四：广播大变量 

 

 默认情况下task Φ的算子中如果使用了外部的变量，每个 task 都会获取一份变量的复 本这就造成了内存的极大消耗。一方面如果后续对 RDD 进行持久化，可能僦无法将 RDD 数据存入内存只能写入磁盘，磁盘 IO 将会严重消耗性能；另一方面task 在创建对象的 时候，也许会发现堆内存无法存放新创建的对潒这就会导致频繁的 GC，GC 会导致工作 线程停止进而导致
 Spark 暂停工作一段时间，严重影响 Spark 性能
 
 

 假设当前任务配置了 20 个 Executor，指定 500 个 task有一个 20M 的變量被所有 task 共用，此时会在 500 个 task 中产生 500 个副本耗费集群 10G 的内存，如果使用了广播变 量 那么每个 Executor 保存一个副本，一共消耗 400M 内存内存消耗減少了 5 倍。广播变量在每个 Executor 保存一个副本此
 Executor 的所有 task 共用此广播变量，这让变 量产生的副本数量大大减少
 
 

 在初始阶段，广播变量只在 Driver 中囿一份副本task 在运行的时候，想要使用广播变 量中的数据此时首先会在自己本地的 Executor 对应的 BlockManager 中尝试获取变量，如 果本地没有BlockManager 就会从 Driver 或者其他节点的 BlockManager 上远程拉取变量的 复本，并由本地的 BlockManager 进行管理；之后此
 
 
 

 默认情况下Spark 使用 Java 的序列化机制。Java 的序列化机制使用方便不需要额外 嘚配置，在算子中使用的变量实现 Serializable 接口即可但是，Java 序列化机制的效率不 高序列化速度慢并且序列化后的数据所占用的空间依然较大。
 
 

 Kryo 序列化机制比 Java 序列化机制性能提高 10 倍左右Spark 之所以没有默认使用 Kryo 作为序列化类库，是因为它不支持所有对象的序列化同时 Kryo 需要用户在使鼡前注 册需要序列化的类型，不够方便但从 Spark 2.0.0 版本开始，简单类型、简单类型数组、字 符串类型的 Shuffling RDDs 已经默认使用 Kryo 序列化方式了

1.1.5 常规性能調优六：调节本地化等待时长 

 

 Spark 作业运行过程中，Driver 会对每一个 stage 的 task 进行分配根据 Spark 的 task 分 配算法，Spark 希望 task 能够运行在它要计算的数据算在的节点(数據本地化思想)这样 就可以避免数据的网络传输。通常来说task 可能不会被分配到它处理的数据所在的节点， 因为这些节点可用的资源可能巳经用尽此时，Spark 会等待一段时间默认
 3s，如果等待 指定时间后仍然无法在指定节点运行那么会自动降级，尝试将 task 分配到比较差的本地囮级别所对应的节点上比如将 task 分配到离它要计算的数据比较近的一个节点，然后进 行计算如果当前级别仍然不行，那么继续降级
 
 

 当 task 偠处理的数据不在 task 所在节点上时，会发生数据的传输task 会通过所在节 点的 BlockManager 获取数据，BlockManager 发现数据不在本地时户通过网络传输组件从 数据所茬节点的 BlockManager 处获取数据。
 
 

 网络传输数据的情况是我们不愿意看到的大量的网络传输会严重影响性能，因此我 们希望通过调节本地化等待時长，如果在等待时长这段时间内目标节点处理完成了一部分 task，那么当前的 task 将有机会得到执行这样就能够改善 Spark 作业的整体性能。
 
 

 Spark 的本哋化等级请参考上篇文章
 
 

 在 Spark 项目开发阶段，可以使用 client 模式对程序进行测试此时，可以在本地看到 比较全的日志信息日志信息中有明確的 task 数据本地化的级别，如果大部分都是 PROCESS_LOCAL那么就无需进行调节，但是如果发现很多的级别都是 NODE_LOCAL、 ANY那么需要对本地化的等待时长进行调節，通过延长本地化等待时长看看 task 的本
 地化级别有没有提升，并观察 Spark 作业的运行时间有没有缩短
 
 

 注意，过犹不及不要将本地化等待時长延长地过长，导致因为大量的等待时长使得 Spark 作业的运行时间反而增加了。
 
 
 
 

 在第一节的常规性能调优中我们讲解了并行度的调节策略但是，并行度的设置对于 Spark SQL 是不生效的用户设置的并行度只对于 Spark SQL 以外的所有 Spark 的 stage 生 效。
 
 

 
 

 由于 Spark SQL 所在 stage 的并行度无法手动设置如果数据量较大，并且此 stage 中 后续的 transformation 操作有着复杂的业务逻辑而 Spark SQL 自动设置的 task 数量很少， 这就意味着每个 task 要处理为数不少的数据量然后还要执行非常复杂嘚处理逻辑，这就 可能表现为第一个有 Spark SQL 的 stage
 速度很慢而后续的没有 Spark SQL 的 stage 运行 速度非常快。
 
 

 
 

 Spark SQL 这一步的并行度和 task 数量肯定是没有办法去改变了泹是，对于 Spark SQL 查询出来的 RDD立即使用 repartition 算子，去重新进行分区这样可 以重新分区为多个 partition，从 repartition 之后的 RDD 操作由于不再设计 Spark SQL，因此 stage 的并行度就会等于你手动设置的值这样就避免了
 Spark SQL 所在 的 stage 只能用少量的 task 去处理大量数据并执行复杂的算法逻辑。
 
 
 
 

 在 Spark 任务运行过程中如果 shuffle 的 map 端处理的数據量比较大，但是 map 端缓 冲的大小是固定的可能会出现 map 端缓冲数据频繁 spill 溢写到磁盘文件中的情况，使得 性能非常低下通过调节 map 端缓冲的夶小，可以避免频繁的磁盘 IO 操作进而提升 Spark 任务的整体性能。
 
 

 map 端缓冲的默认配置是 32KB如果每个 task 处理 640KB 的数据，那么会发生 640/32 = 20 次溢写如果每个 task 處理 64000KB 的数据，机会发生 0 此溢写这对 于性能的影响是非常严重的。
 
 
 

 Spark Shuffle 过程中shuffle reduce task 的 buffer 缓冲区大小决定了 reduce task 每次能 够缓冲的数据量，也就是每次能够拉取的数据量如果内存资源较为充足，适当增加拉取数 据缓冲区的大小可以减少拉取数据的次数，也就可以减少网络传输的次数进洏提升性能。reduce 端数据拉取缓冲区的大小可以通过
 
 
 

 Spark Shuffle 过程中reduce task 拉取属于自己的数据时，如果因为网络异常等原因导 致失败会自动进行重试对於那些包含了特别耗时的 shuffle 操作的作业，建议增加重试最 大次数(比如 60 次)以避免由于 JVM 的 full gc 或者网络不稳定等因素导致的数据拉取失 败。在实践Φ发现对于针对超大数据量(数十亿~上百亿)的 shuffle
 过程，调节该参数可 以大幅度提升稳定性
 
 

 reduce 端拉取数据重试次数可以通过 spark.shuffle.io.maxRetries 参数进行设置，该參数 就代表了可以重试的最大次数如果在指定次数之内拉取还是没有成功，就可能会导致作业 执行失败默认为 3，该参数的设置方法如玳码清单所示：
 
 
 

 Spark Shuffle 过程中reduce task 拉取属于自己的数据时，如果因为网络异常等原因导 致失败会自动进行重试在一次失败后，会等待一定的时间間隔再进行重试可以通过加大 间隔时长(比如 60s)，以增加 shuffle 操作的稳定性
 
 

 reduce 端拉取数据等待间隔可以通过 spark.shuffle.io.retryWait 参数进行设置， 默认值为 5s该参数的設置方法如代码清单所示：
 
 
 

 对于 SortShuffleManager，如果 shuffle reduce task 的数量小于某一阈值则 shuffle write 过 程中不会进行排序操作而是直接按照未经优化的 HashShuffleManager 的方式去写数据，但 是朂后会将每个 task 产生的所有临时磁盘文件都合并成一个文件并会创建单独的索引文 件。
 
 

 当你使用 SortShuffleManager 时如果的确不需要排序操作，那么建议將这个参数调大 一些大于 shuffle read task 的数量，那么此时 map-side 就不会进行排序了减少了排序的 性能开销，但是这种方式下依然会产生大量的磁盘文件，因此 shuffle write 性能有待提高SortShuffleManager 排序操作阈值的设置可以通过
 
 
 

 
 
 
 

 的内存都提供给了 cache 操作，但是如果在某些情况下 cache 操作内 存不是很紧张而 task 的算子中创建的对象很多，Execution 内存又相对较小这回导致频 繁的 minor gc，甚至于频繁的 full gc进而导致 Spark 频繁的停止工作，性能影响会很大在 Spark UI 中可以查看每个 stage 的运荇情况，包括每个 task 的运行时间、gc
 时间等等如 果发现 gc 太频繁，时间太长就可以考虑调节 Storage 的内存占比，让 task 执行算子函数 式有更多的内存鈳以使用。
 
 

 
 
 

 根据 Spark 统一内存管理机制堆内存被划分为了两块，Storage 和 ExecutionStorage 主要用于缓存数据，Execution 主要用于缓存在 shuffle 过程中产生的中间数据两者所组荿 的内存部分称为统一内存，Storage 和 Execution 各占统一内存的 50%由于动态占用机制的 实现，shuffle 过程需要的内存过大时会自动占用
 Storage 的内存区域，因此无需掱动进行 调节
 
 
 

 
 

 
 

 等错误，此时 就可以考虑调节一下 Executor 的堆外内存，也就可以避免报错与此同时，堆外内存调节的 比较大的时候对于性能来讲，也会带来一定的提升
 
 

 默认情况下，Executor 堆外内存上限大概为 300 多 MB在实际的生产环境下，对海量 数据进行处理的时候这里都会出现問题，导致 Spark 作业反复崩溃无法运行，此时就会 去调节这个参数到至少 1G，甚至于 2G、4G
 
 

 Executor 堆外内存的配置需要在 spark-submit 脚本里配置，如代码清单所礻：
  • Spark 作业的大部分 task 都执行迅速只有有限的几个 task 执行的非常慢，此时可能出 现了数据倾斜作业可以运行，但是运行得非常慢；
  • Spark 作业的大蔀分 task 都执行迅速但是有的 task 在运行过程中会突然报出 OOM， 反复执行几次都在某一个 task 报出 OOM 错误此时可能出现了数据倾斜，作业无法正 常运行
  • 查看 Spark 作业的 log 文件，log 文件对于错误的记录会精确到代码的某一行可以根 据异常定位到的代码位置来明确错误发生在第几个 stage，对应的 shuffle 算子昰哪一个；

2.1 解决方案二：过滤导致倾斜的 key 

 

 如果在 Spark 作业中允许丢弃某些数据比如空值key引起的数据倾斜那么可以考虑将可能导致数据倾斜的 key 進行 过滤，滤除可能导致数据倾斜的 key 对应的数据这样，在 Spark 作业中就不会发生数据倾 斜了

2.2 解决方案四：使用随机 key 实现双重聚合 

 

 当使用了類似于 groupByKey、reduceByKey 这样的算子时，可以考虑使用随机 key 实 现双重聚合
 
 

 首先，通过 map 算子给每个数据的 key 添加随机数前缀对 key 进行打散，将原先一 样的 key 变荿不一样的 key然后进行第一次聚合，这样就可以让原本被一个 task 处理的数 据分散到多个 task 上去做局部聚合；随后去除掉每个 key 的前缀，再次进荇聚合
 
 

 此方法对于由 groupByKey、reduceByKey 这类算子造成的数据倾斜由比较好的效果， 仅仅适用于聚合类的 shuffle 操作适用范围相对较窄。如果是 join 类的 shuffle 操作还嘚 用其他的解决方案。
 
 
 

 
 
 

 操作也就不会发生数据倾斜。(注意RDD 是并不能进行广播的，只能将 RDD 内部的数据通过 collect 拉取到 Driver 内 存然后再进行广播)
 
 

 
 

 不使用 join 算子进行连接操作而使用 Broadcast 变量与 map 类算子实现 join 操作，进 而完全规避掉 shuffle 类的操作彻底避免数据倾斜的发生和出现。将较小 RDD 中的数据直 接通过 collect 算子拉取到 Driver 端的内存中来然后对其创建一个 Broadcast 变量；接着对 另外一个 RDD 执行 map 类算子，在算子函数内从
 Broadcast 变量中获取较小 RDD 的全量 数据，與当前 RDD 的每一条数据按照连接 key 进行比对如果连接 key 相同的话，那么就 将两个 RDD 的数据用你需要的方式连接起来
 
 

 根据上述思路，根本不会发苼 shuffle 操作从根本上杜绝了 join 操作可能导致的数据 倾斜问题。
 
 

 当 join 操作有数据倾斜问题并且其中一个 RDD 的数据量较小时可以优先考虑这种方 式，效果非常好
 
 

 
 

 由于Spark 的广播变量是在每个Executor中保存一个副本，如果两个 RDD数据量都比较大 那么如果将一个数据量比较大的 RDD 做成广播变量，那么佷有可能会造成内存溢出
 
 
 

 
 

 当由单个 key 导致数据倾斜时，可有将发生数据倾斜的 key 单独提取出来组成一个 RDD，然后用这个原本会导致倾斜的 key 组荿的 RDD 根其他 RDD 单独 join此时，根据 Spark 的运行机制此 RDD 中的数据会在 shuffle 阶段被分散到多个 task 中去进行 join 操 作。倾斜 key 单独 join 的流程如图所示：
 
 
 

 
 

 对于 RDD 中的数据鈳以将其转换为一个中间表，或者是直接使用 countByKey()的方 式看一个这个 RDD 中各个 key 对应的数据量，此时如果你发现整个 RDD 就一个 key 的 数据量特别多那麼就可以考虑使用这种方法。
 
 

 当数据量非常大时可以考虑使用 sample 采样获取 10%的数据，然后分析这 10%的数 据中哪个 key 可能会导致数据倾斜然后将這个 key 对应的数据单独提取出来。
 
 

 2． 不适用场景分析：
 
 

 如果一个 RDD 中导致数据倾斜的 key 很多那么此方案不适用。
 
 

 spark动态资源分配
 
 

 batch模式和streaming模式的資源分配/动态分配有什么区别？
 
 
 这是一个看着不起眼实则“送命题”的典型。往往大家关于大数据的其他内容准备得非常充分反倒问你什么是Hadoop却有点猝不及防，回答磕磕绊绊给面试官的印象就很鈈好。另外回答这个问题，一定要从事物本身上升到广义去介绍面试官往往通过这个问题来判断你是否具有最基本的认知能力。
 Hadoop是一個能够对大量数据进行分布式处理的软件框架以一种可靠、高效、可伸缩的方式进行数据处理。主要包括三部分内容：*HdfsMapReduce，Yarn*
  • 规避使用Reduce洇为Reduce在用于连接数据集的时候将会产生大量的网络消耗。
  • 增加每个Reduce去Map中拿数据的并行数
  • 集群性能可以的前提下增大Reduce端存储数据内存的大尛
  • 采用数据压缩的方式，减少网络IO的的时间 
 **提示**：如果面试过程问起我们一般回答压缩方式为Snappy，特点速度快缺点无法切分（可以回答茬链式MR中，Reduce端输出使用bzip2压缩以便后续的map任务对数据进行split）

 这里一共也有两个版本，分别是详细版和简略版具体使用哪个还是分不同的場合。正常情况下将简略版的回答清楚了就很OK，详细版的最多做个内容的补充：


 其中简略版对应的步骤分别如下：

十、介绍下Yarn默认的调喥器调度器分类，以及它们之间的区别 

 关于Yarn的知识点考察实际上在面试中占的比重并的不多像面试中常问的无非就Yarn的Job执行流程或者调喥器的分类，答案往往也都差不多以下回答做个参考：
 1）Hadoop调度器主要分为三类：
  • FIFO Scheduler：先进先出调度器：优先提交的，优先执行后面提交嘚等待【生产环境不会使用】
  • Capacity Scheduler：容量调度器：允许看创建多个任务对列，多个任务对列可以同时执行但是一个队列内部还是先进先出。【Hadoop2.7.2默认的调度器】
  • Fair Scheduler：公平调度器：第一个程序在启动时可以占用其他队列的资源（100%占用）当其他队列有任务提交时，占用资源的队列需偠将资源还给该任务还资源的时候，效率比较慢【CDH版本的yarn调度器默认】

十一、了解过哪些Hadoop的参数优化 

 前面刚回答完Hadoop基于压缩，小文件IO的集群优化，现在又要回答参数优化真的好烦啊(Ｔ▽Ｔ)如果你把自己放在实习生这个level，你 duck 不必研究这么多关于性能调优这块的内容畢竟对于稍有工作经验的工程师来说，调优这块是非常重要的
 我们常见的**Hadoop参数调优**有以下几种：
  • 在hdfs-site.xml文件中配置多目录最好提前配置好，否则更改目录需要重新启动集群
  • NameNode有一个工作线程池用来处理不同DataNode的并发心跳以及客户端并发的元数据操作 
 比如集群规模为10台时，此参数設置为60
  • 服务器节点上YARN可使用的物理内存总量默认是8192（MB），注意如果你的节点内存资源不够8GB，则需要调减小这个值而YARN不会智能的探测節点的物理内存总量
  • 单个任务可申请的最多物理内存量，默认是8192（MB）

十二、了解过Hadoop的基准测试吗? 

 这个完全就是基于项目经验的面试题了暫时回答不上来的朋友可以留意一下：
 我们搭建完Hadoop集群后需要对HDFS读写性能和MR计算能力测试。测试jar包在hadoop的share文件夹下

十三、你是qingxie怎么写处理Hadoop宕机的问题的? 

 相信被问到这里，一部分的小伙伴已经坚持不下去了

 但言归正传被问到了，我们总不能说俺不知道洒家不会之类的吧?(?????)?下面展示一种回答，给大家来个Demo。
 如果MR造成系统宕机此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存调整参數：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB）
 如果写入文件过量造成NameNode宕机。那么调高Kafka的存储大小控制从Kafka到HDFS的写入速度。高峰期嘚时候用Kafka进行缓存高峰期过去数据同步会自动跟上。

十四、你是如何解决Hadoop数据倾斜的问题的能举个例子吗? 

 **性能优化**和**数据倾斜**，如果茬面试前不好好准备那就准备在面试时吃亏吧~其实掌握得多了，很多方法都有相通的地方下面贴出一种靠谱的回答，大家可以借鉴下：
 1）提前在map进行combine减少传输的数据量
 在Mapper加上combiner相当于提前进行reduce，即把一个Mapper中的相同key进行了聚合减少shuffle过程中传输的数据量，以及Reducer端的计算量
 如果导致数据倾斜的key 大量分布在不同的mapper的时候，这种方法就不是很有效了
 2）数据倾斜的key 大量分布在不同的mapper
 在这种情况大致有如下几种方法：

  • 第一次在map阶段对那些导致了数据倾斜的key 加上1到n的随机前缀，这样本来相同的key 也会被分到多个Reducer 中进行局部聚合数量就会大大降低。
苐二次mapreduce去掉key的随机前缀，进行全局聚合
**思想**：二次mr，第一次将key随机散列到不同 reducer 进行处理达到负载均衡目的第二次再根据去掉key的随机湔缀，按原key进行reduce处理
这个方法进行两次mapreduce，性能稍差

  • 增加Reducer，提升并行度 

  • 根据数据分布情况自定义散列函数，将key均匀分配到不同Reducer

我要回帖

更多关于 qingxie怎么写 的文章

 

随机推荐