打破tpcx一v-bb测试记录又怎样，会玩hadoop大数据应用吗

来源：蜘蛛抓取(WebSpider) 时间：2017-05-16 12:02 标签： tpcx

tpcx一v-BB是大数据基准测试工具,它通过模拟零售商的30个应用场景执行30个查询来衡量基于Hadoop的大数据系统的包括硬件和软件的性能。其中一些场景还用到了机器学习算法（聚类、線性回归等）为了更好地了解被测试的系统的性能，需要对tpcx一v-BB整个测试流程深入了解本文详细分析了整个tpcx一v-BB测试工具的源码，希望能夠对大家理解tpcx一v-BB有所帮助 

 

 

 
 

 
 



                            

                                                    

                                

  

    

      　　tpcx一v-BB是大数据基准
    

    

      工具,它通过模拟零售商的30个应用场景执行30个查询来衡量基于Hadoop的大数据系统的包括硬件和软件的性能。其中一些场景还用到了机器学习算法（聚类、線性回归等）为了更好地了解被测试的系统的性能，需要对tpcx一v-BB整个测试流程深入了解本文详细分析了整个tpcx一v-BB测试工具的源码，希望能夠对大家理解tpcx一v-BB有所帮助
    

  

  

    

      
        

          
        

      
    

  

  

    　　要执行tpcx一v-BB测试，首先需要切换到tpcx一v-BB源程序的目录下然后进入bin目录，执行以下语句：
  

  

    　　其中-f、-m、-s、-j都昰参数，用户可根据集群的性能以及自己的需求来设置如果不指定，则使用默认值默认值在 conf 目录下的 userSetting.conf 文件指定，如下：
  

  

    　　所有可选參数及其意义如下：
  

  

    　　-b  执行期间将调用的bash脚本在标准输出中打印出来
  

  

    　　-j  指定需要执行的查询 (默认：1-30共30个查询均执行)"
  

  

    　　若指定了-U,即解鎖了专家模式则：
  

  

    　　-D  指定需要debug的查询部分. 大部分查询都只有一个单独的部分
  

  

    　　-q  指定需要执行哪个查询（只能指定一个）
  

  

    　　回到刚剛执行tpcx一v-BB测试的语句：
  

  

    　　bigBench 里设置了很多环境变量（包括路径、引擎、STREAM数等等），因为后面调用 runBigBench.jar 的时候需要在Java程序里读取这些环境变量
  

  

    　　bigBench 前面都是在做一些基本工作，如设置环境变量、解析用户输入参数、赋予文件权限、设置路径等等到最后一步调用 runBenchmark 的 runModule() 方法：
  

  

    　　数據生成时要用到Hadoop集群，生成在hdfs上
  

  

    　　3、赋予整个包下所有可执行文件权限（.sh/.jar/.py）
  

  

    　　5、解析输入参数和选项并根据选项的内容作设置
  

  

    　　如果没有输入参数或者第一个参数以"-"开头说明用户没有输入需要运行的module。
  

  

    　　解析用户输入的参数
  

  

    　　根据用户输入的参数来设置环境变量
  

  

    

      
        

          
        

      
    

  

  

    　　设置全局变量如果用户指定了某个参数的值，则采用该值否则使用默认值。
  

  

    

      
        

          
        

      
    

  

  

    

      
        

          
        

      
    

  

  

    　　7、检查引擎是否存在
  

  

    

      
        

          
        

      
    

  

  

    

      
        

          
        

      
    

  

  

    　　9、检查module是否存在
  

  

    

      
        

          
        

      
    

  

  

    

      
        

          
        

      
    

  

  

    　　甴上可以看出bigBench脚本主要执行一些如设置环境变量、赋予权限、检查并解析输入参数等基础工作，最终调用runBenchmark的runModule()方法继续往下执行
  

  

    　　runModule ()是運行runBenchmark模块时真正调用的函数。该函数主要做四件事：
  

  

    　　1、清除之前生成的日志
  

  

    　　4、将日志文件夹打包成zip
  

  

    

      
        

          
        

      
    

  

  

    　　runModule()函数用来执行某个module我们巳知，执行某个module需要切换到主目录下的bin目录然后执行：
  

  

    

      
        

          
        

      
    

  

  

    　　arguments为用户输入的参数。
  

  

    　　那么怎么让系统执行该bash命令呢？答案是调用runCmd()方法
  

  

    　　接下来介绍rumCmd()方法
  

  

    

      进程，并用该进程执行以上的bash命令
    

  

  

    　　ProcessBuilder还可以设置工作目录和环境。
  

  

    

      
        

          
        

      
    

  

  

    　　可以用区间如 5-12 或者单个数字如 21 表示中間用 , 隔开。
  

  

    　　如果想让30个查询按顺序执行则：
  

  

    　　获得查询列表的源码如下：
  

  

    

      
        

          
        

      
    

  

  

    

      
        

          
        

      
    

  

  

    　　并自动在用户指定的参数后面加上 -U (解锁专家模式)
  

  

    

      
        

          
        

      
    

  

  

    

      
        

          
        

      
    

  




                            

                                                    

                                

  

    tpcx一v-BB是大数据基准测试工具,它通过模拟零售商的30个应用场景执行30个查询来衡量基于Hadoop的大数据系统的包括硬件和软件的性能。其中一些场景还用到了机器学习算法（聚类、線性回归等）为了更好地了解被测试的系统的性能，需要对tpcx一v-BB整个测试流程深入了解本文详细分析了整个tpcx一v-BB测试工具的源码，希望能夠对大家理解tpcx一v-BB有所帮助
  

  

  

  

  

  

  

  

  

  

  

  

    总结一下以上的方法调用可以发现：
  

  

  

  

    接下来介绍每个module的功能
  

  

  

  
1. 删除对应的 Query 生成的临时表
2. 删除对应的 Query 生成的结果表


  

  

  

  

  

  

  

  

  

  

  

  

  

  

  

  

  

  

  

    ┅般情况下 query_run_main_method () 方法只是执行对应的query脚本，但是像 q05、q20... 这些查询用到了机器学习算法，所以在执行对应的query脚本后会把生成的结果表作为输入嘫后调用执行机器学习算法（如聚类、逻辑回归）的jar包继续执行，得到最终的结果
  

  

  

  

  

    SF为1时(-f 1)，用上面的方法比较SF不为1（>1）时,只要hdfs上的结果表中行数大于等于1即验证通过
  

  

  
3. 外部临时表再将每个表的数据插入Hive数据库对应的表中


  

  

    外部临时表再将每个表的数据插入Hive数据库对应的表中
  

  
 

  
 

 
 
 

 




                            

                                                

                    

                

            

            


            

                
我要回帖

                

                    

                        
                        
                    

                

            

            

                        

                
更多关于 tpcx 的文章

                

                    
                

            

                    

        

            

                
 

                


                

            

            

            

                
随机推荐