快捷搜索:  汽车  科技

impala分批读取数据:0518-如何在Impala中使用UDF获取SessionId

impala分批读取数据:0518-如何在Impala中使用UDF获取SessionIdwget https://codeload.github.com/cloudera/Impala/zip/cdh5-trunk 解压到当前目录4. 下载Impala源码下载cmake-3.3.2-1.gf.el7.x86_64.rpm 并制作本地yum源 可到https://pkgs.org下载:yum -y install cmake-3.3.2-1.gf.el7.x86_64 3. 安装高版本的g 编译器,impala源码中引入了c 11新特性,g 太低将无法编译 此处安装的是7.3.1版本。sudo yum -y install centos-release-scl sudo yum -y install devtoolset-7 scl enable devtoolset-7 bash 验证g :

修改/etc/profile添加到环境变量

export MAVEN_HOME=/usr/local/apache-maven-3.6.0

另外,如果有配anaconda的环境变量,暂时注释

impala分批读取数据:0518-如何在Impala中使用UDF获取SessionId(1)

验证maven:

impala分批读取数据:0518-如何在Impala中使用UDF获取SessionId(2)

2. 升级cmake

下载cmake-3.3.2-1.gf.el7.x86_64.rpm 并制作本地yum源 可到https://pkgs.org下载:

yum -y install cmake-3.3.2-1.gf.el7.x86_64

3. 安装高版本的g 编译器,impala源码中引入了c 11新特性,g 太低将无法编译 此处安装的是7.3.1版本。

sudo yum -y install centos-release-scl sudo yum -y install devtoolset-7 scl enable devtoolset-7 bash

验证g :

impala分批读取数据:0518-如何在Impala中使用UDF获取SessionId(3)

4. 下载Impala源码

wget https://codeload.github.com/cloudera/Impala/zip/cdh5-trunk

解压到当前目录

unzip Impala-cdh5-trunk.zip

将该目录添加到环境变量IMPALA_HOME

export IMPALA_HOME=/data/Impala-cdh5-trunk

impala分批读取数据:0518-如何在Impala中使用UDF获取SessionId(4)

source /etc/profile

5. 安装依赖

yum install -y redhat-lsb.x86_64 yum -y group install "Development Tools" yum -y install git ant libevent-devel automake libtool flex bison gcc-c yum -y install openssl-devel make yum -y install doxygen.x86_64 glib-devel python-devel bzip2-devel svn libevent-devel krb5-workstation yum -y install openldap-devel db4-devel python-setuptools python-pip cyrus-sasl* postgresql postgresql-server ant-nodeps lzo-devel lzop yum -y install boost boost-devel

6. 编译源码

进入impala源码目录

./buildall.sh -notests(该命令将编译整个工程,耗时较长) 或者执行: ./buildall.sh -cmake_only

上述命令执行完毕之后检查以下几点:

be/generated-sources下是否有gen-cpp目录及内部是否有文件:

impala分批读取数据:0518-如何在Impala中使用UDF获取SessionId(5)

猜您喜欢: