impala分批读取数据:0518-如何在Impala中使用UDF获取SessionId
impala分批读取数据:0518-如何在Impala中使用UDF获取SessionIdwget https://codeload.github.com/cloudera/Impala/zip/cdh5-trunk 解压到当前目录4. 下载Impala源码下载cmake-3.3.2-1.gf.el7.x86_64.rpm 并制作本地yum源 可到https://pkgs.org下载:yum -y install cmake-3.3.2-1.gf.el7.x86_64 3. 安装高版本的g 编译器,impala源码中引入了c 11新特性,g 太低将无法编译 此处安装的是7.3.1版本。sudo yum -y install centos-release-scl sudo yum -y install devtoolset-7 scl enable devtoolset-7 bash 验证g :
修改/etc/profile添加到环境变量
export MAVEN_HOME=/usr/local/apache-maven-3.6.0
另外,如果有配anaconda的环境变量,暂时注释
验证maven:
2. 升级cmake
下载cmake-3.3.2-1.gf.el7.x86_64.rpm 并制作本地yum源 可到https://pkgs.org下载:
yum -y install cmake-3.3.2-1.gf.el7.x86_64
3. 安装高版本的g 编译器,impala源码中引入了c 11新特性,g 太低将无法编译 此处安装的是7.3.1版本。
sudo yum -y install centos-release-scl sudo yum -y install devtoolset-7 scl enable devtoolset-7 bash
验证g :
4. 下载Impala源码
wget https://codeload.github.com/cloudera/Impala/zip/cdh5-trunk
解压到当前目录
unzip Impala-cdh5-trunk.zip
将该目录添加到环境变量IMPALA_HOME
export IMPALA_HOME=/data/Impala-cdh5-trunk
source /etc/profile
5. 安装依赖
yum install -y redhat-lsb.x86_64 yum -y group install "Development Tools" yum -y install git ant libevent-devel automake libtool flex bison gcc-c yum -y install openssl-devel make yum -y install doxygen.x86_64 glib-devel python-devel bzip2-devel svn libevent-devel krb5-workstation yum -y install openldap-devel db4-devel python-setuptools python-pip cyrus-sasl* postgresql postgresql-server ant-nodeps lzo-devel lzop yum -y install boost boost-devel
6. 编译源码
进入impala源码目录
./buildall.sh -notests(该命令将编译整个工程,耗时较长) 或者执行: ./buildall.sh -cmake_only
上述命令执行完毕之后检查以下几点:
be/generated-sources下是否有gen-cpp目录及内部是否有文件: