Doris-0.15 thirdparty build

[spaces-X]

version: master branch commit id is 7574d39

system info: Linux version 3.10.0-229.el7.x86_64 ([email protected]) (gcc version 4.8.2 20140120 (Red Hat 4.8.2-16) (GCC) ) #1 SMP Fri Mar 6 11:36:42 UTC 2015

Thirdparty has already been built.

Got errors when build be by ./build.sh --be --clean:

incubator-doris/be/src/olap/utils.h:29:10: fatal error: filesystem: No such file or directory

[spaces-X]

背景

doris 目录在此文档中记为$DORIS_HOME

基于doris branch-0.15 commit id:7574d39

system info: Linux version 3.10.0-229.el7.x86_64 ([email protected]) (gcc version 4.8.2 20140120 (Red Hat 4.8.2-16) (GCC) ) #1 SMP Fri Mar 6 11:36:42 UTC 2015

除非必须要在物理机上进行编译，否则尽量使用 Docker 用社区提供的image 编译

下载第三方库源码

下载第三方库源码的命令如下：

sh download-thirdparty.sh

下载过程中由于网络问题经常下载到一半就断掉，导致比较耽误事，写了一个脚本retry.sh用于不断重试

#!/bin/sh

count=0     
flag=0      
while [ 0 -eq 0 ]
do
    echo ".................. job begin  .................."
    flag=`bash download-thirdparty.sh`
    if [ flag -eq 0 ]; then    
        echo "--------------- download complete ---------------"
        break;
    else                       
        count=$[${count}+1]
        if [ ${count} -eq 6000 ]; then     #指定重试次数，重试超过6000次即失败
            echo 'timeout,exit.'
            break
        fi
        echo "...............##retry download in 5 seconds## .........."
        sleep 5
    fi
done

编译第三方库

在编译第三方库的时候需要做一些环境变量的调整如下：

export LD_LIBRARY_PATH=/usr/local/lib:/usr/lib
export DORIS_GCC_HOME=/PATH/TO/GCC-7.3.0   
# GCC 7.3.0 succeeded in the end but gcc 10.3.0 failed.
# other gcc version is unknown

sh build-thirdparty.sh

编译Doris

编译前将gcc 版本调整到gcc-10.3.0 ，否则会报错 fatal error: filesystem: No such file or directory

export DORIS_GCC_HOME=/PATH/TO/GCC-10.3.0   
sh build.sh --be --clean

排坑

1. fatal error: filesystem: No such file or directory

解决方案：把GCC版本调到10.3.0，因为低版本的filesystem为experimental/filesystem，在代码里没有这么写，高版本中filesystem 正式从experimental目录中移除了

2. 找不到 arrow/util/config.h 或者类似的 找不到xxx.h xxx.cc 文件

解决方案：查看$DORIS_HOME/thirdparty/installed/include 这个路径下 有没有对应的头文件，如果没有说明build thirdparty 过程不对，重新编译一遍。

3. 编译thirdparty时 报错 "$DORIS_HOME/thirdparty/installed/bin/lz4c': File exists"

解决方案: 删除$DORIS_HOME/thirdparty/installed 文件夹后重新编译