编译pgo环境搭建.md · LiansunT/OHCompilerDaily

## 下载源码并编译，生成需要的lib和产物
    本文档给出的参考链接可供参考，本文档尽可能做到使阅读者仅需按照本文档一个操作。当产生疑惑时再跳转原文档查询。
    当源文档更新时，本文档当尽可能保持同步更新。
###  准备环境: 可参考[ArkCompiler开发指导](https://gitee.com/ark_standalone_build/docs)，亦可不阅读，只看本文档。
推荐操作系统Ubuntu 22.04.2 LTS及以上。

1. 安装依赖工具。
    > 这一步可能不需要，是操作系统的一些依赖，linux可能已经装了。
   ```shell
   sudo apt-get update && sudo apt-get install python ruby python3-pip git-lfs gcc-multilib g++-multilib zlib1g-dev libc++1 curl nodejs
   ```
   
2. 安装repo工具。
    > 这个部分同一个linux环境(一个用户)执行一次即可，无需每次重复执行。
    ```shell
    mkdir ~/bin/
    curl https://gitee.com/oschina/repo/raw/fork_flow/repo-py3 > ~/bin/repo
    chmod a+x ~/bin/repo
    export PATH=~/bin:$PATH
    pip3 install -i https://pypi.tuna.tsinghua.edu.cn/simple requests
    ```
3. 下载源码。
    ```shell
    mkdir -p ~/your_dir/ArkCompiler  # 自己指定一个目录进去，
    cd ~/your_dir/ArkCompiler  # 文件会下载到此
    repo init -u https://gitee.com/ark-standalone-build/manifest.git -b master
    repo sync -c -j8
    repo forall -c 'git lfs pull'
    ```
    > 当源码更新时，不建议pull，而是建议全删除重新下载，不过这将花费较长的时间。
4. 安装编译器及二进制工具。
    ```shell
    ./prebuilts_download.sh
    ```
   5. [设置安卓开发环境步骤](./android_development_environment_helper.md)。
    >    这个部分同一个linux环境(一个用户)执行一次即可，无需每次重复执行。
      1. 下载解压ANDROID命令行工具。
          - path-to-android-commandlinetools：安卓命令行工具解压缩目录，用户自行指定。
          ```shell
          mkdir -p ${path-to-android-commandlinetools}
          wget https://dl.google.com/android/repository/commandlinetools-linux-9477386_latest.zip
          unzip commandlinetools-linux-9477386_latest.zip -d ${path-to-android-commandlinetools}
          ```

2. 安装ANDROID软件开发包。
          - path-to-android-sdk：安卓软件开发包安装目录，用户自行指定。
          ```shell
          mkdir -p ${path-to-android-sdk}
          ${path-to-android-commandlinetools}/cmdline-tools/bin/sdkmanager --install "ndk-bundle" --sdk_root=${path-to-android-sdk}
          ${path-to-android-commandlinetools}/cmdline-tools/bin/sdkmanager --install "ndk;21.3.6528147" --sdk_root=${path-to-android-sdk}
          ${path-to-android-commandlinetools}/cmdline-tools/bin/sdkmanager --install "cmake;3.10.2.4988404" --sdk_root=${path-to-android-sdk}
          ${path-to-android-commandlinetools}/cmdline-tools/bin/sdkmanager --install "platforms;android-29" --sdk_root=${path-to-android-sdk}
          ${path-to-android-commandlinetools}/cmdline-tools/bin/sdkmanager --install "build-tools;28.0.3" --sdk_root=${path-to-android-sdk}
          ```
    
      3. 设置ANDROID环境变量。
          - 如需环境变量在下一次打开终端时仍生效，则将设置环境变量的命令行写入~/.bashrc文件。
          ```shell
          export ANDROID_HOME=${path-to-android-sdk}
          export PATH=${ANDROID_HOME}/tools:${ANDROID_HOME}/tools/bin:${ANDROID_HOME}/build-tools/28.0.3:${ANDROID_HOME}/platform-tools:${PATH}
          ```
      4. 样例
   ```doctest
   mkdir -p ~/lsl/soft/android_tools
   wget https://dl.google.com/android/repository/commandlinetools-linux-9477386_latest.zip
   unzip commandlinetools-linux-9477386_latest.zip -d ~/lsl/soft/android_tools

mkdir -p /mnt/data/l00526389/lsl/soft/android_tools/android/sdk
   ~/lsl/soft/android_tools/cmdline-tools/bin/sdkmanager --install "ndk-bundle" --sdk_root=/mnt/data/l00526389/lsl/soft/android_tools/android/sdk
   ~/lsl/soft/android_tools/cmdline-tools/bin/sdkmanager --install "ndk;21.3.6528147" --sdk_root=/mnt/data/l00526389/lsl/soft/android_tools/android/sdk
   ~/lsl/soft/android_tools/cmdline-tools/bin/sdkmanager --install "cmake;3.10.2.4988404" --sdk_root=/mnt/data/l00526389/lsl/soft/android_tools/android/sdk
   ~/lsl/soft/android_tools/cmdline-tools/bin/sdkmanager --install "platforms;android-29" --sdk_root=/mnt/data/l00526389/lsl/soft/android_tools/android/sdk
   ~/lsl/soft/android_tools/cmdline-tools/bin/sdkmanager --install "build-tools;28.0.3" --sdk_root=/mnt/data/l00526389/lsl/soft/android_tools/android/sdk
   
   cp -r /mnt/data/l30052515/lsl/soft/android_tools ~
   ```
- 这一步是为了给设备测试用，生成安卓相关产物的。
  - 由于步骤较多，涉及到一些环境变量，请按照文档全部粘贴在本地记事本软件中，一起修改完了再执行(不建议用脚本批量)。

### 编译产物(编译ts用的编译器、解释器、库文件)
   - `开发步骤`
   - 运行`python ark.py x64.release`:
     - 这步将花费较长时间;
     - 将生成**在linux上**执行需要的文件(后续都要用到)
       - 编译用的三个产物:
         - out/x64.release/arkcompiler/ets_frontend/es2abc : 用来把ts文件编译成abc
         - out/x64.release/arkcompiler/ets_runtime/ark_js_vm : 根据abc生成ai、an
         - out/x64.release/arkcompiler/ets_runtime/ark_aot_compiler : 根据abc、ai、an生成ap
       - 依赖的so目录：
         - out/x64.release/arkcompiler/ets_runtime/libark_jsruntime.so
         - out/x64.release/thirdparty/icu/libhmicui18n.so
   - 运行`python ark.py android_arm64.release`:
     - 这步将花费较长时间;
     - 将生成**在安卓上**执行需要的文件(注意在linux上用不到，但是推向设备的文件要换成这些)
       - ./out/android_arm64.release/arkcompiler/ets_runtime/ark_js_vm
       - ./out/android_arm64.release/arkcompiler/ets_runtime/libark_jsruntime.so
       - ./out/android_arm64.release/clang_x64/thirdparty/icu/libhmicui18n.so

### 生成pgo，可参考[如何编译abc、aot、pgo.md ](https://gitee.com/li-xingfu-1/ark_benchmark_daily/blob/master/%E5%A6%82%E4%BD%95%E7%BC%96%E8%AF%91abc%E3%80%81aot%E3%80%81pgo.md)，亦可不阅读，只看本文档。
- 注意，编译过程是在linux上操作的，因此使用的`产物文件`和`库文件`，均为`x64.release`目录下的产物。
- 特别注意：我们的目标是产生在设备上运行的二进制等，因此`ark_aot_compiler`命令要添加参数`--compiler-target-triple=aarch64-unknown-linux-gnu test.abc`
  - 不加的话就是在linux上跑。
- 可以增加`--log-level=info --compiler-opt-inlining=true`来打印详细信息。
- example:    
  ```commandline
  export LD_LIBRARY_PATH=../out/x64.release/arkcompiler/ets_runtime:../out/x64.release/thirdparty/icu
  ./es2abc helloworld.ts   --module --merge-abc --extension=ts --output helloworld.abc
  ./ark_js_vm --enable-pgo-profiler=true --compiler-pgo-profiler-path=./helloworld.ap --entry-point=helloworld helloworld.abc
  ./ark_aot_compiler --log-level=info --enable-pgo-profiler=true --compiler-opt-inlining=true --compiler-pgo-profiler-path=./helloworld.ap  --aot-file=./helloworld --compiler-target-triple=aarch64-unknown-linux-gnu helloworld.abc
  ```
  
 
- 解释这四步:
  - 导入依赖的库文件
  - 生成abc
  - 生成ap
  - 生成an\ai
- 另外
  - 如果第三行报错信息提示an文件是空的，那么可能是你的ts写的过于简单(比如只有一个print)。需要写个for之类的才能生成热点代码。
  - ~~感觉这应该提bug。~~
  - 第三行执行连续执行第二下也会报错，解决方法是把1~3行重新跑一边。
  - ~~感觉这也应该提bug。~~
### 推到设备上测试。
    - 需要推的文件:
      - abc\ai\an\ap
      - ark_js_vm\libark_jsruntime.so\libhmicui18n.so。
        - 注意，并不是刚才编译用的那几个，而是`out/android_arm64.release`目录下的
---
### 单双框架测试流程：
> 双框架：在host侧编译所有，只需推abc+an\ai测试
```commandline
  export LD_LIBRARY_PATH=../out/x64.release/arkcompiler/ets_runtime:../out/x64.release/thirdparty/icu
  ./es2abc helloworld.ts   --module --merge-abc --extension=ts --output helloworld.abc
  ./ark_js_vm --enable-pgo-profiler=true --compiler-pgo-profiler-path=./helloworld.ap --entry-point=helloworld helloworld.abc
  ./ark_aot_compiler --log-level=info --enable-pgo-profiler=true --compiler-opt-inlining=true --compiler-pgo-profiler-path=./helloworld.ap  --aot-file=./helloworld 
  
  ./ark_js_vm --enable-pgo-profiler=true --aot-file=./helloworld --compiler-pgo-profiler-path=./helloworld.ap --entry-point=helloworld helloworld.abc
  ./ark_aot_compiler --log-level=info --enable-pgo-profiler=true --compiler-opt-inlining=true --compiler-pgo-profiler-path=./helloworld.ap  --aot-file=./helloworld --compiler-target-triple=aarch64-unknown-linux-gnu helloworld.abc
```
> 单框架:host侧编abc，只需推abc；在端侧编译并运行
```commandline
  export LD_LIBRARY_PATH=../out/x64.release/arkcompiler/ets_runtime:../out/x64.release/thirdparty/icu
  ./es2abc helloworld.ts   --module --merge-abc --extension=ts --output helloworld.abc
  ./ark_js_vm --enable-pgo-profiler=true --compiler-pgo-profiler-path=./helloworld.ap --entry-point=helloworld helloworld.abc
  ./ark_aot_compiler --log-level=info --enable-pgo-profiler=true --compiler-opt-inlining=true --compiler-pgo-profiler-path=./helloworld.ap  --aot-file=./helloworld --compiler-target-triple=aarch64-unknown-linux-gnu helloworld.abc
  
  ./ark_js_vm --enable-pgo-profiler=true --aot-file=./helloworld --compiler-pgo-profiler-path=./helloworld.ap --entry-point=helloworld helloworld.abc
  ./ark_aot_compiler --log-level=info --enable-pgo-profiler=true --compiler-opt-inlining=true --compiler-pgo-profiler-path=./helloworld.ap  --aot-file=./helloworld --compiler-target-triple=aarch64-unknown-linux-gnu helloworld.abc
```

### 如何将多个文件打包成一个abc文件
        准备：fileInfo.txt
        编译命令：es2abc @./filesInfo.txt   --module --merge-abc --extension=ts --output modules.abc
        说明：fileInfo.txt为需要编译的文件目录，格式如下：
            path/filename.ts;filename;esm;xxx;yyy
    
        例：
            fileInfo.txt文件内容：
                ./ts/test.ts;test;esm;xxx;yyy
                ./ts/test1.ts;test1;esm;xxx;yyy
                ./ts/test2.ts;test2;esm;xxx;yyy
                ./ts/test3.ts;test3;esm;xxx;yyy
        编译命令：
            es2abc @./filesInfo.txt   --module --merge-abc --output modules.abc
        说明：将test、test1.ts、test2.ts、test3.ts编译输出到modules.abc
        运行：
            运行test：ark_js_vm --entry-point=test modules.abc
            运行test1：ark_js_vm --entry-point=test1 modules.abc
            运行test2：ark_js_vm --entry-point=test2 modules.abc
            运行test3：ark_js_vm --entry-point=test3 modules.abc
```doctest
其中带依赖的源码，在filesInfo.txt中的顺序应该保持依赖顺序。
如：run.ts中import了other.ts， 则fileInfo.txt文件内容：
                ./other.ts;test;esm;xxx;yyy
                ./run.ts;test1;esm;xxx;yyy
```
---
### todolist
- [x] pgo HOS趟坑
- [x] pgo OHOS趟坑
- [x] swift趟坑
- [x] 规划好下载编译环境目录
- [x] 自动化编译环境的删除、下载和编译(包括x64/android)
  - [ ] 考虑如果要求测试特定版本的系统，怎么办
  - [x] 自动化脚本部署：已编写脚本
- [x] 考虑把需要的产物汇总(当前过于分散):写到编译pgo脚本里，取产物
- [x] 考虑融合workload(可能多个)。如何一键编译:把代码放到同一个目录，自动扫描目录里的文件编译。
  - [x] ~~且归纳需要push到设备的文件~~，不做了，这个归纳好文件后应该是在测试侧处理。
  - [x] pgo版本
  - [x] swift版本
- [x] 需要的文件如何拿到(目前是gitee)
  - [x] 如果有workload需要日常跑，搞个定时脚本，自动推gitee，要用直接拿。
- [x] 拿到需要的文件之后，构建测试脚本赋能工具:
  - [x] 各种文件自动识别类别，一键推到设备上
  - [x] 给与对应文件权限。
  - [x] 执行测试，拿结果/处理结果。
- [ ] 拿到结果后，如何持久化结果/基线比较
- [ ] 一键锁频锁核

---
> 20240408 --type-extractor\--typoe-dts-builtin 两个参数下线

LiansunT/OHCompilerDaily

简介

发行版

贡献者

近期动态

LiansunT/OHCompilerDaily .gitee-modal { width: 500px !important; }

简介

发行版

贡献者

近期动态

搜索帮助

LiansunT/OHCompilerDaily