nvidia_Jetson_Orin_NX内核实时补丁PREEMPT_RT测试验证

1.需求与目的

1. 测试验证linux实时补丁PREEMPT_RT Real-Time的效果
2. 对外设传感器数据延迟, 系统调度延迟是否有提升

开发板: 英伟达Jetson Orin NX
外设: 底盘CAN总线, 雷达-定位-IMU 网卡, 摄像头 GMSL ->MAX9295 -->MAX9296 --> CSI

2.合入PREEMPT_RT实时补丁

Nvidia Jetson 官网合入实时补丁教程:
https://docs.nvidia.com/jetson/archives/r36.4.3/DeveloperGuide/SD/Kernel/KernelCustomization.html

编译准备

1.ubuntu系统安装依赖工具

 sudo apt install git-core build-essential bc

2.下载安装交叉编译工具

打开网页: https://developer.nvidia.com/embedded/jetson-linux
选择下载: Bootlin Toolchain gcc 11.3

安装交叉编译工具:
https://docs.nvidia.com/jetson/archives/r36.4.3/DeveloperGuide/AT/JetsonLinuxToolchain.html#at-jetsonlinuxtoolchain

mkdir $HOME/l4t-gcc
cd $HOME/l4t-gcc
tar -xf aarch64--glibc--stable-2022.08-1.tar.bz2 -C $HOME/l4t-gcc

导入环境变量

echo "export CROSS_COMPILE=$HOME/l4t-gcc/aarch64--glibc--stable-2022.08-1/bin/aarch64-buildroot-linux-gnu-" >> ~/.bashrc

3.下载kernel源码

打开网页: https://developer.nvidia.com/embedded/jetson-linux
下载:

• Driver Package (BSP) Sources --> 下载为 public_sources.tbz2

解压:

tar xf public_sources.tbz2 -C <install-path>/Linux_for_Tegra/..

Note:
这里<install-path> 目录是 nvidia sdkmanager 烧录镜像的目录,
如我测试时工作目录是: ~/nvidia/nvidia_sdk/JetPack_6.2_Linux_JETSON_ORIN_NX_TARGETS/Linux_for_Tegra

解压kernel代码

cd <install-path>/Linux_for_Tegra/source
tar xf kernel_src.tbz2
tar xf kernel_oot_modules_src.tbz2
tar xf nvidia_kernel_display_driver_source.tbz2

4.编译jetson kernel

编译普通内核

export NVIDIA_JETSON_DIR=/home/liuj/nvidia/nvidia_sdk/JetPack_6.2_Linux_JETSON_ORIN_NX_TARGETS/Linux_for_Tegra
export INSTALL_MOD_PATH=${NVIDIA_JETSON_DIR}/rootfs
make -C kernel
sudo -E make install -C kernel
cp kernel/kernel-jammy-src/arch/arm64/boot/Image ${NVIDIA_JETSON_DIR}/kernel/Image

编译实时内核

export NVIDIA_JETSON_DIR=/home/liuj/nvidia/nvidia_sdk/JetPack_6.2_Linux_JETSON_ORIN_NX_TARGETS/Linux_for_Tegra
export INSTALL_MOD_PATH=${NVIDIA_JETSON_DIR}/rootfs
# 合入实时补丁
./generic_rt_build.sh "enable"
# uefi 使能RT实时性
vim kernel/kernel-jammy-src/drivers/firmware/efi/efi.c

make -C kernel
sudo -E make install -C kernel
cp kernel/kernel-jammy-src/arch/arm64/boot/Image ${NVIDIA_JETSON_DIR}/kernel/Image

Note: uefi使能RT实时性
efi: Disable runtime services on RT
https://git.kernel.org/pub/scm/linux/kernel/git/rt/linux-rt-devel.git/commit/?h=linux-5.4.y-rt-rebase&id=ba7585a4a5580b4cba26ebe76050bd2ef1148948
Linux_for_Tegra/source/kernel/kernel-jammy-src/drivers/firmware/efi/efi.c

--- a/drivers/firmware/efi/efi.c
+++ b/drivers/firmware/efi/efi.c
@@ -68,7 +68,7 @@ struct mm_struct efi_mm = {
 
 struct workqueue_struct *efi_rts_wq;
 
-static bool disable_runtime;
+static bool disable_runtime = IS_ENABLED(CONFIG_PREEMPT_RT);
 static int __init setup_noefi(char *arg)
 {
 	disable_runtime = true;

5.编译modules, DTBS

由于kenrel 源码变更, Jetson依赖的第3方内核模块, 也要重新编译

构建modules

cd <install-path>/Linux_for_Tegra/source
export IGNORE_PREEMPT_RT_PRESENCE=1
export CROSS_COMPILE=<toolchain-path>/bin/aarch64-buildroot-linux-gnu-
export KERNEL_HEADERS=$PWD/kernel/kernel-jammy-src

# 编译kernel模块
make modules

# 打包到rootfs
export INSTALL_MOD_PATH=<install-path>/Linux_for_Tegra/rootfs/
sudo -E make modules_install

# 更新根文件镜像
cd Linux_for_Tegra/
sudo rm -rf rootfs/dev/*  # 解决第二次编译报错
sudo ./tools/l4t_flash_prerequisites.sh # 主机依赖
sudo ./apply_binaries.sh  # rootfs工具初始化
sudo ./tools/l4t_update_initrd.sh

构建DTBS

cd <install-path>/Linux_for_Tegra/source
export CROSS_COMPILE=<toolchain-path>/bin/aarch64-buildroot-linux-gnu-
export KERNEL_HEADERS=$PWD/kernel/kernel-jammy-src
make dtbs
cp kernel-devicetree/generic-dts/dtbs/* <install-path>/Linux_for_Tegra/kernel/dtb/

6.烧录

1.使用nvidia jetson烧录软件

注意会提示kernel 版本不一致, 点击继续, 不重新构建

2.命令行烧录

比较复杂, 需要下载kernel, system rootfs,
有需要可以自己看官网教程

7.确认Real-Time PREEMPT_RT实时补丁合入

烧录成功, 启动之后, 运行下面命令
zcat /proc/config.gz |grep PREEMPT_RT
或
uname -r 提示rt字段
如图

3.性能测试

1.实时性测试

安装实时性测试工具, rt-tests

sudo apt install rt-tests

cyclictest 原理描述, 主要测试系统调度的实时性
Min 最小延迟, 时间ns
Act 当前延迟
Avg 平均延迟
Max 最大延迟

ROS机器人做数据融合时, 最大的问题就是IMU/RTK/odom/lidar数据帧延迟/丢帧, 导致定位漂移, 从而导致导航不准;
而问题的根源, 就是某一时刻系统负载高, 外设数据延迟/丢帧, 系统调用延迟

1. 从普通内核数据分析: 系统负载升高时, 延迟增加
2. 实时内核 在高负载场景下, 进程调度延迟依旧在40ns(即0.04ms)延迟
3. cpu0延迟最高原因, 没有做中断cpu亲和性优化分配, 默认在cpu0调度
4. 实时内核 默认loadavg更高, 即系统负载更高

2.cpu/系统计算能力测试

使用unixbench 测试cpu性能, 并得出分数

git clone https://github.com/kdlucas/byte-unixbench
byte-unixbench-master/UnixBench
make

多核跑分
./Run -c $( cat /proc/cpuinfo| grep "processor"| wc -l )

实验数据 --> 无
依据实时补丁原理, 提升系统周期调度, cpu密集的计算型程序, 计算能力是降低的

4.总结

1. nvidia Jetson 最新的固件支持Real-Time 内核实时补丁
2. 实时内核 – 提升
   1. 周期性任务进程
   2. 事件驱动的实时任务进程
   3. 对时间精度要求高的多媒体处理进程
3. 实时内核 – 降低
   1. 大量占用 CPU 资源的计算密集型进程
   2. 长时间占用内核资源的进程
4. 实时内核中cpu计算密集优化方法
   1. 设置CPU 亲和性
   2. 调整调度策略和优先级

有需要的小伙伴, 给linux合入实时补丁, 和进行系统优化
可以加我微信, 提供有偿协助