1. 项目缘起为什么AGX开发者需要关注实时补丁如果你正在使用NVIDIA Jetson AGX Xavier或AGX Orin系列开发板进行机器人、自动驾驶或工业控制等对系统响应时间有严格要求的项目那么“实时性”这个词对你来说一定不陌生。标准Linux内核虽然功能强大但其调度策略、中断处理等机制并非为确定性延迟而设计这可能导致任务执行时间出现不可预测的波动也就是所谓的“抖动”。对于需要毫秒甚至微秒级精度的应用这种抖动是不可接受的。NVIDIA官方提供的JetPack SDK其内核默认配置是通用型的。虽然它包含了PREEMPT_RT实时抢占补丁的源码但并未默认启用。这就意味着当你拿到一块全新的AGX开发板刷上最新的JetPack系统后你得到的仍然是一个非实时的内核。要解锁其硬实时能力你必须手动为内核打上实时补丁并重新编译。这个过程就是我们常说的“打实时补丁”。我最近在为一个基于AGX Orin的机械臂视觉伺服项目部署系统时就遇到了这个问题。项目要求视觉处理循环必须保证在2毫秒内完成且抖动不能超过200微秒。在标准内核下无论怎么优化应用层代码都难以满足这个要求系统时不时就会“卡”一下。于是为内核打上R35.3.1版本的实时补丁就成了必须跨过去的一道坎。网上资料零散官方文档又偏向概述踩了不少坑之后我决定把从环境准备、补丁编译、到安装验证的完整过程以及过程中那些官方手册不会告诉你的细节和避坑点系统地梳理出来。2. 核心概念厘清RT-Preempt补丁与AGX的适配在动手之前我们必须搞清楚我们要打的是什么补丁以及它和NVIDIA AGX平台的关系。这能帮你理解后续每一个步骤背后的原因而不是机械地复制命令。2.1 RT-Preempt补丁到底是什么简单来说PREEMPT_RTReal-Time Preemption是一个将标准Linux内核改造成硬实时或至少是软实时内核的补丁集。它的核心思想是最大限度地减少内核中的不可抢占区域。在普通内核中即使你使用了SCHED_FIFO这样的实时调度策略当任务进入内核空间执行系统调用时如果该内核路径没有被显式标记为可抢占那么更高优先级的任务也必须等待其完成。这引入了不可预测的延迟。RT补丁通过以下主要方式解决这个问题将自旋锁spinlock转换为可睡眠的互斥锁mutex这是最关键的一步。自旋锁在等待时会忙等占用CPU阻塞更高优先级任务。转换为互斥锁后任务在锁被占用时可以睡眠让出CPU给更高优先级任务。中断线程化将大部分硬件中断处理程序ISR转换为内核线程。这样中断可以被具有更高优先级的实时线程抢占显著降低了中断对实时任务的干扰。优先级继承解决优先级反转问题。当高优先级任务等待一个低优先级任务持有的锁时临时提升低优先级任务的优先级使其尽快执行完毕释放锁。为AGX打上这个补丁就是让系统内核具备处理确定性延迟任务的能力。2.2 为什么强调R35.3.1版本NVIDIA的JetPack SDK版本与Linux内核版本、BSP板级支持包驱动是深度绑定的。R35.3.1是一个特定的JetPack版本号例如对应L4T 35.3.1。这里的“实时补丁”特指NVIDIA为这个特定L4T版本的内核源码提供的、经过其测试和适配的PREEMPT_RT补丁文件。你不能随意下载社区通用的RT补丁来打。因为NVIDIA在其内核中集成了大量Tegra/Orin芯片特有的驱动、电源管理、安全模块等代码。通用补丁很可能与这些专有代码冲突导致编译失败或系统不稳定。因此我们必须使用NVIDIA官方为R35.3.1版本提供的补丁文件它确保了与AGX硬件和BSP驱动的兼容性。2.3 准备工作环境与资源确认开始编译前请确保你的环境符合以下要求开发设备一台x86_64架构的Ubuntu Linux主机建议20.04或22.04 LTS。强烈不建议在AGX设备本机上进行内核编译因为编译过程资源消耗巨大且本机环境容易因依赖问题被破坏。使用交叉编译是标准做法。AGX设备确认你的AGXXavier或Orin已经刷写了与补丁版本完全一致的JetPack系统。即系统版本为R35.3.x系列。你可以通过在AGX终端运行cat /etc/nv_tegra_release或head -n 1 /etc/nv_tegra_release来查看版本信息。磁盘空间确保你的Ubuntu主机有至少50GB的可用空间。内核源码、编译中间文件及输出会占用大量空间。网络连接需要稳定的网络以下载源码和工具链。所需资源清单NVIDIA开发者账号用于下载官方资源。Jetson Linux Driver Package (BSP)对应R35.3.1版本。这包含了内核源码。Jetson Linux Sample Root Filesystem对应版本。用于获取头文件等。GCC交叉编译工具链NVIDIA推荐使用Linaro GCC for AArch64。对应R35.3.1内核版本的RT-Preempt补丁文件。3. 实操第一步获取源码、工具链与补丁这是整个流程中依赖最复杂的一步很多问题都出在这里。3.1 下载BSP源码包和根文件系统访问 NVIDIA开发者网站登录后进入 Jetson 下载中心。找到Jetson Linux选择R35.3.1版本。你会看到多个下载项。下载Jetson Linux Driver Package (BSP)。这是一个名为Jetson_Linux_R35.3.1_aarch64.tbz2的大型压缩包里面包含了内核源码kernel_src.tbz2、驱动模块和刷机工具。下载Jetson Linux Sample Root Filesystem。这是一个名为Tegra_Linux_Sample-Root-Filesystem_R35.3.1_aarch64.tbz2的压缩包包含了目标系统的根文件系统编译内核时需要其中的头文件来确保兼容性。将这两个文件下载到你的Ubuntu主机的工作目录例如~/agx_rt_build。3.2 下载交叉编译工具链NVIDIA官方推荐使用Linaro提供的GCC工具链。前往Linaro Releases网站下载aarch64-linux-gnu版本。例如可以选择较新的版本如gcc-linaro-11.3.1-2022.06-x86_64_aarch64-linux-gnu.tar.xz。下载后将其解压到一个合适的位置例如/opt/linaro_gcc并记得将工具的路径如/opt/linaro_gcc/bin添加到系统的PATH环境变量中或者后续在编译命令中指定绝对路径。sudo tar -xJf gcc-linaro-11.3.1-2022.06-x86_64_aarch64-linux-gnu.tar.xz -C /opt/ export CROSS_COMPILE/opt/gcc-linaro-11.3.1-2022.06-x86_64_aarch64-linux-gnu/bin/aarch64-linux-gnu- # 可以将最后一行添加到 ~/.bashrc 中永久生效3.3 获取RT补丁文件这是最关键也最容易出错的一步。PREEMPT_RT补丁文件并不在上述的BSP包中。你需要通过以下方式之一获取方法一推荐但需寻找在NVIDIA开发者论坛或相关开源仓库如meta-tegra层中搜索rt-patch或PREEMPT_RT关键字并指定R35.3.1版本。有时社区维护者会提供已经适配好的补丁文件。方法二官方途径但较复杂从Linux内核官方RT补丁仓库获取最接近你内核版本的补丁然后手动适配。首先从你解压的BSP源码中的kernel/kernel-5.10/Makefile查看确切的内核版本如5.10.120-tegra。然后去https://cdn.kernel.org/pub/linux/kernel/projects/rt/5.10/寻找版本号最接近的补丁如patch-5.10.120-rt.patch.xz。但请注意-tegra后缀意味着NVIDIA有自定义修改直接应用官方补丁极大概率失败需要手动解决冲突。重要提示我强烈建议优先寻找NVIDIA社区或第三方已验证的、针对R35.3.1的预适配补丁。手动解决补丁冲突需要深厚的内核知识且过程极其繁琐。我在首次尝试时使用了方法二面对上百个冲突文件花了数天时间才勉强解决且稳定性存疑。后来在某个开源硬件项目的仓库里找到了一个已适配的补丁过程才变得顺畅。假设你找到了一个名为rt-patch-r35.3.1.patch的文件将其保存到你的工作目录。4. 编译环境搭建与内核源码准备现在我们开始搭建编译环境并准备内核源码树。4.1 安装主机依赖包在Ubuntu主机上安装编译内核所需的各类工具和库。sudo apt-get update sudo apt-get install -y build-essential bc kmod cpio flex libncurses5-dev libelf-dev libssl-dev python3-pip4.2 解压与组织源码解压BSP包和根文件系统cd ~/agx_rt_build tar -xjf Jetson_Linux_R35.3.1_aarch64.tbz2 cd Linux_for_Tegra/ sudo tar -xjpf ../Tegra_Linux_Sample-Root-Filesystem_R35.3.1_aarch64.tbz2执行sudo ./apply_binaries.sh。这个脚本会将BSP中的驱动和二进制文件安装到刚刚解压的根文件系统中这对于后续内核模块编译时找到正确的头文件至关重要。解压内核源码cd source/public/ tar -xjf kernel_src.tbz2 cd kernel/kernel-5.10/现在你进入了内核源码目录。4.3 应用实时补丁将你准备好的rt-patch-r35.3.1.patch文件复制到当前内核源码目录。应用补丁patch -p1 rt-patch-r35.3.1.patch如果补丁完全适配你会看到一系列成功的提示。如果出现Hunk #XX FAILED错误说明补丁与当前源码存在冲突。这就是我之前提到的“坑”。对于少量冲突你可以手动编辑.rej文件补丁失败时生成和源码文件进行合并。对于大量冲突建议放弃重新寻找更匹配的补丁。4.4 配置内核我们需要基于NVIDIA默认配置开启实时抢占功能。获取默认配置NVIDIA为不同硬件提供了默认配置文件位于arch/arm64/configs/。例如对于AGX Orin可能是tegra_defconfig。make ARCHarm64 CROSS_COMPILE$CROSS_COMPILE tegra_defconfig启动图形化配置菜单需要libncurses5-devmake ARCHarm64 CROSS_COMPILE$CROSS_COMPILE menuconfig在菜单中找到并修改以下关键选项General setup - Preemption Model选择Fully Preemptible Kernel (Real-Time)。这是最彻底的实时模式。Kernel Features - Timer frequency可以提高到1000 Hz以获得更精细的时钟粒度但这会增加系统开销。对于许多应用300 Hz或500 Hz也是可接受的。确保以下选项被启用通常是默认的High-Resolution Timer SupportRCU Subsystem中的Preemptible RCU注意在Device Drivers - Staging drivers中有时需要排除一些不稳定的或冲突的驱动模块。如果你在后续编译或启动中遇到奇怪问题可以尝试在这里禁用一些可疑的驱动。保存配置为.config文件。5. 内核编译、打包与刷写配置完成后开始漫长的编译过程。5.1 编译内核镜像与设备树使用-j参数指定并行编译的线程数以加快速度通常为核心数的1-2倍。make ARCHarm64 CROSS_COMPILE$CROSS_COMPILE -j$(nproc) Image make ARCHarm64 CROSS_COMPILE$CROSS_COMPILE -j$(nproc) dtbsImage是内核的压缩镜像文件dtbs是设备树二进制文件描述了硬件信息。5.2 编译内核模块make ARCHarm64 CROSS_COMPILE$CROSS_COMPILE -j$(nproc) modules5.3 安装模块到临时位置我们需要将编译好的模块安装到之前准备好的根文件系统路径中这样在制作系统镜像时才能包含它们。sudo make ARCHarm64 CROSS_COMPILE$CROSS_COMPILE INSTALL_MOD_PATH~/agx_rt_build/Linux_for_Tegra/rootfs modules_install5.4 替换BSP中的内核文件将新编译的内核镜像和设备树文件复制到BSP目录替换原有文件。复制内核镜像cp arch/arm64/boot/Image ~/agx_rt_build/Linux_for_Tegra/kernel/复制设备树文件。AGX设备树文件位于arch/arm64/boot/dts/nvidia/。你需要根据你的具体型号复制对应的文件。例如对于AGX Orin可能是tegra234-p3701-0000-p3737-0000.dtb。你需要将其重命名为BSP期望的名字并复制到对应位置。这一步极易出错务必核对清楚你的主板型号。# 假设是AGX Orin 64GB cp arch/arm64/boot/dts/nvidia/tegra234-p3701-0000-p3737-0000.dtb ~/agx_rt_build/Linux_for_Tegra/kernel/dtb/ # 你可能需要同时更新其他相关的dtb文件具体请参考原BSP目录下的文件列表。5.5 重新打包并刷写系统现在使用NVIDIA提供的工具基于修改后的BSP和根文件系统重新生成完整的系统镜像并刷写到AGX设备。将AGX设备置于恢复模式Recovery Mode断开AGX电源。用Micro-USB线连接AGX的恢复口通常标记为REC或FC_REC到Ubuntu主机。按住AGX上的FORCE RECOVERY按钮通常是一个小孔需要用卡针按不放。给AGX上电。等待2-3秒后松开FORCE RECOVERY按钮。在Ubuntu主机上运行lsusb应该能看到一个NVIDIA Corp.的设备表示已进入恢复模式。执行刷机命令cd ~/agx_rt_build/Linux_for_Tegra/ sudo ./flash.sh jetson-agx-orin-devkit mmcblk0p1注意flash.sh脚本的第一个参数jetson-agx-orin-devkit必须与你的设备型号完全匹配。对于AGX Xavier可能是jetson-agx-xavier-devkit。请务必查阅NVIDIA官方文档确认你的设备代号。第二个参数mmcblk0p1表示刷写到eMMC存储。刷机过程会持续十几到几十分钟期间不要断开连接或断电。6. 系统验证与实时性测试刷机完成后AGX会重启。进入系统后我们需要验证实时补丁是否生效并测试实时性能。6.1 基础验证检查内核版本和配置uname -a输出中应包含PREEMPT_RT字样表明这是一个实时内核。cat /boot/config-$(uname -r) | grep PREEMPT_RT应显示CONFIG_PREEMPT_RTy。检查中断线程化cat /proc/interrupts | head -20观察中断号对应的处理程序如果显示为类似[IRQ-xxxxxxxx]的线程名而不是传统的函数名说明中断线程化已启用。6.2 实时性性能测试使用cyclictestcyclictest是测试实时延迟最常用的工具。你需要先安装它sudo apt-get update sudo apt-get install rt-tests然后运行一个简单的测试sudo cyclictest -t -m -p 80 -n -i 1000 -l 10000-t: 使用线程模式。-m: 锁定内存防止换页延迟。-p 80: 设置实时优先级为80数值越高优先级越高范围1-99。-n: 使用clock_nanosleep。-i 1000: 线程间隔为1000微秒1毫秒。-l 10000: 循环10000次。测试结束后关注输出的几个关键指标Max: 最大延迟抖动。这是最重要的指标应远低于你的应用要求。在打补丁前这个值可能在几百甚至几千微秒打补丁后在低负载的AGX上理想情况下应能稳定在几十微秒以内。Min: 最小延迟。Act: 实际平均间隔。T: 0后面的Idx列如果出现#或!表示发生了严重的延迟超标或丢失唤醒。进行压力测试打开另一个终端运行stress --cpu 4 --io 2 --vm 1 --vm-bytes 128M --timeout 60s制造系统负载同时在第一个终端运行cyclictest。观察在系统负载下Max延迟的变化这更能反映真实场景下的实时性。6.3 应用层适配与注意事项内核打了实时补丁并不意味着你的应用就能自动获得低延迟。你还需要使用实时调度策略在你的实时任务线程中调用pthread_setschedparam设置调度策略为SCHED_FIFO或SCHED_RR并赋予一个较高的优先级如 50。内存锁定使用mlockall(MCL_CURRENT|MCL_FUTURE)锁定进程内存防止换页到磁盘引起的巨大延迟。避免系统调用在实时线程的关键循环中尽量避免可能引起阻塞的系统调用如文件I/O、动态内存分配malloc/free。如果需要使用异步或非阻塞方式。隔离CPU核心可以通过内核启动参数isolcpus将1-2个CPU核心隔离出来专门用于运行实时任务避免被其他普通进程或内核线程打扰。例如在AGX Orin的/boot/extlinux/extlinux.conf文件中的APPEND行添加isolcpus1,2。禁用CPU频率调节将实时任务运行的CPU调控器设置为performance模式防止频率变化引入延迟。sudo cpupower frequency-set -g performance。7. 常见问题排查与修复指南即使按照步骤操作你也可能会遇到以下问题问题一编译过程中出现“未声明的函数”或“结构体未定义”错误。原因这通常是因为内核头文件路径不对或者模块安装路径 (INSTALL_MOD_PATH) 没有指向正确的、已应用了apply_binaries.sh的根文件系统。解决确保你执行了sudo ./apply_binaries.sh。检查INSTALL_MOD_PATH的路径是否正确指向Linux_for_Tegra/rootfs。尝试先make modules_prepare。问题二刷机后系统无法启动卡在NVIDIA Logo或黑屏。原因最常见的原因是设备树文件 (dtb) 不匹配或损坏。解决仔细核对你的AGX主板型号和对应的设备树文件名。参考原BSP包中Linux_for_Tegra/kernel/dtb/目录下的文件。尝试刷回官方镜像以确认硬件正常。检查编译dtbs时是否有错误被忽略。问题三cyclictest的Max延迟仍然很高100us且不稳定。原因系统后台活动干扰、CPU频率缩放、中断绑定等。解决隔离CPU如上所述使用isolcpus内核参数。设置CPU性能模式sudo cpupower frequency-set -g performance。禁用看门狗sudo sysctl -w kernel.watchdog0临时永久需改/etc/sysctl.conf。使用taskset绑定测试进程到隔离的CPUsudo taskset -c 1 cyclictest ...。检查并设置中断的CPU亲和性使用irqbalance服务或手动通过/proc/irq/XX/smp_affinity将非关键硬件中断如网络、USB绑定到非实时CPU上。问题四应用实时优先级后系统偶尔会“卡死”需要重启。原因可能存在优先级反转或者一个高优先级的实时线程陷入了死循环占满了CPU导致连系统调度器都无法运行。解决确保正确使用了优先级继承的互斥锁如pthread_mutexattr_setprotocol设置PTHREAD_PRIO_INHERIT。为实时线程设置合理的执行时间片或 watchdog避免无限循环。不要将所有的CPU时间都分配给SCHED_FIFO任务保留一些资源给系统关键任务。为AGX打实时补丁是一个系统工程从获取正确的资源到编译、部署、调试每一步都需要耐心和细致。它不是一个“一键完成”的操作但其带来的确定性延迟提升对于真正的硬实时应用来说是质的飞跃。整个过程最深的体会是资源版本的对齐是成功的一半尤其是补丁文件而成功的另一半则在于刷机后的系统调优这需要结合你具体的应用负载进行反复的测试和调整。当你看到cyclictest的Max值从毫秒级降到稳定的微秒级时那种成就感会让你觉得所有的折腾都是值得的。