显存地狱：C++ 深度学习框架中的显存池碎片管理艺术 各位 C++ 极客，各位正在与显卡“搏斗”的深度学习工程师们，大家好！ 今天，我们要聊一个沉重的话题，一个让无数模型训练在凌晨三点突然崩掉、让老板在周会上暴跳如雷的话题——显存碎片。 想象一下，你是一个在大城市打拼的年轻人。你租了一间 100 平方米的公寓，房租便宜得离谱。但是，你的室友是个奇葩。他把 1 平方米的床放在了 90 平方米的地方，剩下的空间被他塞满了 1 平方米的小柜子。现在，你想住进来，或者想再放一个衣柜，结果发现：100 平方米的地方，你连个转身的地方都没有。 这就是显存碎片。在 GPU 的世界里，显存就是那 100 平方米的公寓，而你的模型参数、激活值、梯度，就是那些乱七八糟的家具。 我们用 C++ 写深度学习框架，用的不是 Python，Python 那边有 gc（垃圾回收），虽然慢，但它能自动把垃圾扫了。而在 C++ 里，显存是“一锤子买卖”。cudaMalloc 分给你一块，你就得把它填满，或者 cudaFree 掉。如果你分了一块 1GB 的显存，只用了 100MB，剩下的 900MB 就这么干瞪眼等着， …
C++ 物理地址映射：在用户态驱动程序中通过 C++ 指针直接操控 PCIe 设备内存映射空间
C++ 物理地址映射：在用户态驱动程序中通过 C++ 指针直接操控 PCIe 设备内存映射空间 各位硬件与软件的融合探索者，欢迎来到本次技术讲座。今天我们将深入探讨一个既充满挑战又极具吸引力的话题：如何在用户态驱动程序中，利用 C++ 的强大指针机制，直接操控 PCIe 设备的内存映射（Memory-Mapped I/O, MMIO）空间。这听起来似乎违背了操作系统对用户态进程的严格隔离原则，但正是这种突破限制的探索，才催生了高性能计算、低延迟网络以及专业级硬件加速的诸多创新。 我们将从虚拟地址与物理地址的根本区别谈起，逐步揭示用户态访问物理内存的障碍，并详细剖析在 Linux 和 Windows 这两大主流操作系统下，如何借助特定的系统接口和辅助机制，最终实现 C++ 指针对硬件寄存器的直接读写。 一、直面硬件的诱惑与挑战：用户态与物理内存的边界 在现代操作系统中，为了确保系统的稳定性和安全性，用户态应用程序通常运行在一个受保护的虚拟内存空间中。这意味着应用程序看到的内存地址并非物理内存的真实地址，而是由操作系统管理和映射的虚拟地址。这种抽象层带来了巨大的好处：进程间的隔离、内存保护 …