本书带领读者手把手实现深度学推理框架，并支持大语言模型的推理。全书共 9 章，以实现开源深度学推理框架 kuiperinfer 为例，从基础的张量设计入手，逐步深入讲 解计算图、核心算子等关键模块的设计与实现。后，书中还涵盖了如何支持深度学模型如 re、 yolov5，以及大语言模型 llama 2 的推理。通过本书，读者不仅能够获得构建和优化深度学推理框架 的实践经验，还能深入理解框架的机制。本书面向深度学初学者、希望进一步了解深度学推理框架的开发者，以及其他对相关内容感兴趣 的 ai 从业者。