本书详尽地覆盖了多模态大模型的算法和应用实战,提供了丰富的微调技术细节和实际案例,适合对多模态大模型有兴趣的技术人员深入学及应用。本书分为两篇:算法篇 详细介绍了优选的深度学模型,包括tranformer、gpt系列、深度生成模型,从基本架构、训练方法到特定应用,包括但不限于eq2eq结构、位置编码、注意力机制、残差连接、变分自、gan、vit、clip、table diffuion、各模型训练实践的知识点。此外,探讨了预训练模型的涌现能力、模型参数和通信数据量的估算,以及分布式训练的各种技术,如数据并行、模型并行和混合精度训练等。应用实战篇 聚焦于深度学模型的实际应用,特别是文本和图像生成,以及代码生成的应用实战。通过具体实战项目,如利用table diffuion进行图像生成和code llama进行代码生成,提供了微调技术的详细细节,介绍了langchain等大模型应用框架。
阅读更多