本书对优化算法的理论和研究进展进行了系统的梳理，旨在帮助读者快速了解该领域的发展脉络，掌握必要的基础知识，进而推进前沿研究工作。本书首先介绍流行的机器学习模式，对重要的优化理论进行回顾，接着重点讨论已广泛应用于优化的算法，以及有潜力应用于大规模机器学习和数据分析的算法，包括一阶方法、随机优化方法、随机和分布式方法、非凸随机优化方法、无投影方法、算子滑动和分散方法等。  本书适合对机器学习、人工智能和数学编程感兴趣的读者阅读参考。