2021春，后续可能有变化。本科生，此前没有学过任何优化相关的内容（）

这是一门讲在各种条件下用数值法求最小值的课

授课内容包括五个部分:

1. 无约束最优化 （参考书为：袁亚湘、孙文瑜，最优化理论与方法的相应部分）
   • 线搜索和全局收敛性
   • 最速下降法
   • 牛顿法和拟牛顿法
   • 共轭梯度法
   • 信赖域方法
2. 约束最优化（参考书同上）
   • 二次规划，包括消去法、积极集方法
   • 非线性约束最优化，包括乘子牛顿迭代、罚函数法、增广Lagrangian法、障碍函数和内点法
3. 凸优化（参考书为Boyd, Convex Optimization: Chapter 1, 2, 4,?5,?9,?10,?11）
   • 凸集、凸函数、广义不等式和最优性条件
   • 对偶函数、KKT条件
   • 凸优化算法：牛顿法内点法障碍函数中心路径等等
4. 稀疏优化（参考书为 https://rd.springer.com/book/10.1007/978-1-4419-7011-4）ADMM部分的PPT文字实在是过于稀疏，建议看一下https://web.stanford.edu/~boyd/papers/pdf/admm_distr_stats.pdf，这一篇讲的比较详细。
5. 大规模机器学习中的优化方法（随机梯度类算法，参考 https://arxiv.org/pdf/1606.04838.pdf）

?今年还补充了一点SparseDNN，大概也是从一些论文上摘的内容。老师讲课用的是ppt，内容大部分都是从以上的资料中摘录的。

除了以上的参考资料和PPT，我个人十分推荐读一下北大的最优化教材https://bicmr.pku.edu.cn/~wenzw/optbook/opt1.pdf
覆盖了老师讲课的大多数内容，第一部分的优化建模实例对于我这种完全没有接触过具体问题的弱智而言非常友好，复合优化部分也有很多老师没有讲到的内容，阅读难度不高，内容详实具体。

给分公式为10% Homework + 40% Project + 50% Final

作业很少，只交了三次，前三章每章一次（有助教版本答案和以前学长写的答案，以及Boyd这本书有官方答案 ）所以作业不是什么很大的问题，但还是建议自己认真完成。

今年的Project是三选二，要求在稀疏矩阵求解器、自适应线路设计、大规模机器学习中的优化器实现。我选的是二三（因为听说比较简单）。第二个问题是运筹里面的网络流问题的变种，以前有一篇十分经典的paper研究过一个基本一样的问题，找到这篇paper之后只需要实现一遍里面的算法即可。第三个问题需要你写个简单的神经网络，然后自己实现optimizer部分，剩余部分调包。如果你python熟练的话以上都是非常简单的。如果您像我一样啥都不会的话建议上知乎大学看看，里面有很多写好的例子，你可以模仿着搞一个。
（我写的project十分简单弱智，交完之后去看了一下发现同选这门课的两个同学写的东西巨大升级，让我感到非常的焦虑。不过最后发现问题不大，主要看完成度。）

期末考试均是ppt上的东西，建议熟练背诵。前三章我也不知道有没有重点，毕竟今年出了一个很角落里的东西而我一直以为不太会考。稀疏优化和随机优化的东西很多，但是复习的时候最好熟练掌握Shrinkage和ADMM，Bottou论文前四十页的所有引理和定理的证明。

基本没有啥prerequisites（如同楼上所说只需要数分线代，其它都可以现场推），随机优化也只是用到一些简单的期望。不过学过数院运筹的话可能衔接起来会方便很多。

这个课只能说是在优化这么大一个方向里入个门。由于内容过于庞杂，所以个人感觉课程的体系感不是很好。后半学期的内容有很多都是浅尝辄止...所以速度很快，有空的话可以把老师给的ref好好的看一下。

需要本学期上课用ppt的话可以留个邮箱，老师主页上的ppt已经过期114514年了

课程资源（ppt, 习题课和project讲义）:?https://github.com/beiningwu7/optimization_spring_2021/

题外话：扬州王好像不太愿意给本科生审个性化，我刚开始的时候给他发邮件给他，显示已读但迟迟不回。后来课上找他签单直接被拒（本科生？本科生你啥都不懂，你选这门课干什么？），最后绕了一个圈才选上。