线性代数
MIT 18.06 Gilbert Strang - Linear Mathematics
同样也出自Gilbert Strang教授,可以说是目前最好的线性代数课程了。
高等数学
MIT Gilbert Strang - Calculus
来自MIT的Gilbert Strang教授的著名微积分课程,由浅入深。
概率论
MIT 6.431 John Tsitsiklis - Probabilistic Systems Analysis and Applied Probability
来自MIT的John Tsitsiklis教授,内容没有很复杂,但是思考过程让人大开眼界,非常有启发性。
离散数学
To be update!
代码语言
C/C++
Python
计算机基础
计算机组成原理
计算机网络原理
计算机操作系统
数据结构与算法
视频课程
CS50.3 Introduction to Artificial Intelligence With Python· 2020
哈佛大学的公开课,详细介绍了数个经典AI算法,案例十分经典,宏观展示了AI的基本要素。
吴恩达:神经网络与深度学习
深度学习界权威Andrew Ng作为斯坦福大学计算机科学教授与人工智能实验室主任,课程内容清晰易懂,面面俱到,是学习的一手材料。
李宏毅:机器学习
台大李宏毅教授最新版机器学习教程。知识点更加模块化,很适合初学者自学。
项目官网 | B站2021/22版课程 | B站2023版课程 | 21-23PPT作业资料 提取码:h8wr
CS 285 at UC Berkeley : Deep Reinforcement Learning
伯克利2021年秋季最新深度学习课程,涵盖了Policy Gradients、Actor Critic、Q-functions等多个强化学习基础算法(Lecture 1 - Lecture 14),学习这门课程有助于理解这些基本的算法;也有如Model-Based RL、Meta RL和离线学习等进阶算法(Lecture 15- Lecture 23),他们可以作为李宏毅老师强化学习课程的进阶扩展。网站也有配套习题供练习。
李沐:《动手学深度学习(PyTorch版)》
前9课讲授较为基础的神经网络知识,第10课至第29课讲解了深度学习的核心基础知识,第29课至73课更倾向于强化学习的模型具体应用。
大量的Kaggle的实例演示是本教程的亮点,可作为李宏毅老师机器学习课程的补充。
初学者可以学习至第九章,同时整本书也可以作为深度学习的参考书回看查阅,是深度学习的“圣经”。
Elad Hazan :《在线凸优化导论(Introduction to Online Convex Optimization)(Second Edition)》
在线凸优化作为获得凸函数最佳解决方案的方法,在大规模优化和机器学习中的可扩展性而得到了广泛的普及。本书以在线凸优化 (OCO) 框架为例,讲解了 OCO 建模和解决的实际问题,涵盖严格的定义、背景和算法。
教材
《深度学习中的数学》
本书通俗易懂的展示了神经网络的数学细节,并使用EXCEL实现,容易上手操作,内容易懂。该书没有开源,故此处不放置链接。
《深度学习》
Lan Goodfellow 传奇般的“花书”《深度学习》,简明扼要的概括了大部分主题。
《Convex optimization》Author: Stephen Boyd & Lieven Vandenberghe
本书由理论、应用、算法三部分构成,通过阅读本书,读者能够对凸优化理论和方法建立完整的认识
《Numerical optimization》Author: Jorge Norcedal & Stephen J. Wright
本书十分透彻地讲述了各种经典优化算法的原理,是学习优化学习必读的入门书籍
电子书
《Convex Optimization: Algorithms and Complexity》Author: Sébastien Bubeck
本书从凸性的基本概念开始介绍,把常用的一阶算法都做了系统的介绍,简单易懂,适合入门
Lecture notes: Optimization for Machine Learning, lectured by Elad Hazan
来自普林斯顿计算机系的教授Elad Hazan的优化学习的讲座笔记,内容由深入浅
《A Survey of Optimization Methods from a Machine Learning Perspective》Author: Shiliang Sun, Zehui Cao, Han Zhu, and Jing Zhao
本论文对一些优化算法进行了总结,包括SGD及其momentum、adaptive变体,以及两种重要的凸优化算法
本页面主要介绍了常见种类的梯度下降优化算法以及是如何如何实现的,如Momentum, Adagrad, 和Adam
Latex
Overleaf : 在线版的latex,推荐使用。
mathpix : 一款数学公式识别小工具,latex必备搭档。
tablesgenerator: 一款生成latex表格的在线小工具。
本小组默认使用的一款记录实验结果的在线工具。
Linux
Slurm:一个开源、高度可扩展的集群管理和作业调度系统,适用于大型和小型Linux集群。中文文档
鸟哥的Linux私房菜:非常经典的Linux入门教程,内容全面而易懂,非常适合初学者学习。
Tmux: 一个终端复用器,属于常用的开发工具。
Tools
dblp:它提供了计算机领域科学文献的搜索服务,收录的期刊和会议论文质量较高,很好地反映了国外学术研究的方向 。
Papers with code:它将 ArXiv 上面的机器学习论文与 Github 上的代码对应起来,能够让读者找到论文算法实现的代码。
CatalyzeX:同样也是一个可以让读者很快找到ArXiv上对应的Github代码的网站。
Google dataset research:由谷歌开发的数据集检索引擎,可以很方便地搜索到需要的数据集。
CS conference ranking:对于目前的计算机相关会议的一个非官方性的排名,能够让读者了解到各个会议的含金量。
Best paper awards in CS:它列出了由布朗大学的Jeff Huang教授整理出来的各大会议每年最好的一些论文,具有相当的参考和学习价值。