• 不要将大把时间浪费在一次性搞懂理论理解上
• 不要尝试停下来理解所有的知识点
• 不要浪费时间：请学习快速学习知识点，一天学4-5个
• 请跑代码，“真的”去跑代码。不要去深入学习理论。去玩转代码，看看它们“吃进什么吐出什么”
• 选择一个项目，认真做好，做到超棒！
• 如果卡壳了，不要停下来深挖，继续前行！
   

• 如果你不确定哪个学习率更好，每个都试试看。
• 当你将模型部署到生产环境，你会选择用CPU做预测，除非是巨量规模的服务请求才会用到GPU。
• 多数公司浪费大量时间在收集更多数据上。正确做法是，用一小撮数据跑跑看，然后在看问题是否是数据不够。
• 如果你认为自己“天生不擅长数学”， 请看看Rachel的TED演讲: There’s no such thing as “not a math person” 8. My own input: only 6 minutes, everyone should watch it!
• 在你使用数据集时，请务必给予数据创建者荣誉和感谢
• 记住要使用pretrained模型训练时所用的均值与方差。
• 对问题 “有理由阻止我们尝试 64x64 to 128x128 to 256x256等尺寸图片训练微调模型吗?”的回答: “是的，非常值得一试！效果不错，试试吧!”
• 如果参加kaggle等比赛，数据集比较小时, 没有理由不用验证集参与训练。
• ”在怎样10%的情况下你不会使用神经网络”? “你可以都尝试，random forest和神经网络."
• 习惯使用这些词汇 (参数parameters, 层layers, 激活activations…etc) 并尝试准确使用。
• “一个潜力巨大的研究方向是各个领域数据增强研究。几乎没有关注这个方向，而我认为这是蕴藏着巨大的机会，可以帮助节省5-10倍的数据需求。”
• 请会花时间开notebook跑大部分开源的nn模型，, 尝试实验这些代码看看他们的反应。最重要的是记住: shape也就是这里说的rank或tensor维度。尝试思考：“为什么？” 回头看看模型summary, 各个层的设置，作出的各种图，想象以下背后的机制。
• 看经典论文时, 论文里所有关于derivations/theorems/lemmas（数学公式部分）都可以忽略，因为它们无法帮助增加对深度学习的实践性理解。认真阅读关于为什么以及怎样定义和解决问题的。写下总结来帮助那些与6个月前的你的状态水平相似的人。
• 可能最重要的是和小伙伴们一起学，这样效果往往更好。组建一个读书会，学习小组，定期聚会，动手做些项目。不需要是什么特别棒的东西，只要是能让世界更美好一点，甚至是让你的2岁大孩子开心的事情。完成一件事情，然后在进一步完善它。
• 学习深度学习, 最重要的就是代码，不停写代码，看看你的输入值，输出值，尝试输出一个你的mini-batch。
• 使用anki(https://apps.ankiweb.net/)记忆学过的深度学习理论知识, 激活函数, 损失函数, 甚至包括各个经典网络的结构, 优缺点, 应用领域. 对于anki这个工具, 无论用美好的语言赞美都不为过. 请尝试深度使用它. 注意anki是开源的.

请尝试这样制作卡片:

卡片(1)

[正面]: 常用的激活函数有哪些?
[背面]: sigmoid, tanh, relu, ...

卡片(2)

[正面]: sigmoid激活函数的数学公式是什么? 如何求导?
[背面] 数学公式, 函数图像, 求导

为方便大家学习 这里给大家整理了一份学习资料包 需要的同学 根据下图自取即可

• 总结一下, 如何精通深度学习? 尝试chunk it up(切碎知识点), Deliberate practicing (刻意练习), Feedback (反馈)
• 如何刻意练习一个深度学习知识点? 练习有缺陷,不舒服的弱点地方, 也许你会感觉到枯燥, 乏味, 不爽, 但是注意, 越是感觉难受, 就越要练习.