梯度下降算法是目前神经网络中最流行的优化算法。同时也是目前每个深度学习框架中都包含了各种各样的优化的优化梯度下降算法(例如:lasagne,caffe和keras)。然而始终者通常对这些优化算法的优缺点并不了解，他们只是作为黑盒子提供给用户使用。 本文旨在介绍不同的梯度下降优化算法的不同点以帮助你更好的使用这些算法。我们首先介绍了不同种类的梯度下降算法。然后我们简要的对梯度下降算法面临的挑战...

阅读全文

在打包书籍打算快递的最一刻，心念一转，我又将这本书从书堆中抽了出来放到了床头，时隔十二年再次重读了这本书。重读这本书才发现，里面的内容几乎没有了任何印象，但是记忆中只要每次听听到这书名，都会感到温暖。最初读这本书是在初一，是当时的班主任王老师从学校图书室特意给我借的，想来老师的本意是想借海伦的事迹来鼓励同样身体不便的我。但其实，读完后对书中的内容并没有太多的印象，只是单纯的觉得海伦很厉害，让我感到温暖的是老师的善意和期望。 王老师当时刚中专毕业，第一次当班主任，应该也是第一次碰上身体情况特殊的学生。在后来的初中三年中能明显的察觉出她在应对学生时的青涩。现在回想起来她初次面对我时可能也曾为怎么教育我慌乱过，借书来让我自己明白可能是最可行的方法。正是这善意的举动，让我第一次感受到了除父母之...

阅读全文

最近几年，在每年年终或者生日时，我都会写一篇类似年终总结的短文，对自己一年进行回顾。从去年开始，我打算每年选一首歌作为总结的标题。在今年年初的时候，我就选好了”The Show Must Go On”作为今年的标题。这首歌是皇后乐队在 1991 年名为 Innuendo 专辑中推出的一首歌曲。歌名取自西方的一句谚语，这首歌由主体部分由校长创作，最初是在 Freddie 逝世前六周作为一首单曲推出，因此这首歌也可以算做是 Freddie 的绝唱。歌词的意境、Freddie 当时绝望的处境和他华丽的嗓音，使得这首歌显得雍容华贵，但又充满了悲壮。年初时选这首歌也算是对当时心情低潮期的一个回应了。我一直相信，如若在每年年终时，还能怀揣着许多热泪盈眶的感动，那么，这属于我们的时代还在继续。 回顾...

阅读全文

距离上次的书评更新已经近一年时间了，这期间阅读速度由于各种原因变慢。书评也跟着中断。《穆旦诗文集》读完已接近两个月了，现在记忆中已经没有任何关于诗句的东西，但穆旦的诗所带来的厚重的质感还在持续的震撼着我。 在进行具体内容的评价前，还是照样对书籍本身的质量进行简要的概括。人民文学2014年出版的这套《穆旦诗文集》是06年版本的扩充，从厚度上来说这套书是两册共825页的大部头，比06年版本足足厚了一半多。封面设计延续了人民文学的质朴，简单的灰白，加上书名。封面的纸张采用凸版印刷纸，手指的触感相当不错，材质也能衬托出书本的质感。32开的纸配上四号字，单倍行距，排版不属于紧凑的，所以这增订版页数多了，内容具体增加了多少，还有待对比，可惜手头并没有06年版本的。 《穆旦诗文集》的内容包括两部分，...

阅读全文

春天的梦马——2016 年 3 月 26，王穆荣 我历经过许多春天闻着花香、向着太阳像梵高的向日葵那样金黄把我照亮 你有过许多梦去青海、祁连、西藏有梦、青草、苍莽以梦为马、遍历天涯 我也曾是个多情种爱祖国、粮食、黄土地我写过很多情诗，结尾纠缠着相思 你敞开双臂、拥抱太阳面向苍穹、转瞬天堂我劈柴喂马活在这珍贵的人间

阅读全文