梯度下降算法综述

梯度下降算法是目前神经网络中最流行的优化算法。同时也是目前每个深度学习框架中都包含了各种各样的优化的优化梯度下降算法(例如:lasagne,caffe和keras)。然而始终者通常对这些优化算法的优缺点并不了解,他们只是作为黑盒子提供给用户使用。 本文旨在介绍不同的梯度下降优化算法的不同点以帮助你更好的使用这些算法。我们首先介绍了不同种类的梯度下降算法。然后我们简要的对梯度下降算法面临的挑战进行了总结。接下来,我们介绍了应对梯度下降算法当前面临挑战的常用优化算法。我们夜对梯度下降算法并行和分布式架构进行了简要的介绍。最后,我们还指出了其他一些梯度下降算法的优化策略。 梯度下降算法是最小化参数为$\theta$的目标函数$J(\theta)$的方法。在梯度下降中通常通过更新与梯度相反方向...

阅读全文

记忆中的美好——《假如给我三天光明》

在打包书籍打算快递的最一刻,心念一转,我又将这本书从书堆中抽了出来放到了床头,时隔十二年再次重读了这本书。重读这本书才发现,里面的内容几乎没有了任何印象,但是记忆中只要每次听听到这书名,都会感到温暖。最初读这本书是在初一,是当时的班主任王老师从学校图书室特意给我借的,想来老师的本意是想借海伦的事迹来鼓励同样身体不便的我。但其实,读完后对书中的内容并没有太多的印象,只是单纯的觉得海伦很厉害,让我感到温暖的是老师的善意和期望。 王老师当时刚中专毕业,第一次当班主任,应该也是第一次碰上身体情况特殊的学生。在后来的初中三年中能明显的察觉出她在应对学生时的青涩。现在回想起来她初次面对我时可能也曾为怎么教育我慌乱过,借书来让我自己明白可能是最可行的方法。正是这善意的举动,让我第一次感受到了除父母之...

阅读全文

论文写作的正确姿势

论文写作是博士最为重要的任务之一,如何利用工具来完成论文论文写作对于提高博士工作效率尤为重要,本文是个人在工作中最为重要的工作技巧积累,通过利用 Sublime, LaTeX, Git, Dropbox, Pandoc 工具可以解决论文写作过程中的:编辑、备份与同步、版本管理、格式转换、排版五大难题。本文的基本前提是用 LaTeX 完成论文写作,用word写作不在本文讨论之内。 编辑一个好的编辑器,不仅可以让作者在写作时快速编辑,并且提供一系列的附加功能,如: 参考引用管理、语法检查、拼写提示等。能够实现 LaTeX 文本编辑的编辑器多如牛毛,如 WinEdit, TeXworks, Atom, Visual Code, Vim, Emacs, Sublime.在本文中我要重点推荐的是...

阅读全文

The Show Must Go On

最近几年,在每年年终或者生日时,我都会写一篇类似年终总结的短文,对自己一年进行回顾。从去年开始,我打算每年选一首歌作为总结的标题。在今年年初的时候,我就选好了”The Show Must Go On”作为今年的标题。这首歌是皇后乐队在 1991 年名为 Innuendo 专辑中推出的一首歌曲。歌名取自西方的一句谚语,这首歌由主体部分由校长创作,最初是在 Freddie 逝世前六周作为一首单曲推出,因此这首歌也可以算做是 Freddie 的绝唱。歌词的意境、Freddie 当时绝望的处境和他华丽的嗓音,使得这首歌显得雍容华贵,但又充满了悲壮。年初时选这首歌也算是对当时心情低潮期的一个回应了。我一直相信,如若在每年年终时,还能怀揣着许多热泪盈眶的感动,那么,这属于我们的时代还在继续。 回顾...

阅读全文

《穆旦诗文集》简评

距离上次的书评更新已经近一年时间了,这期间阅读速度由于各种原因变慢。书评也跟着中断。《穆旦诗文集》读完已接近两个月了,现在记忆中已经没有任何关于诗句的东西,但穆旦的诗所带来的厚重的质感还在持续的震撼着我。 在进行具体内容的评价前,还是照样对书籍本身的质量进行简要的概括。人民文学2014年出版的这套《穆旦诗文集》是06年版本的扩充,从厚度上来说这套书是两册共825页的大部头,比06年版本足足厚了一半多。封面设计延续了人民文学的质朴,简单的灰白,加上书名。封面的纸张采用凸版印刷纸,手指的触感相当不错,材质也能衬托出书本的质感。32开的纸配上四号字,单倍行距,排版不属于紧凑的,所以这增订版页数多了,内容具体增加了多少,还有待对比,可惜手头并没有06年版本的。 《穆旦诗文集》的内容包括两部分,...

阅读全文

纪念海子

春天的梦马——2016 年 3 月 26,王穆荣 我历经过许多春天闻着花香、向着太阳像梵高的向日葵那样金黄把我照亮 你有过许多梦去青海、祁连、西藏有梦、青草、苍莽以梦为马、遍历天涯 我也曾是个多情种爱祖国、粮食、黄土地我写过很多情诗,结尾纠缠着相思 你敞开双臂、拥抱太阳面向苍穹、转瞬天堂我劈柴喂马活在这珍贵的人间

阅读全文

2015年年末阅读盛宴"最美书评"

品味阅读,共享好书,在年末之际,本群发起一次最美书评评选活动,活动规则如下:
本次读书活动以书评分享为主题,凡是在2015年12月25日之前在本人空间,微博,博客下留言或者是发送书评到邮箱latexers@163.com, 731903409@qq.com的群友、朋友以及各界阅读爱好者,即可参与“最美书评”评选活动。最终结果在2015年12月31日揭晓。奖项初步预计为图书与书签若干。具体获奖情况根据参与者人数与书评质量决定。书评范围不限,内容不限。鼓励理性思考,坚持原创分享!
本活动最终解释权归本人以及品质阅读群管理人员所有。欢迎大家参加!
投稿邮箱:latexers@163.com
投稿微博:http://weibo.com/zhulurenwang/
投稿QQ:731903409
咨询QQ:731903409

告别的年代——我的二十七

许多年之后,面对镜子里的自己穆荣将会想起,二十七岁那天晚上,他坐在电脑前那艰涩的敲击键盘的手。在过去的几年中,每年生日他都可以对过去的一岁用文字流畅的做结,然而却在二十七岁这年绞尽脑汁却还是一堆乱码在脑中纠缠。 在几十天前,他就决定了以后每年的生日总结,选一句罗大佑的歌词做题。在过去的一年中他屡次对人赞美罗大佑的才气、词曲中包含的音律,古典美、字句中所流露出的洒脱与不羁以及那难听的破锣嗓。活脱脱的一个布道士的感觉,当然,他本身并不懂音乐。他曾经提到,他之所以选择告别的年代这句词,是为了纪念他在这年逝去的爷爷。从作为孙子的角度,纪念文似乎早该完成,他却一直拖到了现在,可能是为了应证那句话:生是死亡的另一种延续。当然,这里的生指的是后人的生。 活到二十七岁才第一次经历至亲的生离死别,他确实...

阅读全文

极客范——用 Gist 来管理 To-Do List

作为健忘症患者,面对许多琐事时,总会把事情落下,因此慢慢的变成了重度 To-Do List 依赖者。这类的软件用过 Windows 的桌面便笺, Trello, Todolist 等。最近迷上了 Github, 今天看 Gist 帮助文档时,忽然发现 Carl 写的用 Gist 来管理 To-Do List 的博客,发现这个功能相当酷,实验了一下后,对其博文进行了简单的总结扩展。 Gist 简介Gist 是 Github 推出的一项用来分享简短的代码片段,单个文件等的服务。Github 上的 Gist 分为三类: Public Gists, Secret Gists 以及 Anonymous Gists, 前两种都需要登录 Github 才能创建,匿名 Gists 不需要登录也可以创建...

阅读全文

图像分割、边缘检测、轮廓检测的区别与联系。

背景在图像处理中,轮廓检测 (Contour Detection), 边缘检测 (Edge Detection),图像分割 (Image Segmentation)三个概念联系十分紧密,但从具体概念来说并不一样。下面是这三个概念的直观定义: 图像分割是指将数字图像分割成多个图像小块(即像素集合,如超像素)的过程。 边缘检测是检测数字图像中明暗变化剧烈或者说是不变化不连续的像素点。 轮廓检测是指检测图像中的对象边界。 图像分割和边缘检测从定义就可以很好的区分,轮廓检测和边缘检测的区别是在语义层次上,轮廓检测更偏向于关注上层语义,主要目标是为了确定图像中的语义对象的边界;而边缘检测只关注的是图像中像素点的变化。另外,从结果的表现形式来看,轮廓检测得到的轮廓一定是封闭的,而边缘检测得到...

阅读全文

© 2017 风陵渡 All Rights Reserved. 本站访客数人次 本站总访问量
Theme by hiero