전체 글61 Back-propagation on Affine Layers 딥러닝을 하다 보면 affine layer를 반드시(!) 만나게 된다. Vectorized input/output에 대해 back-propagation을 처음으로 적용하게 되는 대상이기도 하다. 이 글은 딥러닝이나 affine layer의 역할을 설명하려는 것이 아니고, affine layer에서 gradient 구하는 과정을 헷갈려한 나 자신을 돌아보기 위함이 주목적이다. 두 번째 목적은 복잡한 notation을 정리하며, affine layer에서 gradient를 구하는 모든 과정을 분명하게 밝히는 것에 있다.\(\newcommand{\X}{\mathbf{X}}\newcommand{\Y}{\mathbf{Y}}\newcommand{\W}{\mathbf{W}}\newcommand{\x}{\mathbf{.. 2020. 4. 20. Using different instances of activation layers in a neural network 심심할 때 딥러닝 공부를 하고자 Deep Learning from Scratch 책을 보며 틈틈이 공부하고 있다. 이번에 multi-layer로 이루어진 신경망을 구현하여 학습을 시키고 overfitting을 관측하고자 했는데, 책에 있는 결과를 재현하지 못해 엄청 애먹었다. Overfitting을 일부러 일으키고자, 데이터의 개수를 300개로 줄이고 훈련을 시켰다. 그에 비해 신경망의 층수는 6층이니, overfitting이 일어나고, 그래프의 마지막 부분에서도 알 수 있듯이 실제로 overfitting이 일어났다. 그런데 이제 문제가 되는 부분은, 150~200 epoch 사이, 그리고 250~275 epoch 부근에서 정확도가 요동치는 부분이었다. 이게 왜 그런 걸까 싶어서 한참을 고민하다가, 일단.. 2020. 4. 18. Docker 기초 Docker Commands Building an image docker image build -t example/echo:latest . Running an image (background) docker container run -d example/echo:latest List of images running docker container ls Stop image --filter option was used to print the containers that match the condition -q option was used to print the id only docker container stop $(docker container ls --filter "ancestor=example/echo" -.. 2020. 2. 27. 멋진 신세계 Brave New World, by Aldous Huxley 읽는 도중에 한번 책이 물에 젖는 바람에, 다 읽는데 2주씩이나 걸렸다. 사실 중학생 시절에 한 번 읽었었다. 그런데 그땐 너무 어려서 정말 이해가 안 갔다... 그래서 다시 꺼내서 읽게 되었다. 그동안 독해력이 향상되어서 그런지 옛날에 비해 이해가 굉장히 잘 됐다. 초반에 인공부화, 조건반사 양육소에서 미래 세계에서 인간이 태어나는 과정을 설명하는데 (보카노프스키 법 등) 생각만 해도 끔찍하다. 공업 용품을 넘어 인간을 대량 생산한다. 당연히 가족의 개념은 없고, 부모도 없다. 인간 사회가 극도의 안정을 추구하기 위해서 극도록 최적화를 한다면, 정말 이러한 삶의 양식이 가능할 수도 있겠다. 물론 행복하지는 않을 것이다. 어차피 상관없지 않은가.. 2020. 1. 20. 이전 1 ··· 10 11 12 13 14 15 16 다음
