프로고민러

Keyword Char RNN, statelessRNN, Masking bidirectional recurrent layer Attention, Transformer * 토큰화(Tokenization) : 주어진 Corpus를 토큰이라 불리는 특정 단위로 나누는 작업. Attention Ouput에 상관성이 높은 Input에 가중치를 높게 두어(Attention) 값을 예측하는 방법론 논문 : https://arxiv.org/pdf/1409.0473.pdf Seq2Seq는 Input을 고정된 Context Vector로 압축하기 때문에 정보 손실이 발생할 수 있음. 하지만 Attention 기법은 input 값들을 변환하지 않고 그대로 사용하기 때문에 정보 손실이 상대적으로 적다. Seq2Seq Atte..

Keyword sequence data, time series data 자동번역, speech to text, NLP(natural language processing), time series predict RNN(Recurrent Neural Network), LSTM(Long-Short Term Memory), GRU, WaveNet(CNN 구조) https://deeplearningzerotoall.github.io/season2/ RNN(Recurrent Neural Network) 활성화 신호가 입력층 -> 출력층 한 방향으로만 흐르는 것이 아니라 다시 입력으로 돌아오는 구조이전 값들이 계속 전달 되기 때문에 활성화 함수로 relu 사용시 gradient exploding 문제 발생 가능. 때문..

Computer Vision에서 사용되는 기본 구조와 응용된 기법을 배운다. Convolutional layer, Pooling layer CNN Lenet-5, AlexNet, GoogLeNet, VGGNet, ResNet, SENet CV. Pretrained Model, Transfer Learning Object Detection. YOLO Sementic Segmentation 이미지로 잘 설명돼있음. : http://taewan.kim/post/cnn/ 이미지 짬뽕 시키기 : https://www.tensorflow.org/tutorials/generative/style_transfer Computer Vision에서는 왜 일반적인 뉴럴넷 구조를 이용하지 않을까? 이미지 데이터의 경우 feat..

tensorflow에서 제공해주는 데이터 API를 알아본다. 데이터 전처리 층을 만들어 본다. etc.. 1. 데이터 API 데이터 셔플링 데이터 전처리 Prefetch : 한 batch에서 알고리즘이 학습하는 동안 다음 batch를 준비하여 훈련 수행시간을 줄이는 방식 2. TFRecord 포맷 TFRecord 쓰기/읽기 TFRecord의 프로토콜 버퍼(protocol buffer) 포맷을 이용해 데이터 다루기 3. 전처리 one-hot Encoding Embedding(representation learning) 4. etc..

tensorflow? tensor 자료형이 한 연산에서 다른 연산으로 흐르는(flow) 형태를 따서 명명한 것 Tensorflow 특징(2.0 기준) 행렬 곱이 @로 가능함(기존:tf.matmul()) - a @ tf.transpose(a) 텐서와 넘파이는 서로 연산 적용이 가능함. 자동 타입 변환은 성능을 크게 감소 시킬 수 있기 때문에 금지되어있음. 실수와 정수를 더하면 에러가 뜸. 따라서 tf.cast를 이용해서 변환해 주어야 함. Tensorflow 함수 method 설명 tf.constant() 변경이 불가능한 텐서 생성 tf.Variable() 변경이 가능한 텐서 생성 assign() 새 변수 값을 할당함 x = tf.Variable([[1., 2., 3.],[4., 5., 6.]]) x.as..

신경망 훈련 과정에서의 문제점 Gradient Vanising : backpropagation 과정에서 신경망의 하위층으로(입력층으로) 갈수록 gradient 값이 매우 작아져 가중치가 업데이트 되지 않는 경우. Gradient Exploding : 신경망의 하위층으로 갈수록 gradient 값이 매우 커짐으로써 가중치가 비정상적으로 크게 업데이트 되어 알고리즘일 발산하는 경우. 적은 학습 데이터, 레이블을 다는 작업 비용이 많이 드는 경우 느린 훈련 속도 과대적합 : 훈련 샘플이 충분하지 않거나, noise가 많은 경우 * 참고 : 그래디언트 불안정의 원인 분석 논문(https://proceedings.mlr.press/v9/glorot10a/glorot10a.pdf) * Gradient Vanishi..

시작하기 전에.. 인공신경망(Neural Network)란? - 지겹도록 들은.. 인간 뇌 속 뉴런에서 영감을 받아 제안한 기법. - 입력/은닉/출력층으로 구성되며, 은닉층을 여러 개(깊이) 쌓아 학습하는 형태이므로 deep learning이라고 명명하였다. Keras란? - deep learning API - TensorFlow 2.0 기반 - simple & Flexible & Powerful - 함수형 API, keras에 층이 연결될 방법만 알려줄 뿐, model.fit 전에는 어떤 데이터 처리도 하지 않음. - 함수형 API의 장점 : 어떤 종류의 구조도 쉽게 만들 수 있음. - keras에는 세가지 모델 선언 방법이 있음 순차모델(Sequential model) 함수형 API(Functiona..

- 레이블이 없는 데이터에서의 분석 방법 [ 활용 예시 ] 1. 군집(Clustering) - 데이터 분석/ 고객 분류/ 추천 시스템/ 검색 엔진/ 이미지 분할/ 준지도 학습/ 차원 축소 등에 활용 됨 2. 이상치 탐지 - anomaly detection, fraud detection, 시계열 데이터에서 새로운 트렌드를 찾는다? 3. 밀도 추정(density estimation) - random process의 probability density function을 추정 - 이상치 탐지에도 사용 됨.(밀도가 낮은 영역에 놓인 샘플이 이상치일 가능성이 높음) [ 방법론 ] 1. k-means Clustering - 데이터를 k개의 중심과의 거리 기준으로 군집화 하는 것. 이 때 k는 군집 내 데이터들의 평균..

차원축소 - Projection PCA, Random PCA(d

VotingClassifier - 분류기들을 Voting 방식을 이용해 ensemble하는 기법 from sklearn.ensemble import VotingClassifier voting_clf = VotingClassifier( estimators = [('lr', log_clf), ('rf', rf_clf), ('svm', svm_clf)], voting='hard' ) voting_clf.fit(X_train, y_train) Voting 방식 - hard : 각 분류기에서 나온 예측 값 중 가장 빈도가 높은 갑 선택 - soft : 각 분류기에서 예측한 확률을 평균 내어서 가장 높은 확률을 갖는 값 선택 Ensemble - Law of large Number에 의해 약한 분류기 여러개를 앙상블..