본문 바로가기

Naver Clould with BitCamp27

ImageDataGenerator ImageDataGenerator 이미지를 학습시킬 때 학습 데이터 양이 적을 경우, 학습 데이터를 조금씩 변형시켜 학습 데이터 양을 늘리는 방법 중 하나 ImageDataGenerator Processing 1. ImageDataGenerator 객체 생성 : 이미지 파일들에 사용자가 설정한 여러가지 데이터 변형 기법을 적용함 train_datagen = ImageDataGenerator( rescale=1./255., # scaling horizontal_flip=True, # 수평 뒤집기 vertical_flip=True, # 수직 뒤집기 width_shift_range=0.1, # 가로 이동 height_shift_range=0.1, # 세로 이동 rotation_range=5,# 훈련 시, 과적.. 2023. 2. 5.
Ensemble Model 기본 환경: IDE: VS code, Language: Python Model ensemble: 모델들의 앙상블, 즉 여러 모델들을 함께 사용하여 기존보다 성능을 더 올리는 방법 # ensemble_model1.py import numpy as np x1_datasets = np.array([range(100), range(301, 401)]).transpose() # .transpose() = .T print(x1_datasets.shape) # (100, 2) print(x1_datasets) ''' [[ 0 301] [ 1 302] [ 2 303] ... [ 98 399] [ 99 400]] ''' x2_datasets = np.array([range(101, 201), range(411, 511).. 2023. 1. 31.
LSTM, Bidirectional, Conv1D 기본 환경: IDE: VS code, Language: Python 다양한 dataset에 따른 LSTM Bidirectional, Conv1D 활용 1. LSTM(Long Short Term Memory) : RNN Model의 장기 의존성 문제를 보완하기 위해 등장한 모델 # lstm_boston.py import numpy as np from tensorflow.keras.models import Sequential, Model, load_model from tensorflow.keras.layers import Dense, SimpleRNN, LSTM, Dropout, Conv2D, Flatten, MaxPooling2D from tensorflow.keras.callbacks import Ear.. 2023. 1. 30.
[Warning] Allocation of ... exceeds 10% of free system memory 기본 환경: IDE: VS code, Language: Python ⚠️ DataSet Size가 큰 경우, 모델 훈련 과정에서 Batch_size를 높일 때 경고 발생 → CPU memoey 부족으로 인해 발생하는 경고로 사용 시, 1 epoch 당 훈련시킬 데이터 사이즈를 너무 크게 설정할 경우 오류가 발생할 수 있으므로 fit의 batch_size를 줄여야 함 model.fit(x_train, y_train, validation_split=0.2, epochs=1, callbacks=[earlyStopping], batch_size=128) 참고 자료 📑 Allocation of 406978560 exceeds 10% of free system memory 2023. 1. 29.
[Project] Stock price prediction using Ensemble model 기본 환경: IDE: VS code, Language: Python 1. Project 개요 1.1. Project 배경 기준일 KOSPI 시가 총액 (천억원) 삼성전자 시가 총액 (천억원) 비중 (%) 2023-01-27 1,966.56 385.65 약 19.61% 23년 01월 27일자 기준 KOSPI 시가 총액 대비 삼성전자 시가 총액이 약 20%를 차지 우리나라의 경제 지표이자 투자 지표를 의미하는 KOSPI의 5분의 1을 차지하는 삼성전자 주가 예측의 필요성 1.2. Project 목표 2023년 01월 30일자 삼성전자 시가 예측 2. 데이터 분석 2.1. 데이터 설명 일자: 2015.01 ~ 2023.01의 데이터 시가: 개장 후 최초로 체결된 거래 가격 고가: 장중 기록되는 가장 높은 거래.. 2023. 1. 28.
RNN Model Construction 기본 환경: IDE: VS code, Language: Python Sequence data(음성인식이라던지 자연어라던지 등의 문맥이 있는 데이터)의 경우, 이전의 단어들을 이해해야 전체의 맥락을 이해 할 수 있으나 맥락들이 있는 series 데이터는 이전 상태를 전달하지 않는 DNN/CNN에서 사용하기 어려움 ⭐ RNN은 상태(state)를 계산할때는 이전 상태(state)를 사용하여, 이전 연산값이 bias처럼 영향을 미치면서 미래의 predict에 영향을 미침 RNN 작동원리 RNN 작동원리 활용 예제 1. I가 ProNoun일 확률이 높다는 것을 다음 layer에 전달 2. 이전 값이 ProNoun일 확률이 높으므로 work는 동사일 확률이 높다는 것이 work에 품사 결정에 영향 ... 의 반복.. 2023. 1. 27.

티스토리툴바