AI야, 진짜 뉴스를 찾아줘!

Result

Setting

구글 드라이브 연결

라이브러리 다운로드

라이브러리 불러오기

GPU 설정

kobert 불러오기

Preprocessing

카테고리 오류 데이터 제거

title + content로 데이터 구축

중복 데이터 제거

Train : Test = 9 : 1

max_len = 128로 데이터 통일

tokenizer와 kobert로 데이터 변화

Classification

BERTClassifier 사용

batch_size = 64

warmup_ratio = 0.01

num_epochs = 5

max_grad_norm = 1

log_interval = 200

learning_rate = 5e-5

Scoring

데이터 불러오기

시간 측정 시작

라이브러리 불러오기

Model 불러오기

형태소 분석 + 전처리

예측

시간 측정 종료

제출

PPT