[Day07 - 6/1] 피어세션

[changwoomon]

희석님
재우님이 바꾸신 코드에서 LSTM, BERT 증강 적용
LSTM: 증강X이 더 높음
BERT: auc↑, acc↓
stride 적용해서 증강 해보려고 한다
train data answerCode 마지막 -1넣어서 증강

재우님
continuous 임베딩
텐서플로우 코드 → 파이토치로 바꿔보려한다

유진님, 애나님
LastQuery 코드 짜려했는데 주셨음
LastQuery 슬라이딩 윈도우로 데이터 증강해보자
→ 우리꺼 데이터로더랑 코드가 달라서 어떻게할지 생각중

---

모델링도 다양하게 해보면 좋을 것 같다.
Ray, HyperOpt 사용하면 효율적으로 실험할 수 있지않을까?
validation set도 어느정도 잘맞으면 좋을거같다.

LSTM hidden_dim 올려주면 성능향상

• validation set 성능은 0.77까지 나왔다 / train 0.8 ~ 0.9 (?
• 성능향상이 있긴했다 → 0.746 (제출: 2048)
  • → 여기에도 데이터 증강한거 사용해보자

Q. LSTM hidden_dim 제한없나요?
→ 돌리다가 터지지않는 선까지는 괜찮을거같습니다

max_seq 20씩 자른거를 데이터 증강했는데 lstm에서 효과가 없었으면 슬라이딩 윈도우로 했을 때 그렇게 성능의 향상이 있을까가 궁금하다