5,6주차 회고

5주차 회고 : 여러 추천시스템 모델에 대해 배웠다. 

CF,MF,BANDIT 등

금요일에 역삼 스퀘어에 갔었다. 팀을 처음 만났는데 줌에서만 보던 얼굴들이 반가웠다. 

새로운 영감과 자극을 많이 받았다. 

추천시스템은 마음을 이해하는 것이라는 생각을 했다.

마음을 이해하려면 뇌를 알아야하고, 뇌를 아는 방법에는 심리학, 뇌과학 등등이 있다.

그 중에 욕구 5단계설을 도입하면 어떨까? 생각했다. 5단계 각각의 비율에 따라 추천의 내용을 달리 하는 것이다. 

그리고 메타적으로 모델의 모델을 서빙하는 것은 어떨까 생각했다. (이것은 6주차에 있는 내용이었다.) 

왜 하나로 고정해야하나? 사람마다 적합한 모델을 골라주면 안될까?라는 생각을 했다. 

 

6주차 회고: 대회가 시작됨. EDA를 처음 해 봄. 멘토님이 모델을 먼저 건드리고 EDA를 끼워맞추라는 이야기를 해주심. 면접 질문에 뭐가 나오는지도 알려주심. 

EDA를 반영하는 것도 어렵다. 

작가를 유명, 무명 작가로 분류하여 반영하려고 하는데 이것을 어떤 식으로 모델에 반영해서 학습시켜 볼지 처음이라 막막하다. 

이런 경우에는 계속 코드를 쳐다보고 해보는 수밖에 없다. 근데 왜 하기 싫지??이걸 이겨내야하는데...'

 

실험을 돌리다가 어떤 모델을 선택해야하지?라는 문제에 봉착했다.

밑에 글을 읽고 언더피팅, 오버피팅에 대한 이해가 조금 더 정교해졌다.

 

https://ko.d2l.ai/chapter_deep-learning-basics/underfit-overfit.html

3.11. 모델 선택, 언더피팅(underfitting), 오버피팅(overfitting) — Dive into Deep Learning documentation

이걸 바탕으로 실험 결과를 분석해보고 추후 실험을 더 설계해보아야 겠다. (하는 중..)

 

valid loss 가 train loss 보다 낮게 나온다.왜일까?

https://towardsdatascience.com/what-your-validation-loss-is-lower-than-your-training-loss-this-is-why-5e92e0b1747e

Your validation loss is lower than your training loss? This is why!

regularization term 때문에 train loss가 inflated 됨! 

 

https://wandb.ai/ayush-thakur/dl-question-bank/reports/What-s-the-Optimal-Batch-Size-to-Train-a-Neural-Network---VmlldzoyMDkyNDU

What's the Optimal Batch Size to Train a Neural Network?