23.08.27~23.09.03

업무

1. R&D 연구 과제 수행

역시나 팁스 연구 과제를 수행했다.

1) bert 모델 전이 학습

bert 모델을 통한 분류 모델 학습을 시도했었는데, 정확도가 (드디어) 70%대가 되었다!

매주 요동치는 결과물. 하하!

어째서 이런 일이 일어났는고 하니...

 

이전 bert 모델은 사전 학습된 데이터가 하나도 없는, 말 그대로 깡통 모델에 불과했다.

즉 우리가 입력한 학습 데이터 이외에는 아무 것도 학습되지 않았었는데...

문제는 한국어 문장조차 학습이 이뤄지지 않다보니, 자연어로 이뤄진 데이터셋의 학습이 원할하게 이뤄지지 않았던 것.

 

따라서 klue/roberta-base, klue/bert-base 등 bert 모델을 학습시킨 모델을 사용한 전이 학습을 진행했고,

https://huggingface.co/docs/transformers/hpo_train

Hyperparameter Search using Trainer API

성능 및 학습 효율 향상을 위한 하이퍼 파라미터 튜닝 작업도 수행했다.

눈물이 찔끔

2) 결과 도출 관련 알고리즘 작성

분류 모델의 학습 정확도가 70% 정도 나와줌에 따라, 다음 스텝으로 넘어가기로 했다.

 

물론 고도화 및 최적화에 시간을 쏟아도 되지만...

어찌됐든 추후 단계도 개발을 해야하고, 그 과정에서 또 어떤 에로사항과 마주할지 모르기 때문에

빠르게 전체 사이클을 돌려본 후 추가적인 논의를 이어가기로 결정했다.

 

그 중, 분류 모델의 결과를 각 미용샵 데이터에 매핑시키는 작업을 수행했다.

별 다른 어려움은 없었지만... 간만에 서버 개발자가 된 듯한 기분을 만끽했던 주 후반!