23.08.06~23.08.13

업무

1. R&D 과제 수행

틈틈이 진행하던 R&D 과제를 이번 주 통으로 시간을 내 진행했다.

 

자세한 내용을 작성할 순 없지만...

1) 학습 데이터 생성을 위한 데이터 전처리

2) 한국어 형태소 분석

 위 두 가지가 주된 업무였다.

 

1) 데이터 전처리

언어 모델이 학습할 데이터를 위해, 도메인과 관련된 단어 사전을 구축해야 했고,

이를 위한 데이터 전처리를 진행했는데...

 

말이 좋아 전처리지, 사실상 기존 데이터를 단어 사전과 일일이 매핑하는, 수작업 노동에 가까운 일이었다!

모델 학습을 위해 반드시 거쳐야 하는 과정임을 알곤 있지만,

눈이 침침... 목이 뻐근... 한건 어쩔 수 없던 일. 하하!

 

2) 한국어 형태소 분석

자연어 형태의 문장에서 유의미한 값을 얻어내야 했고,

이를 위해 한국어 형태소 분석기를 구축해야했다.

 

Mecab, Kiwi, Khaiii 등의 언어 모델들을 팀원들 각각 어느 정도 연구한 후, 

성능 비교를 진행해 가장 나은 모델을 사용하기로 했다.

(나는 Colab 환경에서 Mecab을 이용했는데, 꽤나 흥미진진했달까)

 

다음 주에는 특정 언어 모델을 선정한 후, 기존 데이터를 학습 데이터로 변환하는 과정을 거칠 예정!

 

회고

인공지능. 언어 모델. 통계.

이 중 내가 아는 건... 아무것도 없었다. 아무것도!

그래서 처음 연구 개발 과제를 진행하게 되었을 땐,

'내가 이걸 정말로 구현할 수 있을까?' 하는 막연한 두려움이 있었다.

 

lean as source-code of life

얼마 전 작성한 글. 태도로써의 lean.

두려워하기보단, lean 하게 움직이자는 생각이 들었다.

 

그래서... 도서관에 가, 초등학생을 대상으로 한 AI 관련 서적을 빌려 읽었다.

만화로 된 책들, 쉽게 설명하는 유튜브 영상, 갓 발매된 신간(chatGpt) 등.

내가 지금 당장 할 수 있는 작은 행동들을 실행했다.

 

물론 지금도 어렵고 헤맬 때가 많다.

하지만... 난 아직도 스타트업의 방식이 지닌 힘을 믿는다.

 

욕심부리지 않고, 과신하지 않고. 

지금 내가 이해할 수 있는 내용들을 차곡차곡 습득해나가다 보면,

이번에 찾아온 챌린지도 어떻게든 해결할 수 있을 테다!