막노트 - week0

[eubinean]

이런저런 생각 in week 0.

[eubinean]

Autocomplete in Google Collab

구글 Collab에서도, ctrl + space로 autocomplete가 가능함! - 이걸 학생들에게 팁으로 알려주는 것도 중요할 듯.

[eubinean]

가르치는 task에 대하여

하나의 task만 가르치는 것에도 분명 단점이 있다 - 다른 task로 자아실현을 하고 싶은 학생들은 어쩌란 말인가?

Reverse-dictionary task외에, NER이라던지, speech recognition 이라던지, speech synthesis라던지. 정말 task는 많다. RD에는 별 관심이 없는 학생들은 그러면 어떻게 설득시킬 것인가?

내 강의를 들었는데, 막상 취업하고 싶은 곳은 천재교육 AI이라면, 별 도움이 안될 가능성도 있지 않겠는가?

나는 이렇게 설득할 것이다: task는 다르지만, 아주 concrete한 framework는 배워갈 수 있다.

• 예를 들어, 일단 규칙기반부터 시작한다던지. (Deep Learning Anything!이 아니라..)
• 자연어처리의 역사를 하나의 task로 볼 수 있다던지.
• 무엇보다도 "너가 뭘 좋아할지 몰라서 다 준비했어" 식의 강의는 주체적인 개발자를 지향하는 나로서는 하고싶지 않다. 내가 그런걸 할만한 지식이 있는 것도 아니고.

[eubinean]

교육과정 sprint 1

1. inverted index & TFIDF로 구현해보기 : 장점 파악 / 문제 인식 (semantic search 불가. 정의에 포함되지 않은 단어는 검색 불가)
2. Word2Vec로 구현해보기 : inverted index 대비 장점 파악 / 문제 인식 - averaging vectors to get a sentence vector의 단점.
3. RNN & LSTM으로 구현해보기: Word2Vec 대비 장점 파악 / 문제 인식 - 데이터가 많이 필요함 & 그래도 여전히... 긴 문장은 힘들다.
4. Traansformer 로 구현해보기: RNN & LSTM 대비 장점 파악 / 문제 인식 - 여전히 데이터가 많이 필요하다.
5. BERT로 구현해보기: Transformer 대비 장점 파악 / 문제 인식 - ...BERT의 문제가 뭐더라?
6. GPT3 & The future of NLP .... (e.g. few-shot learning )
7. different tasks in NLP other than RD - generation, speech recognition (특히 이것도 인공지능이 필요하다는 것),
8. Practical tips - tokenisation, lemmatization, stemming, etc
9. 이어서... 더 채워야 하는 것들.

[eubinean]

내가 느껴야할 책임감

• http://www.specialtimes.co.kr/news/articleView.html?idxno=133948&fbclid=IwAR338874Zssbb6KtQako4_5ibIfjG-qLvJhJNCLsIMfFYx3HtSJJZsos-aE

음... 자연어처리에 대해 아무것도 알지 못하는 비전공자를 데리고, 저렇게 해커톤에 나가서 수상을 할 정도의 주체적인 개발자가 되도록 길러내야 한다.

그런 자연어처리 개발자로의 성장을 위해 나는 무엇을 어떻게 가르쳐야 하는가?

문제를 분석하는 능력이 중요할 것.

[eubinean]

실습 - 문제

hands-on ML 문제를 사용해보는 것도??