Skip to content

aiffel-catcher/data-platform

Folders and files

NameName
Last commit message
Last commit date

Latest commit

Β 

History

70 Commits
Β 
Β 
Β 
Β 
Β 
Β 
Β 
Β 

Repository files navigation

🚘 AIFFELTHON X SOCAR 🚘

πŸ“… ν”„λ‘œμ νŠΈ κΈ°κ°„ : 2022.04.20-2022.06.08

  • κΉ€λΉˆ : KoBERTλ₯Ό ν™œμš©ν•œ 이진 λΆ„λ₯˜ 및 λ©€ν‹°λ ˆμ΄λΈ” λΆ„λ₯˜ λͺ¨λΈ κ΅¬ν˜„, μ‹œμŠ€ν…œ μžλ™ν™”λ₯Ό μœ„ν•œ 파일 ꡬ성
  • λ…Έμ§€μ—° : KoBERTλ₯Ό ν™œμš©ν•œ ν‚€μ›Œλ“œ μΆ”μΆœ λͺ¨λΈ κ΅¬ν˜„, μ€€μ‹€μ‹œκ°„ 데이터 μ œκ³΅μ„ μœ„ν•œ μ‹œμŠ€ν…œ μžλ™ν™” κ΅¬ν˜„
  • λ°•μ§€ν˜Έ : KoBERTλ₯Ό ν™œμš©ν•œ 이진 λΆ„λ₯˜ 및 λ©€ν‹°λ ˆμ΄λΈ” λΆ„λ₯˜ λͺ¨λΈ κ΅¬ν˜„, ν‚€μ›Œλ“œ μΉ΄ν…Œκ³ λ¦¬ λΆ„λ₯˜
  • μ‹ ν˜œμ§€
  • ν™μ„œμ˜

🚦 Introduction

<μ˜μΉ΄μ™€ κ΄€λ ¨λœ 리뷰 및 ν›„κΈ°λ₯Ό 기반으둜 ν•œ 뢄석 μžλ™ν™” μ‹œμŠ€ν…œ κ΅¬μΆ•ν•˜κΈ°>

졜근 방솑 뿐만이 μ•„λ‹ˆλΌ 유튜브, 개인 그리고 μΈν”Œλ£¨μ–Έμ„œ λ“±μ˜ 영ν–₯λ ₯이 컀지고 μžˆμŠ΅λ‹ˆλ‹€. μ΄λŠ” κΈ°μ—…μ˜ 이미지에 큰 영ν–₯λ ₯을 끼치기 λ•Œλ¬Έμ— B2C μ‚¬μ—…μ—μ„œλŠ” 이에 λŒ€ν•œ 관리가 ν•„μš”ν•©λ‹ˆλ‹€. ν•˜μ§€λ§Œ 영ν–₯λ ₯을 λ―ΈμΉ˜λŠ” 개인이 많고 λ™μ‹œλ‹€λ°œμ μœΌλ‘œ μ½˜ν…μΈ κ°€ μ—…λ‘œλ“œκ°€ 되기 λ•Œλ¬Έμ— 이λ₯Ό μ •λŸ‰μ μœΌλ‘œ νŒŒμ•…ν•˜κΈ°κ°€ μ–΄λ €μšΈ 뿐만 μ•„λ‹ˆλΌ 인λ ₯으둜 λŒ€μ‘ν•˜κΈ°λ„ μ–΄λ ΅λ‹€κ³  νŒλ‹¨ν–ˆμŠ΅λ‹ˆλ‹€. μ΄μŠˆμ— κ΄€ν•œ λΉ λ₯΄κ³  μœ μ—°ν•œ λŒ€μ²˜λ₯Ό μœ„ν•΄ λ‹€μ–‘ν•œ μ±„λ„μ—μ„œ 쏘카 리뷰듀을 μˆ˜μ§‘ν•˜κ³  λΆ„μ„ν–ˆμŠ΅λ‹ˆλ‹€.

  1. 쏘카의 졜근 이슈λ₯Ό νŒŒμ•…ν•  수 μžˆλŠ” κΈ‰μƒμŠΉ ν‚€μ›Œλ“œλ₯Ό 제곡
  2. μ˜μΉ΄μ— λŒ€ν•œ 인식이 ν˜„μž¬ 긍정적인지, 뢀정적인지 μ•Œ 수 μžˆλŠ” 감성뢄석을 ν†΅ν•œ 긍/λΆ€μ • ν‚€μ›Œλ“œ 기획
  3. 뢀정적인 μ˜κ²¬μ„ 기반으둜 μ£Όμš” 뢈만 ν‚€μ›Œλ“œλ₯Ό νŒŒμ•…ν•  수 μžˆλ„λ‘ μΉ΄ν…Œκ³ λ¦¬λ‘œ λΆ„λ₯˜
  4. μ–΄λ–€ λ‚΄μš©μ΄ 뢀정적인지 μ •ν™•ν•œ 데이터λ₯Ό μ œκ³΅ν•˜κ³ μž, μ‹€μ œ 리뷰 데이터 원본 제곡

πŸƒ Project Details

  • Tools

    Language : Python

    IDE : Google Colaboratory

    Library : Pytorch

    Platform : GCP, Airflow, Kafka, Bigquery, Google Data Studio

[전체 μ§„ν–‰κ³Όμ •] 전체진행흐름도

[이진뢄λ₯˜]

[μΉ΄ν…Œκ³ λ¦¬ μ„ μ • κ³Όμ •] μΉ΄ν…Œκ³ λΌμ΄μ§•λ°©μ‹

[μ‹œμŠ€ν…œ κ΅¬ν˜„λ„] μ‹œμŠ€ν…œκ΅¬μ„±λ„

πŸ™‹ Results


πŸ’ŒπŸ•ŠοΈ

πŸ¦’ πŸ§‘κΉ€λΉˆ : 쒋은 μ‚¬λžŒλ“€κ³Ό ν”„λ‘œμ νŠΈ μ§„ν–‰ν•˜κ²Œ λ˜μ–΄μ„œ μ¦κ±°μ› μŠ΅λ‹ˆλ‹€. ν˜„μž¬ μ €μ˜ μˆ˜μ€€ μ΄μƒμ—μ„œλ‚˜ κ°€λŠ₯ν•  μ‹œλ„λ₯Ό 많이 ν•΄λ³Ό 수 μžˆμ–΄μ„œ μ„±μž₯에 도움이 λ˜μ—ˆμŠ΅λ‹ˆλ‹€. 좔후에 multi-label classification의 λ―Έμ§„ν–ˆλ˜ 뢀뢄을 κ°œμ„ ν•˜μ—¬ λ‚˜μ˜¬ 결과도 κΈ°λŒ€κ°€ λ˜λ„€μš”!

🐹 πŸ’› λ…Έμ§€μ—° : β€œμ˜μΉ΄μ— λŒ€ν•œ 리뷰 λΆ„μ„β€μ΄λž€ ν₯미둜운 주제λ₯Ό κ°€μ§€κ³  μ²˜μŒμ—λŠ” μ–΄λ–»κ²Œ ν’€μ–΄κ°€μ•Ό ν• μ§€ λ§‰λ§‰ν–ˆμ§€λ§Œ, 마음이 λ§žλŠ” νŒ€μ›λ“€κ³Ό ν•¨κ»˜ 역경에도 κ΅΄ν•˜μ§€ μ•Šκ³  λκΉŒμ§€ λ§€μ§„ν•˜μ—¬ 쒋은 κ²°κ³Όλ₯Ό λ„μΆœν•œ 만쑱슀런 ν”„λ‘œμ νŠΈμ˜€μŠ΅λ‹ˆλ‹€.

🐧 ❀️ λ°•μ§€ν˜Έ : ν”„λ‘œμ νŠΈ μ§„ν–‰ κ³Όμ • 쀑에 λ§Žμ€ 어렀움도 μžˆμ—ˆμ§€λ§Œ λŠμž„μ—†λŠ” μ†Œν†΅μœΌλ‘œ λκΉŒμ§€ 문제 해결을 ν•˜λŠ” κ³Όμ •μ—μ„œ 많이 λ°°μ› μŠ΅λ‹ˆλ‹€. λΆ€μ‘± μ €λ₯Ό μ΄λŒμ–΄μ£Όκ³  많이 배울 수 있게 ν•΄μ€€ 우리 νŒ€μ› λͺ¨λ‘ κ°μ‚¬ν•©λ‹ˆλ‹€.

🐱 πŸ’šμ‹ ν˜œμ§€ : μΊμ²˜λŠ” ν•œλ‹¬ λ‚¨μ§“ν•œ μ‹œκ°„λ™μ•ˆ λ‹€μ„― νŒ€μ›μ΄ 곡듀여 λ§Œλ“  μ†Œμ€‘ν•œ ν”„λ‘œμ νŠΈμž…λ‹ˆλ‹€. 효과적으둜 μœ μ €μ˜ ν”Όλ“œλ°±μ„ μˆ˜μ§‘ν•˜κ³  μ’…ν•©ν•˜κ³ μž ν•˜λŠ” λ§Žμ€ λΆ„λ“€κ»˜ μΊμ²˜κ°€ 도움이 λ˜μ—ˆμœΌλ©΄ μ’‹κ² μŠ΅λ‹ˆλ‹€. κ³ μƒν•˜μ‹  우리 μΊμ²˜νŒ€ κ°μ‚¬ν•©λ‹ˆλ‹€!

🐸 πŸ’™ ν™μ„œμ˜ : 6κ°œμ›” μ „ μ½”λ“œ ν•œ 쀄 λͺ°λžλ˜ μ œκ°€ λ©‹μ§„ μ‚¬λžŒλ“€μ„ λ§Œλ‚˜ μΆ©λ§Œν•œ 결과물을 λ‚΄κΈ°κΉŒμ§€, ν•˜λƒ₯ μ¦κ±°μš΄λ°λ‹€ μœ μ΅ν•˜κΈ°κΉŒμ§€ ν•œ μ‹œκ°„μ΄μ—ˆμŠ΅λ‹ˆλ‹€. β€œμΊμ²˜β€νŒ€μ„ κ°μ„±λΆ„μ„ν•˜λ©΄ β€œPositive” 100%, ν‚€μ›Œλ“œ μΆ”μΆœν•˜λ©΄ β€œμ¦κ±°μ›€β€μ΄ λ‚˜μ˜¬κ±°λž€ 확신이 λ“œλ„€μš”. 캐처 상사, 퇴사 μ—†μ–΄!

About

No description, website, or topics provided.

Resources

Stars

Watchers

Forks

Releases

No releases published

Packages

No packages published

Contributors 3

  •  
  •  
  •  

Languages