WhyDoThat 프로젝트 github페이지로 이동하는 Readme 입니다.

데이터 파이프라인 참조 이미지

해당 이미지는 결과물이 아닌 기획에서의 이미지 입니다.
현재 Spark 및 tableau 는 프로젝트에 포함되어 있지 않습니다.

Career-scrapy-schduler

• Github Repogitory Link
• Scrapy로 동작하는 크롤러 저장소
• 주요 동작 : 데이터 수집 및 직군 분류
• 

Career-flask-server

• Github Repogitory Link
• Flask로 동작하는 백엔드 저장소
• 주요 동작 : API 제공, 백엔드 서비스

Nginx-setting

• Github Repogitory Link
• Nginx 셋팅 구조 저장소
• 주요 동작 : 배포 환경을 위한 셋팅 관리

Data-center

• Github Repogitory Link
• 분석을 위한 Data 관리를 위한 저장소
• 주요 동작 : 데이터베이스 서비스 및 관리 UI

Kafka-server

• Github Repogitory Link
• Zookeeper 및 Kafka 서버 환경 관리
• 주요 동작 : Stream 동작에서 브로커 역할

• Kafka-mysql-consumer(Kafka-server 하위 프로젝트)
  • Github Repogitory Link
  • WEB LOG중 특정로그를 선별해서 Mysql로 적재

Elastic-stack-docker

• Github Repogitory Link
• ELK 스택 환경 관리를 위한 저장소
• 주요 동작 : WEB LOG 저장, 검색엔진

Spark-server

• Github Repogitory Link
• Spark 환경에서의 데이터 분석 및 추천 코드 저장소
  • 현재 운영 서버에서는 Pandas-server로 대체
• 주요 동작 : 데이터 분석 및 추천 생성

Pandas-server

• Github Repogitory Link
• 리소스의 한계로 인한 Spark-server와 같은 동작을 하는 Pandas로 구현된 서버 코드 저장소
• 주요 동작 : 데이터 분석 및 추천 생성