반응형
(마지막 학기, 빅데이터 수업 팀프로젝트 진행 포스팅)
Weekly Scrum Meeting
Contents : 주제 선정 & 구체화하기
1) 아파트 시세 추이
- Spark Processing(Cluster mode)을 통해 지역적 위치, 평수, 층수, 건축 연도 등 아파트의 feature에 따라 시세 변동 추이를 분석한다.
- 시세 추이를 시각화하여 제공(시각화 툴 미정)
- Spark ML 선형 모델로 다음 아파트 가격을 보여준다.
2) 관련 뉴스 스크립트
- 다음 부동산 뉴스 크롤링
Todos
- 뉴스 크롤링 방법 알아오기
- 아파트 매매 실거래가 데이터 정제하기
- ML 모델 프로토타입 구축 후 기준 정하기 : 행정동 vs 아파트
- 모델에 맞게 시각화 범위 결정
Done
아파트 매매 실거래가 데이터 수집 완료(출처 : 국토교통부 실거래가 공개 시스템 http://rtdown.molit.go.kr/)
반응형
'IT study > Big Data' 카테고리의 다른 글
| [YouTube]Apache Spark Tutorial Full Course - Spark SQL&basic (5) (0) | 2021.05.28 |
|---|---|
| 아파트 가격 추이 분석 서비스(2) (0) | 2021.05.22 |
| [YouTube]Apache Spark Tutorial Full Course - RDD Creation (4) (0) | 2021.05.17 |
| [YouTube]Apache Spark Tutorial Full Course - Job, Stage, Task (3) (0) | 2021.05.12 |
| [YouTube]Apache Spark Tutorial Full Course - RDD (2) (0) | 2021.05.10 |