Read Write

잊지않기위해 기록합니다.

About
Archives
Search

Spark Hive ElasticSearch ETL

Elasticsearch Spark

Elastic Search Index데이터를 Spark를 사용해 Hive에 저장하는 과정을 설명합니다.

Twitch Eventsub

Twitch EventSubscription 사용방법에 대해 정리합니다.

Spring Spark Gradle

Spring Fat-jar for Spark

Spark에서 Spring을 실행할 수 있게 Fat Jar빌드하는 방법에 대해 기술합니다.

Hive Kafka hadoop Batch

Write message to kafka using hive

Hive에서 Kafka로 데이터를 전송하는 예제입니다.

Hive Kafka hadoop Batch ETL

Read message from kafka using hive

Kafka에 있는 데이터를 Hive로 읽어보는 예제입니다.