Gyuhoon Kim

Data Engineering

  • Home
  • About
  • python
  • scala
  • hadoop
  • database
  • kubernetes
  • All Posts
  • Tag
Subscribe
Algorithm

DAG 순환 참조 판별 알고리즘 — Airflow와 dbt는 어떻게 검증할까

Airflow와 dbt가 DAG의 비순환 여부를 어떤 자료구조와 알고리즘으로 검증하는지 알아봅니다.

GyuhoonK GyuhoonK 10 min read
Airflow Kubernetes

Airflow Triggerer 사용기

Airflow Triggerer를 사용하면서 겪었던 장애를 정리합니다.

GyuhoonK GyuhoonK 11 min read
Kubernetes

Kubernetes Service Type

[K8s] 쿠버네티스 Service(서비스) 완벽 가이드: 개념부터 Ingress 연동까지

GyuhoonK GyuhoonK 3 min read
Python

FastAPI 내부 구조, 의존성 주입, Celery

[FastAPI 해부하기] 내부 구조부터 비동기 동작 원리, DI, 그리고 Celery 연동까지

GyuhoonK GyuhoonK 4 min read
Hadoop

HDFS와 S3 비교하기

스토리지의 양대 산맥: HDFS와 S3를 비교해봅니다.

GyuhoonK GyuhoonK 4 min read
Database

MySQL Index 개념 정리

면접 준비용 MySQL Index 개념 정리

GyuhoonK GyuhoonK 8 min read
Airflow Kubernetes

KubernetesPodOperator에서 ApiException(400)가 발생하는 원인

KubernetesPodOperator 사용 시 kubernetes.client.exceptions.ApiException: (400)이 발생하는 원인에 대해서 분석합니다.

GyuhoonK GyuhoonK 4 min read
Kubernetes

ConfigMap과 Secret의 차이점

Kubernetes: ConfigMap과 Secret의 차이점

GyuhoonK GyuhoonK 3 min read
Airflow

Variables & Dag Parsing

Variables 사용 방법을 알아보고, Dag Parsing에서 그 이유를 살펴봅니다.

GyuhoonK GyuhoonK 3 min read
Dbt

Running Models in Parallel with dbt-trino

dbt trino에서 파티션이 있는 모델을 병렬 실행하기 위한 매크로 수정 방법

GyuhoonK GyuhoonK 3 min read
Spring

Spring Dependency Injection, Component Scan

Spring의 의존관계 주입 방법과 Component Scan에 대해서 알아봅니다

GyuhoonK GyuhoonK 2 min read
Spring

Spring Singleton Container

Spring Container에서 지원하는 싱글톤 컨테이너에 대해서 알아봅니다.

GyuhoonK GyuhoonK 1 min read
Spring

Spring Bean 정의하기

Spring Container에서 Bean 정의를 정리합니다.

GyuhoonK GyuhoonK 1 min read
Spring

Spring Bean 조회하기

Spring Container에서 Bean을 조회하는 방법을 정리합니다

GyuhoonK GyuhoonK 2 min read
Spring

DIP(Dependency Inversion Principle),의존관계 역전 원칙

의존관계 역전 원칙과 이를 지키기 위한 의존관계 주입(Depdendency Injection, DI)에 대해서 알아봅니다

GyuhoonK GyuhoonK 4 min read
Hadoop

Salting in Spark

Data Skewness를 해결하는 Spark Salting Key 기법에 대해서 알아봅니다.

GyuhoonK GyuhoonK 4 min read
Database

prepared statement

prepared statement

GyuhoonK GyuhoonK 3 min read
Kubernetes

multi-stage와 Builder Pattern

DataHub로 알아본 Docker build 전략 (multi-stage, Builder pattern)

GyuhoonK GyuhoonK 3 min read
Hadoop

non-deterministic UDF

non-determinitic UDF 구현하기

GyuhoonK GyuhoonK 3 min read
Python

Sharing Avro Schema to Python

DataHub에서 avro schema 파일(avsc)을 사용하는 방법

GyuhoonK GyuhoonK 3 min read
Page 1 of 3 Older Posts »
Gyuhoon Kim © 2026
Proudly published with Jekyll & GitHub Pages using Jasper2
Latest Posts Ghost

Subscribe to Gyuhoon Kim

Stay up to date! Get all the latest & greatest posts delivered straight to your inbox