Gyuhoon Kim

한글 2글자 검색이 0건이 되는 이유 - min_length 필터와 nori

운영 중인 데이터 카탈로그(DataHub)에서 “결제”, “방문” 같은 2글자 한글 키워드로 검색하면 결과가 0건이고, 3글자부터는 정상 동작하는 현상을 추적한 기록입니다. 원인은 검색엔진(OpenSearch)의 결함이 아니라, 애플리케이션이 인덱스에 심어놓은 token filter 하나였습니다. 역색인과 analyzer의 기본 동작부터

Airflow Celery Rabbitmq Tcp

Half-Open Socket으로 인한 Airflow Stuck Task 디버깅

Airflow 운영 중 task가 queued 상태에서 약 20분간 멈춰있다가 자동 실패 처리되고, 좀비 Pod가 클러스터에 잔존하는 현상을 디버깅한 기록입니다. 표면적 현상만 보면 어디 한 곳이 명확하게 죽은 것 같지 않은데도 task가 계속 stuck되어

트랜잭션과 ACID — MySQL InnoDB와 PostgreSQL은 어떻게 보장할까

MySQL InnoDB와 PostgreSQL이 ACID 네 속성을 어떤 로그·자료구조로 구현하는지 비교해봅니다.

DAG 순환 참조 판별 알고리즘 — Airflow와 dbt는 어떻게 검증할까

Airflow와 dbt가 DAG의 비순환 여부를 어떤 자료구조와 알고리즘으로 검증하는지 알아봅니다.

Airflow Kubernetes

Airflow Triggerer 사용기

Airflow Triggerer를 사용하면서 겪었던 장애를 정리합니다.

Kubernetes Service Type

[K8s] 쿠버네티스 Service(서비스) 완벽 가이드: 개념부터 Ingress 연동까지

FastAPI 내부 구조, 의존성 주입, Celery

[FastAPI 해부하기] 내부 구조부터 비동기 동작 원리, DI, 그리고 Celery 연동까지

HDFS와 S3 비교하기

스토리지의 양대 산맥: HDFS와 S3를 비교해봅니다.

MySQL Index 개념 정리

면접 준비용 MySQL Index 개념 정리

Airflow Kubernetes

KubernetesPodOperator에서 ApiException(400)가 발생하는 원인

KubernetesPodOperator 사용 시 kubernetes.client.exceptions.ApiException: (400)이 발생하는 원인에 대해서 분석합니다.

ConfigMap과 Secret의 차이점

Kubernetes: ConfigMap과 Secret의 차이점

Variables & Dag Parsing

Variables 사용 방법을 알아보고, Dag Parsing에서 그 이유를 살펴봅니다.

Running Models in Parallel with dbt-trino

dbt trino에서 파티션이 있는 모델을 병렬 실행하기 위한 매크로 수정 방법

Spring Dependency Injection, Component Scan

Spring의 의존관계 주입 방법과 Component Scan에 대해서 알아봅니다

Spring Singleton Container

Spring Container에서 지원하는 싱글톤 컨테이너에 대해서 알아봅니다.

Spring Bean 정의하기

Spring Container에서 Bean 정의를 정리합니다.

Spring Bean 조회하기

Spring Container에서 Bean을 조회하는 방법을 정리합니다

DIP(Dependency Inversion Principle),의존관계 역전 원칙

의존관계 역전 원칙과 이를 지키기 위한 의존관계 주입(Depdendency Injection, DI)에 대해서 알아봅니다

Salting in Spark

Data Skewness를 해결하는 Spark Salting Key 기법에 대해서 알아봅니다.

prepared statement

prepared statement