Spark의 병렬도는 Core 수가 아니라 파티션 수가 결정합니다. Core와 파티션의 관계, mapPartitions가 실제로 유리한 지점, coalesce가 설정한 대로 동작하지 않는 이유를 정리합니다.

Kafka(MSK)에서 BigQuery로 데이터를 흘려보내는 두 가지 방식을 POC로 비교했습니다. 완전관리형 커넥터의 편의성과 Spark Structured Streaming의 변환 유연성 사이에서 무엇을 기준으로 골라야 하는지 정리합니다.

4.2.0은 플랫폼 레벨 릴리스(Java 25, Pandas 3, K8s, GEOSPATIAL, CDC CHANGES, QUALIFY, Real-Time Mode), 4.3.0은 SQL 엔진 내부 중심(압축 아카이브 읽기, UNNEST/JSON_TABLE, AQE 스큐 최적화)입니다. 실무 적용 관점에서 정리했습니다.

Pandas의 Series는 1차원 데이터 구조로, 하나의 값 배열에 인덱스(라벨)가 결합된 형태입니다. 엑셀의 한 열(column)이나, 파이썬 리스트에 이름표를 붙여둔 구조로 생각하면 이해하기 쉽습니다. Seri

Pandas는 Python 생태계에서 데이터 분석의 중심적인 역할을 수행하는 오픈소스 라이브러리이다. 복잡하고 방대한 현실 세계의 데이터를 빠르고 유연하며 직관적으로 다룰 수 있도록 설계되었으며, 실무 환경에서 반복

Apache Airflow CLI(Command Line Interface)는 터미널에서 Airflow를 직접 제어할 수 있는 강력한 운영 도구이다. 웹 UI 없이도 DAG 실행부터 서비스 기동, 설정 확인, 데이터

Apache Gluten은 Spark SQL의 실행 속도를 획기적으로 개선하기 위해 만들어진 네이티브 가속 엔진 플러그인이다. Spark의 분산 처리 아키텍처는 그대로 유지하면서, JOIN이나 집계, 정렬 같은 무거

토요일 오후, 대형마트에는 장을 보러 온 500명의 고객이 계산을 기다리고 있다. 만약 계산대가 하나뿐이라면 한 명당 2분씩 걸린다고 해도 모든 고객이 계산을 마치는 데 무려 16시간이 넘게 걸릴 것이다. 하지만 2

asyncio는 파이썬에서 단일 스레드 기반의 동시성 프로그래밍을 구현하기 위한 표준 라이브러리로, async/await 문법을 통해 비동기 코루틴을 정의하고 실행할 수 있게 한다. 이벤트 루프가 핵심 역할을 담당하

Python의 람다 함수는 lambda 키워드를 사용하여 한 줄로 정의할 수 있는 익명 함수이다. 일반적인 함수와 달리 이름이 없고, 간단한 연산이나 변환 로직을 표현할 때 주로 사용하라. map(),filter()