파드와 컨트롤러, 리소스 requests/limits와 OOMKilled, 스토리지와 스테이트풀 워크로드, Spark on K8s와 Airflow 실행 환경을 데이터 엔지니어 관점에서 정리합니다.

Kafka 파티션과 순서 보장, 전달 시맨틱, 컨슈머 그룹 리밸런싱, Kafka Connect와 SMT, 운영 중 자주 만나는 문제를 질문과 핵심 답변으로 정리합니다.

Iceberg의 메타데이터 계층과 스냅샷, 히든 파티셔닝, 스키마 진화, 타임 트래블, 컴팩션과 유지보수, Delta·Hudi와의 비교를 정리합니다.

HDFS의 블록과 복제, NameNode 구조, MapReduce 동작 원리, YARN 리소스 관리, small files 문제와 파일 포맷 선택을 질문과 핵심 답변으로 정리합니다.

GCS 스토리지 클래스, Dataflow와 Dataproc, Pub/Sub, Composer, Datastream, IAM 계층과 서비스 계정, 네트워크와 비용 관리를 데이터 엔지니어 관점에서 정리합니다.

Flink의 스트림 우선 모델, 이벤트 시간과 워터마크, 체크포인트와 정확히 한 번 처리, 상태 관리와 백프레셔를 질문과 핵심 답변으로 정리합니다.

BigQuery의 아키텍처와 슬롯, 파티셔닝과 클러스터링, 비용 모델과 최적화, 스트리밍 적재와 Storage Write API, MERGE와 CDC 처리를 정리합니다.

DAG와 스케줄링 모델, execution_date와 백필, 태스크 간 데이터 전달, 실행자 선택, 멱등성과 재시도, 센서와 동시성 제어를 질문과 핵심 답변으로 정리합니다.

S3 스토리지 클래스와 성능, Glue와 EMR, Redshift 분산 설계, Kinesis와 MSK, IAM 권한 모델, 비용 최적화를 데이터 엔지니어 관점에서 정리합니다.

하나의 Mac에서 2개의 Claude Code 인스턴스를 독립적으로 운영하면서, 각 계정별로 MCP 서버와 Telegram 봇을 연결하는 방법을 정리합니다.