> ## Documentation Index
> Fetch the complete documentation index at: https://0x38a.mintlify.site/llms.txt
> Use this file to discover all available pages before exploring further.

# Data Engineering

> 데이터가 생성되고, 이동하고, 변환되고, 검색 가능한 형태가 되는 과정을 학습 경로로 정리합니다.

Data Engineering 섹션은 데이터가 서비스와 분석 시스템 사이를 어떻게 흐르는지 이해하기 위한 공간입니다.

우선은 파이프라인의 전체 그림을 먼저 잡고, 그 다음 변환, 스케줄링, 실시간 처리, 검색 시스템으로 확장합니다.

<Columns cols={2}>
  <Card title="데이터 파이프라인 개론" icon="workflow" href="/data-engineering/pipeline-overview">
    Batch와 Streaming, Lambda/Kappa, Data Mesh/Fabric까지 전체 지도를 잡습니다.
  </Card>

  <Card title="dbt 개요" icon="database" href="/data-engineering/dbt-overview">
    SQL 기반 데이터 변환을 코드처럼 관리하는 ELT workflow를 정리합니다.
  </Card>

  <Card title="Airflow 3.0" icon="calendar-clock" href="/data-engineering/airflow-3">
    Task SDK, Asset 기반 스케줄링, DAG 버전 관리 등 Airflow 3.0 변화를 정리합니다.
  </Card>
</Columns>

## Reading path

| Step | Page                                                | Why                                                     |
| ---- | --------------------------------------------------- | ------------------------------------------------------- |
| 1    | [데이터 파이프라인 개론](/data-engineering/pipeline-overview) | batch/streaming과 pipeline architecture의 전체 그림을 먼저 잡습니다. |
| 2    | [dbt 개요](/data-engineering/dbt-overview)            | warehouse 안에서 데이터를 변환하고 품질을 관리하는 방식을 이해합니다.             |
| 3    | [Airflow 3.0](/data-engineering/airflow-3)          | pipeline orchestration과 scheduling이 어떻게 운영되는지 봅니다.      |

## Next topics

* Kafka, Flink, Spark를 streaming pipeline 관점에서 연결하기
* Elasticsearch와 RAG retrieval을 검색 시스템 관점에서 연결하기
* OpenTelemetry와 pipeline observability 정리하기