Airflow와 Trino 관계 보기

1. Airflow: "똑똑한 작업 반장" (Workflow Orchestrator)

Airflow는 수많은 데이터 작업이 언제, 어떤 순서로 실행될지 관리하는 도구

• 역할: "A 계열사 데이터를 가져온 뒤 -> B 계열사 데이터랑 합치고 -> 마지막으로 대시보드용 테이블을 만들어라" 같은 순서를 짠(DAG) 뒤, 정해진 시간에 실행

2. Trino: "엄청나게 빠른 요리사" (Distributed SQL Query Engine)

Trino는 여러 곳에 흩어진 데이터를 SQL 한 번으로 아주 빠르게 조회해 주는 엔진

• 역할: 데이터는 S3나 HDFS에 가만히 있고, Trino는 그 데이터를 메모리로 끌어올려서 순식간에 계산해. Redshift와 비슷하지만, 데이터를 직접 저장하지 않고 '계산'만 전담하는 게 차이점

3. 둘의 관계: "주문자와 요리사"

분석가들이 서비스를 사용할 때, 이 둘은 실과 바늘처럼 움직여.

1. Airflow(주문자): "자, 이제 분석할 시간이야! 이 쿼리 좀 실행해 줘."라고 Trino(요리사)에게 주문서를 던져.
2. Trino(요리사): S3에서 데이터를 슥슥 긁어모아 요리(계산)한 뒤, 결과를 다시 테이블에 저장하거나 Airflow에 알려줘.
3. K8s(식당 건물): 너는 이 둘이 싸우지 않고 자원을 잘 나눠 쓰도록 식당 건물을 관리(Config, Resource Limit)하는 주인장인 셈이지.