DuckDB - 속도와 단순함을 갖춘 현대적인 분석용 데이터베이스 (Part 1)
날짜
June 16th, 2025
소요 시간
7분
최신 소식
현대 데이터 분석 시대에 전문가들은 강력하고 유연할 뿐만 아니라 일상적인 워크플로우에 쉽게 통합할 수 있는 도구를 끊임없이 찾고 있습니다. 점점 더 많은 주목을 받고 있는 도구 중 하나는 애플리케이션 내에서 직접 실행되도록 설계된 오픈 소스 분석 데이터베이스인 DuckDB입니다. 전체 서버 기반 데이터베이스 시스템의 오버헤드 없이 로컬 파일과 메모리 데이터 셋에서 고성능 SQL 쿼리를 가능하게 합니다.
DuckDB 란?
이미지 출처: DuckDB
DuckDB는 인프로세스 및 임베디드 SQL OLAP (온라인 분석 처리) 데이터베이스로 설명할 수 있습니다. 즉, DuckDB는 애플리케이션과 같은 프로세스 내에서 실행되며, 별도의 서버나 외부 데이터베이스 시스템 없이 작동합니다.
이러한 설계 덕분에 가볍고, Python, R 등 지원되는 언어로 작성된 애플리케이션에 직접 통합하기 쉬운 구조를 가지고 있습니다. 애플리케이션 내부에 임베디드 되어 로컬에서 실행되기 때문에, DuckDB는 Jupyter 노트북과 같은 대화형 환경에서 분석 작업을 수행하는 데 특히 편리합니다.
DuckDB의 진정한 차별점은 분석 성능에 중점을 둔 설계에 있습니다. 기존의 행 기반 데이터베이스가 많은 소규모 업데이트(OLTP 데이터베이스와 같이)를 위해 만들어진 것과 달리, DuckDB는 대량의 데이터를 스캔, 필터링 및 요약하는 분석 쿼리를 위해 구축되었습니다.
이를 위해 DuckDB는 칼럼 저장 형식, 벡터화 실행 엔진, 그리고 멀티스레딩(작업 병렬 실행) 기술을 사용합니다. 이러한 기능 덕분에 DuckDB는 쿼리를 더 빠르게 실행하고 메모리도 효율적으로 사용할 수 있습니다.
DuckDB는 Parquet, CSV와 같은 현대적인 데이터 포맷을 지원하며, 이 파일들로부터 전체 데이터를 메모리에 로드하지 않고도 표준 SQL로 직접 쿼리 할 수 있습니다. 이는 DuckDB의 지연 로딩 전략 덕분으로, 필요한 데이터만 즉시 처리하는 방식입니다. 이러한 접근 방식은 특히 RAM에 모두 담기 어려운 대규모 데이터셋을 다룰 때 유용합니다.
요약하자면, DuckDB는 pandas와 같은 인메모리 분석 라이브러리의 편리함과 PostgreSQL, BigQuery와 같은 서버 기반 분석 데이터베이스의 성능 사이의 간극을 메워줍니다. 서버 설치나 클라우드 의존 없이, 마찰이 매우 적고 고성능 SQL 분석 기능을 로컬 환경에 직접 제공합니다.
DuckDB를 돋보이게 만드는 심층 기능
일반적인 데이터 작업에서는, 빠른 로컬 분석을 위해 pandas나 R과 같은 도구를 사용하다가, 데이터가 너무 커지면 서버 기반 데이터베이스로 전환하는 경우가 많습니다. 그러나 이처럼 데이터를 옮기는 데에는 시간이 걸리고, 외부 데이터베이스를 설정하는 일은 특히 소규모 프로젝트나 빠른 실험에는 어렵고 느릴 수 있습니다.
DuckDB는 훨씬 더 간단한 솔루션을 제공합니다. 스크립트나 노트북 내에서 직접 실행되기 때문에, 별도의 서버를 설정하거나 복잡한 권한 관리할 필요가 없습니다. 개발 환경을 벗어나지 않고도 SQL의 강력한 기능을 그대로 사용할 수 있는 것입니다. 예를 들어, 전체 파일을 메모리에 로드하지 않고 SQL을 사용하여 디스크에서 직접 대용량 CSV 또는 Parquet 파일을 쿼리 할 수 있습니다. 이는 시간을 절약해 줄 뿐만 아니라, 특히 노트북이나 개인용 컴퓨터 환경에서 메모리 부족 오류도 방지해 줍니다.
DuckDB가 특별한 또 다른 이유는, 많은 사람들이 이미 사용 중인 도구들과 매우 잘 연동된다는 점입니다. Python에서는 pandas DataFrames에 대해 직접 SQL을 실행하고, 그 결과를 다시 DataFrame으로 받을 수 있습니다. R에서는 data.table과 dplyr에서 원활하게 작동합니다. 즉, 선호하는 도구의 장점에 SQL의 속도와 유연성을 한곳에서 모두 결합할 수 있습니다.
다른 도구들과 비교했을 때, DuckDB는 적절한 중간 지점을 차지합니다. 서버 설정이나 연결 구성이 필요한 PostgreSQL과 같은 전통적인 데이터베이스보다 빠르고 사용이 간편합니다. 동시에, 대규모 데이터 파일에 대한 복잡한 쿼리에 대해 pandas나 SQLite보다 더 확장 가능하고 강력합니다. DuckDB는 매우 낮은 설정과 클라우드 의존성 없이 두 가지 고속 분석의 장점을 모두 제공합니다.
결국 DuckDB는 간단한 설치와 추가 인프라 없이 고급 데이터 처리를 로컬 도구에 직접 제공하기 때문에 돋보입니다. 사용자가 구성이나 결과를 기다리는 것이 아니라 분석에 집중할 수 있도록 지원합니다.
DuckDB의 일반적 및 실제 사용 사례
DuckDB는 개인 데이터 탐색부터 생산 수준의 데이터 워크플로우에 이르기까지 매우 다양한 데이터 작업에서 활용되고 있습니다. 이를 일반적인 사용 사례로 나누고 실제 적용 사례를 살펴보겠습니다.
일반적인 사용 사례
대화형 데이터 분석
데이터 과학자들은 일반적으로 대화형 탐색을 위해 Python의 Panda나 R의 data.table과 같은 도구에 의존합니다. DuckDB는 이러한 도구 위에 SQL 계층을 제공하여, 사용자들은 복잡한 쿼리를 새로운 API를 배우지 않고도 메모리 내 DataFrame에 대해 직접 작성할 수 있게 해줍니다.
로컬 ETL 파이프라인
DuckDB는 가벼운 추출-변환-로드(ETL) 워크플로우에 탁월합니다. 예를 들어, Spark 클러스터를 실행하거나 전체 데이터를 메모리에 올리지 않고도 Parquet 파일에서 데이터를 추출하고, SQL을 사용해 변환한 후, 결과를 디스크나 데이터 프레임에 다시 작성할 수 있습니다.
대용량 데이터셋 탐색
CSV나 Parquet와 같이 메모리에 모두 적재할 수 없을 정도로 큰 파일을 다룰 때, DuckDB는 디스크 상에서 직접 집계, 필터링, 조인 등의 작업을 실행할 수 있게 해줍니다. 이는 특히 노트북이나 메모리가 제한된 환경에서 작업하는 분석가들에게 매우 유용합니다.
엣지 분석 및 임베디드 애플리케이션
DuckDB는 애플리케이션 프로세스 내부에서 실행되며 별도의 서버가 필요하지 않기 때문에, 로컬 데이터 처리가 필요한 데스크탑 애플리케이션이나 엣지 디바이스에 임베디드 하기에 이상적입니다.
실제 사례
클라우드 비용 비교
세 명으로 구성된 스타트업인 Spare Cores는 AWS, GCP, Azure, Hetzner의 20만 개 이상의 다양한 서버 가격을 비교하고 벤치마크하는 클라우드 인프라 가격 비교 서비스를 구축했습니다. 이들은 공공 API에서 가져온 파일들을 DuckDB를 사용해 쿼리하고 있습니다.
유전체학 연구
COVID-19 백신으로 잘 알려진 바이오테크 기업 Moderna는 내부 분석 워크플로우에서 DuckDB를 활용하고 있습니다. 대규모 유전체 데이터를 로컬 환경에서 SQL의 유연성과 인프로세스 쿼리의 속도로 신속하게 분석할 수 있게 도와주며, 특히 Jupyter 노트북에서 반복 작업을 할 때 유용합니다.
기업 배출량 보고
Watershed는 기업이 탄소 배출량을 측정하고 감축할 수 있도록 지원합니다. 그들은 PostgreSQL을 DuckDB로 대체하여 Parquet 파일에 저장된 수백만 개의 행에 대한 분석 쿼리를 처리했습니다. 이 마이그레이션을 통해 쿼리 성능은 10배 이상 향상되었고, 클라우드 저장 비용도 절감되었습니다.
왜 DuckDB를 선택해야 할까요? 비교를 살펴보겠습니다!
DuckDB가 데이터 도구 생태계에서 어떤 위치를 차지하는지 이해를 돕기 위해 pandas, SQLite 등 일반적으로 사용되는 도구들과 비교한 내용을 제공합니다. 각 도구마다 강점이 있지만, DuckDB는 특히 대규모 데이터셋과 SQL 기반 워크플로우 작업에서 뚜렷한 장점을 보여줍니다.
| 기능 | pandas | SQLite | DuckDB |
|---|---|---|---|
| 빅데이터 성능 | 제한 (RAM) | 소규모 데이터에 적합 | 우수함, 컬럼 형식 저장 |
| SQL 지원 | 불가 (단, df.query()로 가능) | 완전 지원 | 완전 + 확장 SQL |
| 사용하기 쉬움 | 가능 | 가능 | 가능 |
| Reads Parquet/JSON | 불가 (추가 라이브러리 필요) | 불가 | 가능 (기본 지원) |
| 서버 필요 | 없음 | 없음 | 없음 |
| 통합성 | Python 전용 | 다중 언어 | Python, R, Java, C++ |
결론
DuckDB는 분석가와 데이터 과학자들이 로컬에서 데이터를 다루는 방식을 새롭게 정의하고 있습니다. 고성능 OLAP 엔진의 강력함과 임베디드 라이브러리의 단순함을 결합함으로써, 사용자는 익숙한 환경을 벗어나지 않고도 빠른 SQL 기반 분석을 수행할 수 있습니다. 작은 파일이든 수 기가바이트의 Parquet 데이터셋이든, DuckDB는 전통적인 데이터베이스의 비용이나 복잡성 없이 고급 쿼리를 가능하게 합니다.
다음 글에서는 pandas와 함께 DuckDB를 사용하는 실제 코드 예제를 살펴보고, DuckDB의 성능을 다른 도구들과 비교하며, 로컬 머신에서 강력한 데이터 워크플로를 구축하는 방법을 알아보겠습니다.
Newsletter
더 보기
![[Recap] UPP Global Technology JSC Establishing Anniversary](/homepage/news-section/new-4.webp)
대화하기
원하신 정보를 이메일로 보내드립니다
이메일을 입력해 주세요
원하시는 내용을 입력해 주세요
Hanoi, Vietnam
Web3 Tower, No. 15, Alley 4, Duy Tan, Cau Giay, Hanoi, Vietnam