샤딩

샤딩, 어렵지 않아요 큰 블록체인을 조각내 빠르게 만드는 법

1. 샤딩이 뭐예요?

샤딩(Sharding)은 하나의 큰 데이터 덩어리나 네트워크를 '샤드(shard)'라고 부르는 여러 개의 작은 조각으로 나누는 기법이에요. 이름도 '조각'을 뜻하는 영어 단어 shard에서 왔어요. 원래는 아주 큰 데이터베이스에 몰리는 일감을 여러 서버에 나눠 담으려고 쓰던 방식인데, 블록체인에서는 레이어 1 네트워크의 확장성(사용자가 늘어도 처리 속도가 잘 안 늘어나는 문제)을 풀기 위한 대표적인 방법 중 하나로 쓰여요.

지금까지 많은 블록체인에서는 풀 노드(네트워크의 모든 기록을 통째로 갖고 검증하는 컴퓨터)가 하나도 빠짐없이 모든 거래를 검증하고 저장해야 했어요. 그래서 참여하는 컴퓨터가 아무리 늘어나도 전체 처리량은 쉽게 안 늘어나는 구조적인 한계가 있었죠.

샤딩은 네트워크를 여러 샤드로 쪼갠 다음, 각 샤드가 서로 다른 거래를 나눠서 동시에 처리하게 만들어요. 그래서 이론적으로는 샤드 수가 늘어난 만큼 전체 처리량도 함께 늘어날 수 있어요.

이렇게 보면 쉬워요 · 한 명이 손님을 다 받던 식당에 계산대를 여러 개 열어, 줄을 나눠 동시에 받는 것과 비슷해요.

2. 이 아이디어는 어디서 왔어요?

블록체인 샤딩의 발상은 원래 관계형 데이터베이스에서 먼저 쓰던 '수평 분할(horizontal partitioning)'이라는 기법에서 나왔어요. 아주 큰 표(테이블) 하나를 가로줄(행) 단위로 잘라서 여러 데이터베이스 서버에 나눠 저장하는 방식이에요. 이렇게 하면 각 서버는 전체가 아니라 자기가 맡은 조각만 다루면 되니까, 읽고 쓰는 일감이 여러 서버로 분산돼요. 이렇게 나뉜 조각 하나하나가 바로 샤드예요.

블록체인 샤딩은 이 아이디어를 분산원장(여러 컴퓨터가 똑같은 장부를 나눠 갖는 방식)으로 옮겨 온 거예요. '모든 노드가 모든 걸 처리한다'는 답답한 병목을, 데이터베이스에서 일감을 나누던 것처럼 노드와 데이터를 나눠서 깨보려는 시도라고 볼 수 있어요.

다만 블록체인은 서로 믿을 수 없는 수많은 컴퓨터가 자유롭게 드나드는 열린 네트워크예요. 그래서 이걸 안전하게 구현하는 일은, 한 곳에서 관리하는 데이터베이스보다 훨씬 더 까다로워요.

3. 왜 샤딩이 필요해요?

블록체인은 흔히 '트릴레마'로 설명돼요. 탈중앙성(권한이 한곳에 몰리지 않는 것), 보안, 확장성 이 세 가지를 동시에 다 만족시키기 어렵다는 뜻이에요. 노드 수를 늘리면 탈중앙성과 보안은 좋아지지만, 모든 노드가 똑같은 거래를 중복해서 검증하는 구조 때문에 전체 처리량은 오히려 안 늘어나요.

결국 네트워크 전체의 처리 능력이, 사실상 노드 컴퓨터 한 대의 처리 능력에 묶여 버리는 셈이에요. 컴퓨터를 아무리 많이 붙여도 속도는 그대로인 답답한 상황이죠.

샤딩은 노드 무리를 여러 조각으로 나눠 동시에(병렬로) 일하게 만들어서 이 병목을 풀려는 접근이에요. 검증 작업 자체를 여러 샤드로 쪼개기 때문에, 노드 수가 늘면 늘어난 만큼 처리 용량도 함께 커지는 걸 목표로 해요. 즉 탈중앙성을 크게 해치지 않으면서 확장성을 확보하려는 데 그 목적이 있어요.

4. 어떻게 작동해요?

네트워크를 여러 샤드로 나누면, 각 노드는 전체가 아니라 자기가 속한 샤드의 거래만 검증하고 저장하면 돼요. 서로 다른 샤드는 각기 다른 거래를 동시에 처리하니까, 여러 샤드가 함께 돌아갈 때 전체 처리량이 몇 배로 늘어날 수 있어요.

그런데 샤드들이 그냥 제각각 따로 돌기만 하면, 하나의 블록체인으로서 일관성을 유지할 수가 없어요. 그래서 보통은 샤드끼리 조율하고 최종적으로 합의를 맡는 상위 체인(비콘 체인·메인 체인 등으로 불러요)을 둬요. 이 상위 체인이 각 샤드의 상태 요약을 모아서 전체 네트워크를 하나로 묶어 줘요.

어떤 노드가 어느 샤드를 맡을지는, 합의 알고리즘(여러 컴퓨터가 무엇이 맞는지 서로 맞춰 보는 방법) 안에서 무작위로 배정되고 주기적으로 다시 섞이는 경우가 많아요. 이건 뒤에서 설명할 '단일 샤드 공격'을 막기 위한 장치예요.

이렇게 보면 쉬워요 · 여러 작업조가 각자 다른 구역을 맡아 일하고, 반장 한 명이 각 조의 결과만 모아 전체를 정리하는 모습이에요.

5. 샤딩에도 종류가 있어요?

블록체인 샤딩은 '무엇을 나누느냐'에 따라 크게 세 가지 방식으로 나뉘어요.

첫째, 네트워크 샤딩이에요. 노드들을 여러 그룹으로 나눠서, 각 그룹이 별도의 샤드를 담당하게 하는 방식이에요. 통신과 검증의 부담을 그룹 단위로 나누는 가장 기본적인 층위예요.

둘째, 거래 샤딩이에요. 거래를 정해진 규칙에 따라 특정 샤드에 배정하는 방식이에요. 어떤 거래가 어느 샤드에서 처리될지를 정하는 규칙이 핵심이에요.

셋째, 상태 샤딩이에요. 계정 잔액 같은 블록체인의 상태 데이터 자체를 샤드별로 나눠서 저장하는 방식이에요.

이 셋 중에서 상태 샤딩은 저장 부담까지 나눌 수 있어서 효과가 가장 커요. 하지만 각 노드가 전체 상태의 일부만 갖게 되기 때문에, 샤드를 넘나드는 처리와 데이터 옮기기가 복잡해져서 구현 난도도 가장 높아요.

6. 나누면 어떤 어려움이 생겨요?

샤딩에는 '나눔' 그 자체에서 비롯되는 두 가지 근본적인 어려움이 따라와요.

하나는 '교차 샤드(cross-shard) 거래' 문제예요. 서로 다른 샤드에 걸쳐 일어나는 거래를 안전하게 처리하는 일이에요. 예를 들어 A 샤드에 있는 계정이 B 샤드에 있는 계정으로 자산을 보내려면, 두 샤드에 걸친 변경이 '모두 성공하거나 모두 실패해야 한다'는 원자성이 보장돼야 해요. (한쪽만 성공해서 돈이 사라지면 안 되니까요.) 이걸 맞추려는 조율 과정 때문에 처리가 느려지고 설계도 복잡해져요.

다른 하나는 '단일 샤드 공격'이에요. 나쁜 마음을 먹은 노드들이 하나의 샤드에만 몰려서 그 샤드만 장악하는 공격을 막아야 해요. 전체 네트워크를 통째로 장악하긴 어려워도, 잘게 쪼개진 개별 샤드는 상대적으로 적은 자원으로도 다수를 차지할 수 있어서 51% 공격(전체의 절반 넘게 차지해 마음대로 조작하는 공격)에 더 취약해질 수 있거든요. 이걸 막으려고 노드를 무작위로 샤드에 배정하고 주기적으로 다시 섞는 방식을 흔히 써요. 또 각 샤드 안에서 비잔틴 장애 허용(일부가 거짓말을 하거나 고장 나도 전체가 올바르게 합의하는 능력)을 확보하는 것도 중요해요.

이런 복잡함 때문에 샤딩은 테스트넷(실전 전에 시험 삼아 돌려 보는 연습용 네트워크)에서 오랫동안 검증한 뒤에야 메인넷(실제로 돈이 오가는 진짜 네트워크)에 적용되는 경우가 많아요.

7. 이더리움은 샤딩을 어떻게 하고 있어요?

이더리움은 초기 확장 계획에서, 64개의 샤드 체인을 도입하는 '실행 샤딩'을 계획했어요. 실행(거래 처리) 자체를 64조각으로 나누겠다는 구상이었죠. 그런데 이후에 레이어 2 롤업 중심의 계획으로 방향을 바꾸면서, 실행을 직접 나누는 대신 롤업이 쓸 데이터 공간을 넓히는 '데이터 샤딩'에 초점을 맞추게 됐어요.

2024년에 도입된 EIP-4844(프로토 댕크샤딩, proto-danksharding)는 블록에 '블롭(blob)'이라는 임시 데이터 영역을 추가한 거예요. 롤업이 이 값싼 임시 공간에 데이터를 올릴 수 있게 되면서, 레이어 2의 비용 부담이 크게 줄었어요.

EIP-4844는 완전한 형태의 댕크샤딩(danksharding)으로 나아가는 중간 단계예요. 최종적으로는 블롭을 아주 많이 받아들여서, 데이터 가용성(필요한 데이터를 누구나 확인할 수 있게 확보하는 것)을 크게 넓히는 걸 목표로 해요.

8. 어떤 프로젝트들이 쓰고 있어요?

이더리움 말고도 여러 프로젝트가 저마다의 샤딩 방식을 채택해서 처리량을 늘려 보려 했어요.

질리카(Zilliqa)는 실제로 쓰이는 상용 블록체인 중에서 비교적 이른 시기에 샤딩을 진짜로 구현한 사례로 꼽혀요. 주로 네트워크 샤딩과 거래 샤딩에 해당하는 방식으로 처리량을 늘렸어요.

하모니(Harmony)는 무작위 배정과 재배치를 결합한 샤딩 구조로, 여러 개의 샤드를 동시에 병렬로 운영하는 방식을 택했어요.

니어(NEAR)는 나이트셰이드(Nightshade)라는 이름의 샤딩 설계를 단계적으로 도입해 왔어요.

각 프로젝트는 샤드 배정, 교차 샤드 처리, 상태 분산 같은 세부 방식에서 서로 다른 선택을 했어요. 이건 앞에서 설명한 어려운 문제들을 어떻게 풀 것인가에 대한, 저마다 다른 답이라고 볼 수 있어요.

9. 레이어 2와는 뭐가 달라요?

샤딩은 블록체인의 확장성을 높이는 여러 방법 중 하나라서, 별도의 처리 계층을 위에 얹는 레이어 2 방식과 자주 비교돼요. 샤딩이 기반 체인(레이어 1) 자체를 여러 조각으로 나눠 처리 용량을 키우는 '옆으로 나누기(수평 분할)'라면, 레이어 2는 처리를 체인 바깥으로 옮긴 다음 결과만 기반 체인에 기록하는 '위로 쌓기'에 가까워요.

그리고 이 둘은 서로 배타적인 관계가 아니에요. 한쪽을 쓰면 다른 쪽을 못 쓰는 게 아니라는 뜻이에요. 이더리움처럼 데이터 샤딩으로 기반 체인의 데이터 공간을 넓혀서, 그 위에서 도는 레이어 2 롤업의 성능과 비용 효율을 함께 끌어올리는 결합 전략도 쓰여요.

즉 오늘날 이더리움의 샤딩은 실행을 직접 나누는 대신, 레이어 2를 뒷받침하는 데이터 계층으로 자리를 잡은 거예요.

이렇게 보면 쉬워요 · 샤딩이 가게 매장을 옆으로 넓히는 거라면, 레이어 2는 매장 밖에 별도 작업장을 두고 결과만 매장에 갖다 두는 거예요.

10. 아직 남은 숙제는 뭐예요?

샤딩은 이론적으로 얻는 게 크지만, 실제로 만들기가 무척 어려워요. 상태 샤딩처럼 효과가 큰 방식일수록 풀어야 할 문제도 많아요. 교차 샤드 거래의 원자성 보장(양쪽이 다 되거나 다 안 되게 맞추기), 샤드 간 데이터 가용성 확보, 노드를 다시 섞을 때의 상태 옮기기 같은 것들이죠.

또 스마트 컨트랙트나 자산이 여러 샤드에 흩어지면, 서로 자유롭게 불러다 쓰고 조합하기가 어려워지는 '컴포저빌리티(합성 가능성) 저하'가 지적돼요. 원래 하나의 체인 안에서는 곧바로 이뤄지던 상호작용이, 샤드 경계를 넘어갈 때는 지연과 추가 조율을 요구하기 때문이에요.

이더리움이 실행 샤딩 대신 롤업 중심 계획으로 방향을 튼 배경에도, 바로 이런 복잡함과 위험이 있었어요. 앞으로 샤딩이 널리 자리 잡으려면, 이렇게 '나눔에 따르는 대가'를 얼마나 낮출 수 있느냐가 관건이 될 거예요.