Cloudflare nutzt ClickHouse als zentralen Datenspeicher für seine Billing-Pipeline, die aufgrund des globalen Traffics des Unternehmens unter hoher Abfragelast steht. Bei der Analyse einer Verlangsamung stellte das Team fest, dass der Engpass nicht im Datentransfer oder der Aggregation lag, sondern im Query-Planning-Stage von ClickHouse selbst. Konkret wurde ein exklusiver Lock (Exclusive Lock) identifiziert, der bei jeder Abfrage das Zugreifen auf die Parts-Liste serialisierte – also alle parallel eingehenden Queries in der Planungsphase blockierte. Zusätzlich erstellte ClickHouse pro Abfrage eine vollständige Kopie der Parts-Liste, was bei großen Tabellen mit vielen Parts zu erheblichem Speicher- und CPU-Overhead führte. Der von Cloudflare entwickelte Patch adressiert alle drei Probleme: Der Exclusive Lock wird durch einen Shared Lock ersetzt, der parallelen Lesezugriff auf die Parts-Liste erlaubt; die pro-Query-Kopie der Parts-Liste entfällt; und das Part-Filtering wurde verbessert, sodass irrelevante Parts früher aus der Betrachtung ausgeschlossen werden. Die Analyse und der Patch wurden von Cloudflare öffentlich dokumentiert, was anderen Teams mit ähnlichen hochfrequenten ClickHouse-Deployments direkt nützen kann. Autor des InfoQ-Berichts ist Renato Losio.