الحوسبة عند الطلب في ClickHouse

• تنفيذ استعلامات stateless مع الحوسبة عند الطلب
• CBO جديد (cost-based optimizer)
• distributed query execution جديد

​

متى تستخدم On-Demand Compute

• الاستعلامات الفورية والتحليلية: شغّل استعلامات SELECT المكثفة حوسوبيًا على workers إضافيين.
• أحمال عمل القراءة غير الحرجة: انقل عمليات reads المحددة بعيدًا عن primary service.
• استعلامات data lake: استعلم عن بيانات Apache Iceberg أو Delta Lake أو SharedMergeTree المدعومة على workers إضافيين.
• compute إضافي مؤقت: اطلب workers للاستعلامات المؤهلة دون إعادة تحجيم primary service.

​

كيفية العمل

1. ترسل استعلام SELECT مؤهلاً إلى ClickHouse Cloud service الخاصة بك طالباً عدداً محدداً من الـ workers، دون أي تغيير في نقطة النهاية أو المصادقة أو إعدادات RBAC
2. يتصل الـ cluster الخاص بك بعد ذلك بالـ pool ويطلب العدد المحدد من الـ workers
3. يتم lease الـ workers لمدة 60 ثانية على الأقل، وإذا استمر الاستعلام لفترة أطول فسيُجدَّد الـ lease تلقائياً
4. تستقبل الـ workers الاستعلام وتُنفّذه
5. تُرسل الاستجابة بعد ذلك إلى الـ client الخاص بك
6. تُمحى الـ workers.

​

استخدام موارد الحوسبة عند الطلب

​

Settings

​

مثال

SELECT count()
FROM nyctaxi.trips
SETTINGS distributed_plan_fallback_to_local_execution = 0, make_distributed_plan = 1, distributed_plan_workers_num = 5

Query id: c1c96ede-0c4c-414f-b103-f27f0b7d34c7


Elapsed: 0.992 sec.

Received exception from server (version 26.9.1):
Code: 344. DB::Exception: Received from nuqae0jhz5.eu-west-1.aws.clickhouse-staging.com:9440. DB::Exception: make_distributed_plan cannot distribute this query: it contains the step ReadFromPreparedSource which could not execute remotely. (SUPPORT_IS_DISABLED)

SELECT count()
FROM nyctaxi.trips
SETTINGS distributed_plan_fallback_to_local_execution = 1, make_distributed_plan = 1, distributed_plan_workers_num = 5

Query id: c7b09855-e3c3-40ef-9790-5374e0726f26

   ┌─count()─┐
1. │   21932 │
   └─────────┘

1 row in set. Elapsed: 0.896 sec.

SELECT
    sum(l_extendedprice * l_discount) AS revenue
FROM lineitem
WHERE
    l_shipdate >= DATE '1994-01-01'
    AND l_shipdate < DATE '1994-01-01' + INTERVAL 1 YEAR
    AND l_discount BETWEEN 0.06 - 0.01 AND 0.06 + 0.01
    AND l_quantity < 24
SETTINGS
    make_distributed_plan = 1,
    distributed_plan_workers_num = 5,
    enable_parallel_replicas = 0

​

الاستعلامات المتزامنة

SELECT ... SETTINGS make_distributed_plan = 1, distributed_plan_workers_num = 3, ...;
SELECT ... SETTINGS make_distributed_plan = 1, distributed_plan_workers_num = 3, ...;

SELECT ... SETTINGS make_distributed_plan = 1, distributed_plan_workers_num = 5, ...;

​

عندما يتعذّر على الـ pool تلبية الطلب

​

Monitoring

​

عدد الـ workers المخصَّصة

SELECT
    ProfileEvents['StatelessWorkerRequested'],
    ProfileEvents['StatelessWorkerProvided']
FROM clusterAllReplicas(default, system.query_log)
WHERE query_id = '<YOUR_QUERY_ID>'
  AND type != 'QueryStart';

SELECT
    sum(l_extendedprice * l_discount) AS revenue
FROM lineitem
WHERE
    l_shipdate >= DATE '1994-01-01'
    AND l_shipdate < DATE '1994-01-01' + INTERVAL 1 YEAR
    AND l_discount BETWEEN 0.06 - 0.01 AND 0.06 + 0.01
    AND l_quantity < 24
SETTINGS
    make_distributed_plan = 1,
    distributed_plan_workers_num = 5,
    enable_parallel_replicas = 0,
    log_comment = 'on-demand-private-preview'

​

المناطق المتاحة

​

التسعير

​

القيود

• استعلامات SELECT فقط. لا تنفّذ الـ workers استعلامات INSERT، ولا mutations، ولا DDL، ولا background operations.
• الصيغة المدعومة. يدعم private preview كلاً من Apache Iceberg وDelta Lake وSharedMergeTree.
• Parallel replicas. يجب تعطيل parallel replicas.
• حجم الـ worker. يحتوي كل worker على 8 vCPUs و32 GiB من الذاكرة.
• الحد الأقصى للـ workers. يمكن لكل query طلب ما يصل إلى خمسة workers خلال private preview.
• سعة المجموعة. توافر الـ workers يقوم على أفضل جهد ممكن، فقد يحصل الـ query على عدد workers أقل من المطلوب، وإذا لم يتوفر أي worker يفشل الـ query.
• الأداء. يتفاوت الأداء من query إلى آخر، إذ قد يؤدي تخصيص الـ workers والتخطيط الموزع ونقل مراحل الـ plan إلى زيادة الـ latency. وقد يكون أداء بعض أشكال الاستعلامات أدنى من أدائها عند التنفيذ على primary service (الاستعلامات المعتادة التي تستغرق أقل من ثانية سيكون أداؤها أفضل على الأرجح في الـ cluster الخاص بك)
• توافقية الاستعلامات. لا يستطيع distributed planner تنفيذ كل query plan عن بُعد، وقد تُعيد الاستعلامات غير المدعومة exception من النوع SUPPORT_IS_DISABLED.

​

Roadmap

• معالجة القيود المعروفة (فجوات SUPPORT_IS_DISABLED)
• تجمّعات (pools) بأحجام worker مختلفة
• تثبيت أداء الاستعلامات مقارنةً بالتنفيذ Stateful
• دعم الدمج في الخلفية (background merge)
• التسعير
• معايرة أداة التوسيع التلقائي لتجمّع الـ worker
• الأوبزيرفابيليتي المدمجة
• صلاحيات مخصّصة لـ On-Demand Compute
• توسيع أحمال العمل الخاصة ببحيرة البيانات (الكتابة، الـ compaction، إلخ…)

​

Security

• خدمة واحدة لكل worker: يُؤجَّر الـ worker لخدمة واحدة طوال مدة الـ lease، ولا تتشاركه خدمتان في الوقت نفسه أبدًا.
• لا إعادة استخدام بين الخدمات: عند انتهاء الـ lease، يُدمَّر الـ worker ويُستبدل بآخر جديد، ولا يُعاد تخصيصه أبدًا لخدمة أخرى.
• لا بيانات دائمة: لا تحتفظ الـ workers بأي تخزين دائم، ولا تبقى قائمة بعد انتهاء الـ lease.
• الـ region نفسه الخاص بخدمتك: تعمل الـ workers في الـ region نفسه الذي تعمل فيه الخدمة التي تستأجرها، وفقًا لقواعد صارمة لإقامة البيانات.
• ضوابط الوصول الحالية لديك تظل سارية: تتحكّم IP access lists والـ private endpoints في الـ service endpoint الخاص بك تمامًا كما في السابق، ولا تضيف الحوسبة عند الطلب أي endpoint يتعيّن عليك تهيئته أو حمايته.
• المصادقة وRBAC الحاليان لديك: تُنفَّذ الاستعلامات بالمستخدم والصلاحيات نفسها المطبّقة على أي استعلام آخر في خدمتك، ولا تحمل الـ workers أي هوية أو نموذج أذونات منفصل.

​

عزل الشبكة

• خدمتك وحدها تستطيع الوصول إلى الـ workers الخاصة بك. فالمسار قائم طوال مدة الاستئجار الحالي للـ worker، ولتلك الخدمة وحدها.
• لا يمكن الوصول إلى الـ workers غير المُخصَّصة. فالـ worker الذي ينتظر في المجموعة (pool) لا يملك أي مسار شبكي من أي خدمة أو إليها إلى أن يتم استئجاره.
• الـ workers المستأجرة لخدمات مختلفة لا يمكنها الوصول إلى بعضها. فالـ workers الموجودة داخل استئجار واحد تتبادل فيما بينها مراحل خطة التنفيذ والنتائج الوسيطة، أما الـ workers الموجودة في عمليات استئجار مختلفة فتبقى معزولة عن بعضها، حتى وإن كانت تتشارك المجموعة ذاتها.
• يُزال المسار بزوال الـ worker. فإنهاء الاستئجار يُدمِّر الـ worker، وبذلك يزول الشيء الوحيد الذي كان مسموحًا لحركة الشبكة بالوصول إليه.
• مسار الطلبات يبقى ضيّقًا. تتصل خدمتك بخدمة تخصيص الـ workers لاستئجارها وتجديد استئجارها، وهذا المسار لا يحمل أي بيانات استعلام ويقتصر على واجهة برمجة تطبيقات التخصيص.

​

authentication والتخويل الداخلي

• credential واحد لكل worker: عند lease الـ workers للـ service الخاصة بك، تُصدر المنصة token موقّعًا فريدًا لكل واحد منها. ويعمل كل token مع ذلك الـ worker وحده، ومع الـ service الخاصة بك وحدها.
• قصير الأجل ومرتبط بالـ lease: تنتهي صلاحية الـ tokens بانتهاء الـ lease الذي أصدرها. ويؤدي تجديد الـ lease إلى إصدار tokens جديدة، وبعد انتهاء الـ lease لا تعود tokens الخاصة به تُوثِّق أي شيء.
• يتم التحقق منه لدى المنصة: يقوم الـ worker بـ validate الـ token المُقدَّم إليه لدى service الـ identity في المنصة، بدلًا من الوثوق بأي شيء يرد ضمن الـ request.

​

FAQ