Celeryning arxitekturasida, ayniqsa networking qismida yetarlicha muammolar borligi haqida avvalroq yozgandim.
2019-yil Doordash asinxron tasklar uchun RabbitMQ + Celery stackdan Kafka + custom workerlarga o'tishiga asosiy sabablardan biri ham aynan Celeryning networking muammolari bilan bog'liq bo'lgan ekan.
Doordash Engineering blogida bu jarayon qanday o'tgani haqida batafsil maqola bor ekan. Asosiy va ikkinchi darajali muammolarni analiz qilishdan boshlab potensial yechimlarni ko'rib chiqish, yangi arxitekturaga qanday muammosiz o'tish/moslashish va yangi arxitekturadagi muammolar qanday tuzatilganigacha yozilgan (batafsil bo'lmasa ham, yetarlicha).
Erinmasdan oxirigacha o'qib chiqishni tavsiya qilaman:
https://doordash.engineering/2020/09/03/eliminating-task-processing-outages-with-kafka/
Post #239
1.84K
- 👍 15