‍⚡️ Приём на Python под высокой нагрузкой: ограничивай конкуренцию сам, а не доверяй это ОС.

Вместо тысячи одновременных задач делай очередь + фиксированное число воркеров.

Так ты:

- не убиваешь БД/внешний сервис шторма́м запросов
- контролируешь задержки
- получаешь естественный backpressure

Пример для I/O-нагрузки (HTTP запросы) с asyncio:


import asyncio
import aiohttp
from time import perf_counter

URLS = [
"https://example.com"
for _ in range(10_000) # много запросов под нагрузкой
]

MAX_CONCURRENCY = 100 # ограничиваем параллелизм
QUEUE_SIZE = 1_000 # ограничиваем длину очереди (backpressure)


async def worker(name: int, queue: asyncio.Queue, session: aiohttp.ClientSession):
while True:
url = await queue.get()
if url is None: # сигнал завершения
queue.task_done()
break

try:
async with session.get(url, timeout=5) as resp:
await resp.text() # или resp.read()
# здесь твоя логика обработки
except Exception as e:
# логируй, но не падай
print(f"[worker {name}] error: {e}")

queue.task_done()


async def main():
queue = asyncio.Queue(maxsize=QUEUE_SIZE)

async with aiohttp.ClientSession() as session:
# поднимаем ограниченное число воркеров
workers = [
asyncio.create_task(worker(i, queue, session))
for i in range(MAX_CONCURRENCY)
]

# кидаем задачи в очередь
for url in URLS:
await queue.put(url)

# шлём сигнал завершения воркерам
for _ in workers:
await queue.put(None)

# ждём, пока всё отработает
await queue.join()

# аккуратно завершаем воркеров
for w in workers:
await w


if __name__ == "__main__":
t0 = perf_counter()
asyncio.run(main())
print(f"Done in {perf_counter() - t0:.2f}s")


Суть приёма:

Вместо «одна корутина на каждый запрос» ты держишь фиксированный пул воркеров.

Очередь с maxsize работает как предохранитель: если бэкенд/БД не успевают, продюсер начинает тормозиться.

Такой подход гораздо стабильнее под всплесками трафика, чем голый gather на десятки тысяч задач.

@Python_Community_ru