Database

🔵 عنوان مقاله
Troubleshooting Row Lock Contention in Amazon Aurora PostgreSQL

🟢 خلاصه مقاله:
در سیستم‌های پایگاه داده، برخورد با مشکل مسدود شدن ردیف‌ها یا همان "رولاک کنتِنت" یکی از چالش‌های رایج و مهم است که ممکن است عملکرد کلی دیتابیس را تحت تاثیر قرار دهد. هنگامی که چندین تراکنش همزمان سعی در دسترسی یا تغییر یک ردیف خاص داشته باشند، امکان دارد قفل‌هایی ایجاد شود که باعث کند شدن یا توقف عملیات می‌شود. برای مدیران پایگاه داده و توسعه‌دهندگان، تشخیص و حل سریع این نوع تداخل‌ها اهمیت بالایی دارد تا از کاهش کارایی و تجربه کاربری منفی جلوگیری شود.

در قسمت دوم این راهنمای جامع، به شما نشان داده می‌شود چگونه با بهره‌گیری از ابزارهای داخلی سیستم مانند نماهای (ویوهای) پیش‌فرض، ابزارهای خاص مانند pgrowlocks و همچنین ثبت و تحلیل لاگ‌های انتظار قفل‌ها، به ردگیری منشأ و منبع این تداخل بپردازید. این روش‌ها امکان مانیتورینگ دقیق وضعیت قفل‌ها و شناسایی تراکنش‌هایی که باعث مسدودیت می‌شوند را فراهم می‌آورد و در نتیجه توانایی شما در مدیریت منابع و بهبود عملکرد سیستم افزایش می‌یابد. پس از شناسایی مشکل، مقاله به بررسی راهکارهای موثری می‌پردازد تا بتوانید این وضعیت‌ها را برطرف کرده و سیستم را به حالت بهینه برگردانید.

در این فرآیند، استفاده از ابزارهای مجهز AWS و تکنیک‌های تشخیص سریع مشکل، به شما کمک می‌کند تا در کم‌ترین زمان ممکن، مشکل تداخل قفل‌ها را حل و فصل کنید و از بروز خطاهای احتمالی در سامانه‌های حساس جلوگیری نمایید.

#پایگاه_داده #AuroraPostgreSQL #مدیریت_قفل‌ها #توسعه_نرم‌افزار

🟣لینک مقاله:
https://aws.amazon.com/blogs/database/troubleshooting-row-lock-contention-in-amazon-aurora-postgresql-part-1-understanding-row-lock-contention-in-postgresql/

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
Diskless Kafka: What Happens When Brokers Stop Owning the Data? (16 minute read)

🟢 خلاصه مقاله:
در دنیایی فناوری پیشرفته، سیستم‌های مدیریت پیام مانند Kafka نقش حیاتی در انتقال داده‌های بی‌وقفه و مطمئن ایفا می‌کنند. اما چگونه می‌توان این سیستم را به سمت بهره‌وری بیشتر و هزینه‌های کمتر هدایت کرد؟ یکی از فناوری‌های نوین که در این مسیر بسیار مورد توجه قرار گرفته است، «Kafka بدون دیسک» یا همان Diskless Kafka است. این فناوری، با حفظ رابط برنامه‌نویسی Kafka، به جای نگهداری داده‌های مهم روی دیسک‌های محلی بروکرها، آن‌ها را به فضای ابری و حافظه‌های جامد و دائمی منتقل می‌کند، و در عین حال، اطلاعات متا دیتا را با سطح اطمینان بسیار بالا نگهداری می‌نماید.

در واقع، این تحول، هزینه‌های نگهداری را کاهش می‌دهد و مزایای دیگری نیز به همراه دارد. با حذف نیاز به ذخیره‌سازی دیسک، فرآیندهایی مانند دسته‌بندی داده‌ها، تخصیص آفست، بازیابی اطلاعات، فشرده‌سازی پیام‌ها و مدیریت تراکم داده‌ها، دستخوش تغییراتی اساسی می‌شوند. این تغییرات باعث می‌شود که امکان پشتیبانی از ویژگی‌های مختلف در هر نمونه‌کاربری یا بار کاری ویژه، به جای یک راه‌حل عمومی برای تمامی موارد، وجود داشته باشد. بنابراین، استفاده از Kafka بدون دیسک، نه تنها روشی اقتصادی‌تر، بلکه رویکردی منعطف‌تر است که نیازهای خاص هر پروژه را بهتر برآورده می‌کند.

در نتیجه، فناوری Diskless Kafka به عنوان یک گزینه نوین، در آینده می‌تواند بخش مهمی از زیرساخت‌های انتقال داده‌های مقیاس بزرگ و پیچیده باشد، اما مهم است توجه داشت که این تغییرات، می‌تواند بر عملکردهایی مانند زمان پاسخ، امکان بازیابی و مدیریت داده‌ها تأثیرگذار باشد و باید بر اساس نیازهای خاص هر سازمان ارزیابی شود.

#کافکا #فناوری_نوین #مدیریت_داده #پایگاه_داده

🟣لینک مقاله:
https://softwaremill.com/diskless-kafka-object-storage-kip-1150-and-kafkas-future/?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
The Unbearable Lightness of 'One More Index'

🟢 خلاصه مقاله:
اضافه کردن یک شاخص جدید برای حل مشکلی در یک جدول پرکاربرد ممکن است در نگاه اول تصمیم منطقی و مفید به نظر برسد. این روش به مدیران و تحلیل‌گران کمک می‌کند تا سریع‌تر به مشکلات دست یافته و تصمیم‌گیری‌های مربوطه را تسهیل کنند. اما باید توجه داشت که هر شاخص جدید، علاوه بر مزایای احتمالی، هزینه‌ها و چالش‌های خاص خودش را دارد. این هزینه‌ها در طولانی‌مدت ممکن است افزایش یابند و تاثیر منفی بر کارایی و سادگی سیستم داشته باشند، مخصوصاً زمانی که تعداد شاخص‌ها بیشتر و روند به‌روزرسانی آنها پیچیده‌تر می‌شود.

در این مقاله، نگاهی به معایب و مزایای وارد کردن شاخص جدید خواهیم داشت و چگونه می‌توان ارزیابی دقیقی از تاثیرات آن انجام داد. درک تعادل بین فایده‌ها و هزینه‌ها کلیدی است تا تصمیمات بهینه‌ای اتخاذ شود؛ تصمیماتی که ضمن بهبود عملکرد، از پیچیدگی و هدررفت منابع جلوگیری کنند. در نتیجه، لازم است پیش از افزودن هر شاخص، بررسی‌های لازم صورت گیرد تا بدانیم آیا واقعاً ارزش دارد و چه تاثیراتی بر فرآیندهای جاری خواهد داشت.

اضافه کردن شاخص ممکن است در ظاهر ساده و سودمند به نظر برسد، اما در عمل می‌تواند باعث افزایش بار کاری، پیچیدگی مدیریت داده‌ها و در نتیجه کاهش بازدهی شود. بنابراین، ارزیابی جامع و دقیق قبل از اجرای چنین تغییراتی اهمیت زیادی دارد تا بتوان تصمیمی آگاهانه گرفت و از مشکلات احتمالی جلوگیری کرد.

در نهایت، باید توجه داشت که موفقیت در مدیریت داده‌ها و شاخص‌ها، نیازمند توازن هوشمندانه بین نیازهای عملیاتی و هزینه‌های اجرایی است. ارزیابی مداوم و منظم می‌تواند کمک کند تا شاخص‌ها همواره مفید و کارآمد باقی بمانند و از ایجاد بار غیرضروری بر سیستم جلوگیری شود.

#مدیریت_داده #شاخص_های_کلیدی #تحلیل_داده #بهبود_عملکرد

🟣لینک مقاله:
https://boringsql.com/posts/unbearable-lightness-of-one-more-index/

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
Jetpack: Consensus Made Generally Fast (OSDI '26) (4 minute read)

🟢 خلاصه مقاله:
در دنیای فناوری‌های توزیع‌شده، سرعت و کارایی سیستم‌های اجماع نقش بسیار مهمی دارند. یکی از چالش‌های اصلی در این زمینه، کاهش تأخیر زمانی در اجرای عملیات است، به خصوص در سیستم‌هایی که حجم بالای نوشتن داده دارند. مقاله «Jetpack: اجماع سریع‌تر در حالت عمومی» در کنفرانس OSDI 2026 به بررسی رویکردی نوین در این حوزه می‌پردازد که هدف آن افزایش سرعت تأیید و ثبت تراکنش‌ها است.

نسخه جدید Jetpack یک مسیر سریع و قابل حمل برای تایید سریع ۱-RTT را به سیستم‌های اجماع موجود اضافه می‌کند. این افزونه، با کاهش چشمگیر تأخیر در پردازش عملیات نوشتن، تا ۶۰ درصد بهبود در کارایی را ممکن می‌سازد. در حالی که این روش ممکن است نیاز به کار اضافه، تاخیر در اجرای دستورها، و همچنین استفاده دقیق از مکانیزم‌های بازیابی برای حفظ امنیت سیستم در زمان تغییر رهبرها داشته باشد، اما در نتیجه فرایندهای نوشتن سریع‌تر و بهینه‌تر اجرا می‌شوند.

در نتیجه، Jetpack با افزایش سرعت عملیات‌های مهم در سیستم‌های توزیع‌شده، یک راهکار مؤثر برای بهبود عملکرد و کاهش زمان انتظار در تراکنش‌های نوشتنی محسوب می‌شود، البته با توجه به چالش‌های فنی و ضرورتی که برای نگهداری ثبات و امنیت سیستم وجود دارد. این نوآوری می‌تواند تحولی بزرگ در مدیریت تراکنش‌ها در سیستم‌های بزرگ و مقیاس‌پذیر باشد و دستاوردهای قابل توجهی در کاهش تاخیر و افزایش کارایی ارائه دهد.

#سیستم‌های_توزیع‌پذیر #مفهوم_اجماع #پایگاه‌داده #فناوری‌نوین

🟣لینک مقاله:
https://muratbuffalo.blogspot.com/2026/09/jetpack-consensus-made-generally-fast.html?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
Tom Lane on 30 Years of Postgres Architecture

🟢 خلاصه مقاله:
تیم توسعه‌دهنده پایدار و پرافتخار Postgres همواره در عرصه بانک‌های اطلاعاتی، نقش مهمی ایفا کرده است. یکی از اعضای کلیدی این تیم، تام لِین، که علاوه بر این نقش، در نوشتن استاندارد اولیه PNG هم مشارکت داشته است، در مصاحبه‌ای مفصل درباره تجربیات و نظرات خود صحبت کرده است. در این مصاحبه، او دلایل استفاده‌ی Postgres از فرایندها به جای نخ‌ها را توضیح می‌دهد و بر اهمیت قابلیت اطمینان، کانسپت MVCC و تفاوت‌های نسخه‌های مختلف تأکید می‌کند، از جمله اینکه نسخه‌ی ۱۳ برای او کم‌دوست‌داشتنی‌ترین نسخه بوده است.

در این گفتگو، لِین به جزئیات فنی زیادی می‌پردازد، از مواردی که سبب شده است معماری Postgres به این شکل باقی بماند تا چالش‌هایی که در طول مسیر با آن مواجه شده‌اند و راه‌حل‌های مورد استفاده. او همچنین به مزایای و معایب استفاده از فرایندها اشاره می‌کند و دلایل اینکه چرا این معماری در عین حال مقاوم و قابل اعتماد است، را بازگو می‌کند. علاوه بر این، نظرات او درباره‌ی نسخه‌های مختلف و تغییرات آن‌ها نشان می‌دهد که چطور توسعه‌دهندگان این سیستم، در برابر نیازهای در حال تحول، انعطاف‌پذیر باقی مانده‌اند.

در کنار متن نوشتاری، یک ویدیوی یک ساعته حاوی گفتگو کامل نیز موجود است که می‌تواند برای علاقه‌مندان به مباحث فنی و معماری سیستم‌های مدیریت پایگاه داده منبع بسیار مفیدی باشد. این مصاحبه نه تنها نگاهی تخصصی به تاریخچه و ساختار Postgres است، بلکه دیدی عمیق‌تر نسبت به فرآیندهای توسعه و فرآیندهای تصمیم‌گیری در تیم‌های فناوری اطلاعات ارائه می‌دهد.

#پایگاه_داده #Postgres #مهندسی_نرم‌افزار #معماری_سیستم

🟣لینک مقاله:
https://www.snowflake.com/en/blog/engineering/30-years-of-postgres-architecture-tom-lane/

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
The unbearable lightness of one more index (11 minute read)

🟢 خلاصه مقاله:
در دنیای مدیریت پایگاه‌های داده، ایجاد و نگهداری شاخص‌ها نقش بسیار حیاتی در بهبود کارایی سیستم دارد. امروز، عوامل برنامه‌نویسی توانسته‌اند اسکیماهای PostgreSQL بسیار کارآمد و قابل اعتماد تولید کنند؛ اما مشکل اصلی این است که اغلب این شاخص‌ها بر روی جداول فعال و مهم سیستم قرار می‌گیرند. در مواردی که حجم کار، شامل تیکت‌های پشتیبانی و درخواست‌های نگهداری، کنترل شده است، افزودن شاخص‌های بیشتر تاثیرات منفی قابل توجهی بر عملکرد سیستم دارد. به طور خاص، این شاخص‌های اضافی تقریباً زمان آپدیت، نوشتن در لاگ‌های نگهداری (WAL) و عملیات VACUUM را دو برابر می‌کند، در حالی که کارهای مرتبط با بهینه‌سازی فضای ذخیره‌سازی نیز افزایش می‌یابد.

در نتیجه، بررسی و ارزیابی شاخص‌ها نیازمند شناسایی شواهد در مسیر نوشتن داده‌ها است، نه فقط طراحی سریع برای خواندن داده‌ها. یکی از نکات مهم در مدیریت شاخص‌های پایگاه داده، آگاهی از به‌روزرسانی‌های HOT (Hot Update) است که باعث می‌شود شاخص‌ها به صورت موثر و همزمان با تغییرات داده‌ها به‌روزرسانی شوند. علاوه بر این، استفاده از شمارنده‌های کاربردی می‌تواند به مدیران سیستم کمک کند تا ببینند چه شاخص‌هایی بیشترین تاثیر را در سرعت عملیات دارند، و کدام شاخص‌ها ممکن است نیاز به حذف یا تجدید نظر داشته باشند.

در مجموع، رویکرد بهینه در نگهداری و مدیریت شاخص‌ها نقش کلیدی در عملکرد پایگاه داده دارد. فقط تکیه بر طراحی سریع خواندن داده‌ها کافی نیست؛ بلکه نیازمند دیدی جامع و بر اساس مدارک و استنتاج‌های عملی است که بتواند اثرگذاری شاخص‌ها بر عملیات نوشتن و به‌روزرسانی را به دقت ارزیابی کند. این رویکرد نه تنها کارایی سیستم را حفظ می‌کند بلکه از هدر رفتن منابع و زمان جلوگیری می‌نماید.

#پایگاه_داده #بهینه‌سازی #شاخص‌ها #PostgreSQL

🟣لینک مقاله:
https://boringsql.com/posts/unbearable-lightness-of-one-more-index/?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
Your AI Adoption Lift Is a Selection Effect (17 minute read)

🟢 خلاصه مقاله:
در مقایسه میان شرکت‌هایی که هوش مصنوعی را به کار می‌گیرند و کسانی که این فناوری را اتخاذ نکرده‌اند، معمولاً اثرات مثبت به طور اغراق‌آمیزی نشان داده می‌شود. این تفاوت به دلیل آن است که مشتریانی که بیشتر درگیر هستند، احتمال بیشتری دارند که فناوری‌های نوین را بپذیرند و همین امر می‌تواند منجر به نتیجه‌گیری نادرستی درباره اثربخشی واقعی هوش مصنوعی شود. در حقیقت، تمایل بیشتر مشتریان به استفاده از فناوری‌های جدید، در کنار عوامل دیگر، به‌طور طبیعی باعث برانگیختن تصور اینکه هوش مصنوعی تاثیر زیادی دارد، می‌شود.

برای تحلیل مستقیم‌تر و دقیق‌تر اثرات واقعی، بهتر است از روش‌های مبتنی بر تغییراتی که مشتریان خود انتخاب نکرده‌اند، استفاده کنیم. یکی از این روش‌ها، بهره‌گیری از معیارهای محدودیت‌زا مانند حد نصاب‌ها در فرآیند ارزیابی است، جایی که تنها مشتریان در گروه مورد مطالعه قرار می‌گیرند که بر اساس معیارهای مشخصی، واجد شرایط هستند. با این کار، می‌توان تأثیر هوش مصنوعی را در جمعیتی محدود و مشخص ارزیابی کرد و نتیجه‌گیری‌های استوارتر و معتبرتری ارائه داد. مهم است که در هر تحلیل، محدودیت‌های نتایج را مشخص و مشخص کنیم که نتایج فقط مربوط به جمعیت و فرآیند تصمیم‌گیری خاص است که مورد مطالعه قرار گرفته است.

در نتیجه، استفاده از روش‌هایی که بتوانند اثرگذاری واقعی و علت و معلول را نشان دهند، اهمیت زیادی دارد. اینگونه، قادر خواهیم بود تصویر دقیق‌تری از تاثیر فناوری‌های نوین بر رفتار و نتایج مشتریان ارائه کنیم و تصمیمات اجرایی مبتنی بر شواهد بهتر و موثرتر بگیریم.

#هوش_مصنوعی #تحلیل_آماری #مدیریت_تغییر #نوآوری

🟣لینک مقاله:
https://towardsdatascience.com/your-ai-adoption-lift-is-a-selection-effect/?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
PostgreSQL Migrator 1.0: Migrate Oracle and MySQL to Postgres

🟢 خلاصه مقاله:
نسخه ۱.۰ مهاجرت‌گر پستگرسول، ابزاری قدرتمند و چندمنظوره برای انتقال پایگاه‌های داده اوراکل و مای‌اس‌کیوال/ماریا دی‌بی است. این ابزار، با عرضه یک بسته نرم‌افزاری واحد، فرآیند مهاجرت را بسیار ساده‌تر و کارآمدتر می‌کند. علاوه بر این، رابط کاربری وب‌ اطلاح‌شده که در این نسخه ارائه شده است، امکان شناسایی سریع مشکلات و بررسی دقیق روند انتقال داده‌ها را فراهم می‌کند.

این ابزار مبتنی بر فناوری‌های نوین، با استفاده از روش‌های سریع کپی (COPY) قادر است حجم عظیمی از اطلاعات را در کوتاه‌ترین زمان منتقل کند. هدف اصلی آن ارائه راه حلی یکپارچه و قابل اطمینان برای توسعه‌دهندگان و مدیران پایگاه داده است که می‌خواهند به راحتی و بدون نگرانی، سیستم‌های خود را به پستگرسول مهاجرت دهند. این نسخه جدید، نقطه عطف مهمی در کاهش پیچیدگی‌های انتقال داده‌ها و افزایش بهره‌وری در مدیریت پایگاه‌های داده است.

#پستگرسول #مهاجرت_پایگاه_داده #Oracle #MySQL

🟣لینک مقاله:
https://blog.dalibo.com/2026/09/07/postgresql-migrator-1-en.html

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
Stale data makes agents fail confidently (Sponsor)

🟢 خلاصه مقاله:
در دنیای هوش مصنوعی، بسیاری از عامل‌ها یا ربات‌های هوشمند با اعتماد به نفس پایین و نه با صدای بلند، دچار مشکل می‌شوند. این عامل‌ها معمولاً بر پایه داده‌های قدیمی یا منسوخ عمل می‌کنند و نتیجه این امر، ارائه‌ی پاسخ‌های نادرست مانند بازپرداخت‌های اشتباه، قیمت‌های نادرست و تصمیمات متضاد است. مشکل اصلی در این است که بسیاری از این سیستم‌ها از داده‌های لحظه‌ای و به‌روز استفاده نمی‌کنند و در نتیجه تصمیماتی می‌گیرند که بر پایه اطلاعات منسوخ استوار است.

برای مقابله با این مشکل، یک موتور زمینه یا کانتکست‌ژن راه‌حلی مؤثر ارائه می‌دهد؛ این فناوری قادر است در هر لحظه، مقادیر واقعی و به‌روز را محاسبه کند و بر اساس آن تصمیم‌گیری کند. در نتیجه، عامل‌های هوشمند می‌توانند در زمان واقعی، بر اساس اطلاعات صحیح و جاری، اقدام و پاسخ دهند. این شیوه نه تنها دقت و اطمینان را افزایش می‌دهد، بلکه از خطاهای ناشی از داده‌های قدیمی جلوگیری می‌کند و کارایی کل سیستم را بهبود می‌دهد.

برای مشاهده دقیق‌تر و فهمیدن چگونگی عملکرد این فناوری، می‌توانید جزئیات مربوط به نحوه کار آن را بررسی کنید و ببینید چگونه این موتور زمینه، به تطابق لحظه‌ای داده‌ها کمک می‌کند و تضمین می‌نماید که تصمیمات مبتنی بر اطلاعات جدید و معتبر باشد.

#هوش_مصنوعی #موتور_زمینه #تکنولوژی_روز #تصمیم‌گیری_هوشمند

🟣لینک مقاله:
https://chalk.ai/blog/what-is-a-context-engine?utm_source=tldr&utm_medium=referral&utm_campaign=2026-09-14_contextengineblog&utm_term=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
a browser-based demo

🟢 خلاصه مقاله:
در دنیای فناوری، آزمایش نرم‌افزارها قبل از نصب آن‌ها اهمیت زیادی دارد؛ مخصوصاً زمانی که بتوانید نسخۀ آزمایشی آنلاین و بدون نیاز به دانلود و نصب دریافت کنید. در این حالت، کاربران می‌توانند به راحتی و با سرعت، عملکرد و امکانات برنامه را ارزیابی کرده و تصمیم بگیرند که آیا مناسب نیازهایشان است یا خیر. در این راستا، نسخه دمو مبتنی بر مرورگر یکی از بهترین روش‌ها است، چرا که امکان دسترسی آسان و فوری را فراهم می‌سازد.

نسخه‌های دمو مبتنی بر مرورگر، این فرصت را می‌دهند که کاربران بدون هیچگونه دغدغه‌ای و تنها با چند کلیک، قابلیت‌ها و رابط کاربری نرم‌افزار را مشاهده و آزمایش کنند. این رویکرد، علاوه بر صرفه‌جویی در زمان و منابع، کاربران را قادر می‌سازد تا قبل از تعهد به نصب، از تمامی امکانات آن بهره‌مند شوند و با اطمینان بیشتری تصمیم‌گیری کنند.

در مجموع، این روش آزمایش سریع و کاربرپسند، روند انتخاب و ارزیابی نرم‌افزار را بسیار آسان‌تر و انعطاف‌پذیر تر می‌کند، و شرکت‌ها نیز می‌توانند تعامل بهتری با کاربران خود داشته باشند و بازخوردهای ارزشمندی جمع‌آوری کنند. در نهایت، امکان آزمودن بدون نیاز به نصب، یکی از کلیدهای موفقیت در ارائه خدمات دیجیتال است.

#آزمایش_آنلاین #نسخه_مرورگر #تست_نرم‌افزار #فناوری

🟣لینک مقاله:
https://pgrust.com/

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
TPC-H Query 15 - Scalar Constants and Materialisation (5 minute read)

🟢 خلاصه مقاله:
در این مقاله به یکی از مفاهیم مهم در بهینه‌سازی کوئری‌های پایگاه داده‌ها می‌پردازیم، جایی که اشاره می‌شود استفاده مجدد از یک عبارت تعریف‌شده در قسمت Common Table Expression (CTE) در یک کوئری، می‌تواند مسئله‌ای مهم در عملکرد سیستم باشد. زمانی که یک CTE در یک کوئری چندین‌بار مورد استفاده قرار می‌گیرد، سوال این است که سیستم مدیریت پایگاه داده (DBMS) نتیجه این عبارت را فقط یک‌بار محاسبه می‌کند و در حافظه نگهداری می‌کند یا هر بار که به آن نیاز است، مجدداً همان محاسبات را انجام می‌دهد. این موضوع عملکرد کوئری‌ را به شدت متاثر می‌کند، مخصوصاً در جایی که کوئری‌های پیچیده و پرحجم دارند.

در بخش بعدی، به اهمیت این موضوع در بهبود کارایی سیستم اشاره می‌شود، جایی که سیستم‌های مختلف ممکن است رفتار متفاوتی نشان دهند. برخی از سیستم‌ها با استفاده از تکنیک‌های مادی‌سازی نتایج، نتیجه‌های محاسبه‌شده را ذخیره می‌کنند، در حالی که برخی دیگر ممکن است هر بار نتیجه را مجدداً محاسبه کنند، که این امر منجر به کاهش کارایی می‌شود. بررسی این جنبه‌ها در هنگام نوشتن کوئری‌های بهینه اهمیت ویژه‌ای دارد، مخصوصاً زمانی که از مقادیر ثابت (Scalar Constants) استفاده می‌شود که در صورت مادی‌سازی، می‌توانند به شدت در زمان اجرای کوئری صرفه‌جویی کنند.

در نهایت، یکی از نکات کلیدی در این مطالعه، نحوه تأثیرگذاری این رفتار بر اجرای کوئری است. آزمایش‌هایی که با استفاده از نمونه‌های مختلف انجام شده نشان می‌دهد که رفرنس دادن مجدد به همان CTE، در صورت عدم استفاده از مادی‌سازی، منجر به انجام مجدد تمام عملیات‌های مربوطه می‌شود که کاملاً ممکن است بر زمان اجرای کوئری تأثیر منفی بگذارد. بنابراین، فهمیدن اینکه آیا سیستم به صورت خودکار نتایج را مادی‌سازی می‌کند یا نه، اهمیت زیادی در طراحی کوئری‌های بهینه دارد.

در نتیجه، آگاهی از نحوه عملکرد سیستم‌های مدیریت پایگاه داده در تائید و بهره‌برداری موثر از CTEها، کلید طلایی در بهبود عملکرد است. توسعه‌دهندگان پایگاه داده و افراد فعال در حوزه داده باید این نکات را در نظر داشته باشند تا کوئری‌هایی سریع‌تر و بهینه‌تر نوشته و اجرا کنند.

#پایگاه_داده #بهینه‌سازی_کوئری #CTE #مادی‌سازی

🟣لینک مقاله:
https://database-doctor.com/posts/tpch-q15?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
The Lifecycle of a Sharded Postgres Query

🟢 خلاصه مقاله:
در دنیای بانک‌های اطلاعاتی مدرن، مقیاس‌پذیری و کارایی اهمیت ویژه‌ای پیدا کرده است. شرکت پلنت‌اسکیل به تازگی سیستم جدیدی به نام نکی را معرفی کرده است که بر پایه ساختار‌شدگی (Sharding) در پایگاه داده‌های پستگرس ساخته شده است. این سیستم، یک نوع معماری متمایز دارد، جایی که یک روتر قادر است پروتکل ارتباطی را مستقیماً درک کند و درخواست‌های کوئری را به صورت توزیع‌شده در بین بخش‌های مختلف سرورهای پستگرس استاندارد، هدایت کند. این رویکرد، امکان مدیریت بهتر حجم‌های بزرگ داده و افزایش سرعت پاسخگویی به درخواست‌ها را فراهم می‌آورد، بدون نیاز به تعویض کامل سیستم پایه.

در این مقاله، فرآیند جاری این سیستم جدید و نحوه عملکرد آن به صورت گرافیکی و توضیحی مورد بررسی قرار می‌گیرد. این مسیر، روشی جذاب و آموزنده است که نشان می‌دهد چگونه درخواست‌های کاربر در مرحله اول به روتر می‌رسند و سپس به بخش‌هایی تقسیم می‌شوند که هر کدام روی یک shard جداگانه قرار دارند. در ادامه، روتر با استفاده از پروتکل خاص خود، تمام این درخواست‌ها را به صورت همزمان در سرورهای مختلف مدیریت می‌کند، نتایج را جمع‌آوری و در قالب پاسخ نهایی به کاربر بازمی‌گرداند. این تکنولوژی نوآورانه، به توسعه‌دهندگان و مدیران دیتابیس امکان می‌دهد تا با اطمینان بیشتری به مقیاس‌پذیری و بهینگی سیستم‌های خود بپردازند، بدون اینکه نگران پیچیدگی‌های معمول در مدیریت چنین ساختارهای توزیع‌شده باشند.

در نهایت، مطالعه این نوع معماری، نشان می‌دهد که چگونه رویکردهای نوین می‌توانند آینده بانک‌های اطلاعاتی را تغییر دهند. سیستم نکی، با ساختار شاردینگ و مدیریت هوشمند درخواست‌ها، راهی است برای رسیدن به سطوح جدیدی از کارایی و انعطاف‌پذیری در مدیریت داده‌ها. این مقاله تصویری، راهنمایی ارزشمند برای توسعه‌دهندگان و متخصصان حوزه دیتابیس است که می‌خواهند بر چالش‌های مقیاس‌پذیر بودن غلبه کنند و به سمت فناوری‌های پیشرفته‌تر حرکت کنند.

#پایگاه_داده #شاردینگ #پستگرس #فناوری_نوین

🟣لینک مقاله:
https://planetscale.com/blog/the-lifecycle-of-a-sharded-postgres-query

➖➖➖➖➖➖➖➖
👑 @Database_Academy

امروز، ۲۶ شهریور، زادروز پسر کوروش بزرگه؛ روزی که به‌عنوان «روز پسر» نام‌گذاری شده.

🔵 عنوان مقاله
pgrust 0.3: A Rust Rewrite of Postgres, Now Ready to Try

🟢 خلاصه مقاله:
نسخه ۰.۳ pgrust، بازنویسی زبان Rust برای پایگاه داده PostgreSQL، اکنون آماده است تا مورد آزمایش قرار گیرد. این پروژه که چندی است به عنوان یک جایگزین منبع باز برای PostgreSQL در حال توسعه است، نشان دهنده یک گام مهم در بهبود و ساده‌سازی عملکرد این پایگاه داده قدرتمند است.

در این نسخه جدید، توسعه‌دهندگان و علاقه‌مندان دعوت شده‌اند تا pgrust را در محیط‌های عملی و واقعی آزمایش کنند، البته در محیط‌های غیر بحرانی و آزمایشی. هدف اصلی از انتشار این نسخه، جمع‌آوری بازخورد و بررسی عملکرد آن تحت بارهای مختلف است تا در نسخه‌های آتی توسعه‌های بیشتری صورت گیرد و قابلیت اطمینان آن افزایش یابد. هرچند هنوز در مرحله‌ی آزمایشی است، اما این پروژه نشان می‌دهد که آینده‌ای جالب در انتظار پایگاه‌های داده مبتنی بر Rust می‌باشد و فرصت خوبی برای توسعه‌دهندگان است تا در مسیر پیشرفت این فناوری مشارکت کنند.

این آغاز راهی است برای کسانی که به دنبال راه‌حلی سبک، سریع و امن برای پایگاه داده‌های خود هستند و می‌خواهند در پروژه‌ای نوآورانه و آینده‌نگر نقش داشته باشند. با ادامه توسعه و بهبود، pgrust می‌تواند جایگاه ویژه‌ای در میان ابزارهای مدیریت داده‌های مدرن پیدا کند.

#پایگاه_داده #Rust #پروژه‌های_باز #توسعه_نرم‌افزار

🟣لینک مقاله:
https://pgrust.com/blog/pgrust-v0-3/

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
▶️ an hour-long video

🟢 خلاصه مقاله:
در این ویدیوی یک‌ساعته، مصاحبه کامل با الیزابت گرت کریستنسن و تام لین به طور جامع ارائه شده است. این مصاحبه فرصت مناسبی است تا بینندگان بتوانند نظرات، دیدگاه‌ها و تجربیات این دو فرد برجسته را در زمینه‌های مختلف دریافت کنند. ارائه کامل چنین گفت‌وگوهایی به ترویج اطلاعات دقیق و تعمیق درک موضوعات مورد بحث کمک می‌کند و مخاطبان را به درک بهتر مسائل هدایت می‌کند.

این ویدیو نه تنها برای علاقه‌مندان به موضوعات مطرح شده مفید است، بلکه می‌تواند منبع ارزشمندی برای پژوهشگران و علاقمندان به آشنایی با دیدگاه‌های مختلف در حوزه‌های مرتبط باشد. تماشای مصاحبه کامل، فرصت مناسبی است برای کسب اطلاعات افقی و عمقی درباره موضوعات مهم، و درک عمیق‌تر دیدگاه‌های این دو شخصیت برجسته.

در مجموع، این ویدیو یک مستند جامع است که به صورت کامل در یک قالب یک ساعته در اختیار علاقه‌مندان قرار می‌گیرد تا از محتوا بهره‌مند شوند و دانش خود را گسترش دهند.

#مصاحبه #آموزش #محتوا #دانش

🟣لینک مقاله:
https://www.youtube.com/watch?v=2ajXkLeVXxQ

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
It passed CI. It passed your evals. The customer still got the wrong answer (11 minute read)

🟢 خلاصه مقاله:
در حالی که هوش مصنوعی توانسته است نتایج موفقیت‌آمیز و پایه‌دار ارائه کند و از نظر ارزیابی شما نیز پاسخ‌های خوبی داشته باشد، هنوز هم ممکن است نتیجه نادرستی به مشتری ارائه شود. این موضوع به این دلیل است که سیستم‌های هوشمند ممکن است اطلاعات نادرستی را بازیابی کنند یا مسیر اجرای نادرستی را دنبال نمایند. بنابراین، حتی وقتی پاسخ‌ها ظاهر صحیح دارند، ممکن است در واقعیت نادرست باشند.

برای رفع این مشکل، نیاز است که فرآیند خطایابی به صورت جامع و کامل انجام شود. این یعنی باید تمام مسیرهای عملکرد مدل، تماس‌های با ابزارهای مختلف، ورودی‌های بازیابی اطلاعات و خروجی‌ها به صورت دقیق ثبت و پیگیری شوند. علاوه بر این، لازم است تست‌هایی مجزا بر روی رفتار سیستم در شرایط مشخص انجام شود تا تضمین شود که پاسخ‌ها هم از نظر کیفیت و هم از نظر دقت، قابل اعتماد هستند.

در واقع، پیاده‌سازی چنین فرآیندهای نظارتی و تست‌های جامع، کلید حل مشکل احتمال خطا در سیستم‌های هوشمند است. این کار نه تنها باعث افزایش اعتمادپذیری پاسخ‌ها می‌شود، بلکه فرآیند عیب‌یابی و بهبود مدل را نیز ساده‌تر می‌کند و از ارائه پاسخ‌های نادرست به مشتریان جلوگیری می‌کند.

#هوش_اصطناعی #تست_سیستم #پایش_کیفیت #مدیریت_خطا

🟣لینک مقاله:
https://thenewstack.io/ai-agent-trace-debugging/?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
Why DuckDB 2.0 is faster (15 minute read)

🟢 خلاصه مقاله:
نسخه جدید DuckDB 2.0 با ارائه‌های جدید و بهبودهای قابل توجه، عملکرد بی‌نظیری را در اجرای Queryها ارائه می‌دهد. یکی از مهم‌ترین قابلیت‌های این نسخه، افزایش سرعت در پاسخ‌دهی به درخواست‌های مرتبط با داده‌های S3 است. به‌طور خاص، DuckDB 2.0 توانسته است با استفاده از فناوری I/O غیرهم‌زمان، سرعت اجرای این درخواست‌ها را دو تا سه برابر افزایش دهد. این بهبود، به‌ویژه در محیط‌های داده‌محور بزرگ و پیچیده، تاثیر چشمگیری در کاهش زمان پاسخ‌گویی داشته است.

علاوه بر این، در نسخه جدید، بهبودهای قابل توجهی در اجرای پرس‌وجوهای عمیق و بازگشتی صورت گرفته است. این نوع Queryها، که در تحلیل‌های داده‌های ساختاریافته و پیچیده کاربرد دارند، در گذشته ممکن بود باعث کاهش سرعت و کارایی سیستم شوند، اما حالا با فناوری‌های جدید در DuckDB 2.0، این پرس‌وجوها بسیار سریع‌تر و کارآمدتر اجرا می‌شوند. همچنین، ساختار داده‌های نیمه‌ساختاری مانند داده‌های Variant که معمولا در قالب JSON قرار دارند، در این نسخه کوچک‌تر و سریع‌تر شده‌اند، که به بهبود عملکرد کل سیستم کمک می‌کند.

در کنار این بهبودهای فنی، ویژگی‌های کاربردی و مهمی نیز به زبان SQL افزوده شده است. امکان استفاده از تریگرها، اسکیماهای تو در تو، و عبارت‌های داده‌محور با قابلیت تغییر داده‌ها (Data-modifying CTEs) از جمله ویژگی‌هایی است که به توسعه‌دهندگان امکان مدیریت و پردازش داده‌ها را بسیار آسان‌تر کرده است. این امکانات، کار با پایگاه‌های داده را انعطاف‌پذیرتر و قدرتمندتر ساخته است و DuckDB را برای پروژه‌های پیشرفته و داده‌محور، گزینه‌ای جذاب‌تر می‌کند.

در مجموع، DuckDB 2.0 با ترکیبی از بهبودهای فنی و امکانات جدید، راهکاری سریع‌تر، انعطاف‌پذیرتر و قدرتمندتر در حوزه مدیریت و تحلیل داده‌های نوین ارائه می‌دهد. این نسخه، گامی بزرگ در توسعه ابزارهای تحلیل داده است که می‌تواند فرآیندهای داده‌محور را به شکل چشمگیری بهبود بخشد.

#DuckDB #تحلیل_داده #پایگاه_داده #هوش_مصنوعی

🟣لینک مقاله:
https://motherduck.com/blog/why-duckdb-20-is-faster/?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
PostgreSQL CDC Backfills at Scale: Running a Multi-Day Backfill While Production Keeps Writing (15 minute read)

🟢 خلاصه مقاله:
در پروژه‌های پایش تغییرات دیتابیس با استفاده از PostgreSQL، اجرای عملیات بازپخته‌سازی تاریخچه داده‌ها (Backfill) در مقیاس بزرگ چالش‌های زیادی دارد. یکی از مهم‌ترین نکات، این است که چگونه می‌توان فرآیند بازپخته‌سازی چندروزه را به گونه‌ای انجام داد که در حالی که عملیات تولید داده‌های زنده ادامه دارد، سیستم همچنان به ثبت و بازیابی داده‌های قدیمی بپردازد. این فرآیند نیازمند برنامه‌ریزی دقیق و استفاده از روش‌های نوین است تا کارایی و پایداری سیستم حفظ شود.

در بسیاری از موارد، شکست در عملیات‌های بزرگ بازپخته‌سازی PostgreSQL بیشتر به دلیل مشکلات مربوط به خواندن‌های تاریخی (Historical Reads) نیست، بلکه ناشی از مسائل مرتبط با نگهداری لاگ تغییرات (WAL)، تأخیر در تأیید مواضع (Slot Acknowledgments)، تراکنش‌های طولانی یا شکستن حالت‌های قدیمی در سیستم است. این عوامل می‌توانند منجر به مصرف بی‌رویه فضای WAL، تأخیر در عملیات‌های تکراری و اصطکاک در روند بازیابی داده‌ها شوند. بنابراین، طراحی‌های ایمن باید به گونه‌ای باشند که فرآیندهای خواندن در حین عملیات ادامه‌دار، مانند خواندن‌های بخش‌بندی‌شده، حفظ پیشرفت‌ها با checkpoints، و مدیریت تداخل‌ها با استفاده از مرزهای زمانی و ماسک‌ها، انجام شوند.

یکی از استراتژی‌های مؤثر، حفظ جریان مداوم مصرف WAL هنگام خواندن‌های بخش‌بندی‌شده است. این کار تضمین می‌کند که فرآیند بازپخته‌سازی، نسبت به تغییرات زنده بی‌وقفه و بدون اختلال ادامه پیدا کند. علاوه بر این، اعمال پیشرفت checkpoints در طول عملیات، کمک می‌کند تا در صورت بروز خطا یا توقف ناگهانی، بتوان عملیات را به سرعت از سرگیری کرد و از ازدست‌رفتن داده‌ها جلوگیری نمود. همچنین، تنظیم تداخل‌ها با استفاده از آب‌مُرک‌ها (Watermarks) و «حلقه‌های حفاظتی» (Fences) اجازه می‌دهد تا بین داده‌های تاریخی و داده‌های جاری تداخل کمتری صورت گیرد و هم‌زمانی بهتری برقرار شود.

در نهایت، اندازه‌گیری مناسب بر اساس نرخ نوشتن واقعی در دیتابیس، نقش کلیدی در بهینه‌سازی فرآیندهای بازپخته‌سازی دارد. با تقسیم عملیات به بخش‌های کوچکتر و تطابق آن‌ها با نرخ‌های نوشتاری، می‌توان از فشار بی‌مورد بر سیستم جلوگیری کرده و کارایی عملیات را تضمین کرد. این رویکردها و فنون سبب می‌شوند که عملیات بازپخته‌سازی در مقیاس بزرگ، همزمان با ادامه فعالیت‌های جاری، به شکل ایمن و مؤثر انجام شود و موجب پایداری و صحت سیستم گردد.

#PostgreSQL #بازپخته‌سازی #توسعه_پایدار #پایش_تغییرات

🟣لینک مقاله:
https://estuary.dev/blog/postgres-cdc-backfill?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
Investigating Spark Waste Across the Stack (10 minute read)

🟢 خلاصه مقاله:
در مطالعه‌ای جامع درباره بهره‌وری فرآیندهای اسپارک، محققان موفق شدند با تحلیل دقیق زباله‌های پنهان در سیستم، راه‌هایی برای بهبود کارایی ارائه دهند. این پژوهش چهار مورد کاربردی در تولید اسپارک را مورد بررسی قرار داده است که با شناسایی و رفع زباله‌های مخفی، مدت زمان اجرا، نیازهای محاسباتی، عملیات در سرویس S3، و در نتیجه هزینه‌ها به شدت کاهش یافته است. این روش تحلیل عمیق، فراتر از نگرانی‌های مرسوم درباره مصرف CPU و حافظه، به مدیران سیستم امکان می‌دهد مشکلات زیرین را شناسایی و برطرف کنند، و اثربخشی فرآیندهای داده‌محور را به طور چشمگیری ارتقاء دهند.

در این مطالعه، با رصد دقیق و استانداردسازی مراحل مختلف، مشکلات پنهانی که منجر به هدررفت منابع می‌شدند، آشکار شدند. تیم تحقیق آنالیز دقیقی انجام داد تا نشان دهد که چه تعداد عملیات غیرضروری و ضایعات نرم‌افزاری یا سخت‌افزاری در جریان اجرای اسپارک وجود دارد و چگونه این موارد می‌توانند بر هزینه‌ها و زمان‌بندی نهایی اثرگذار باشند. این یافته‌ها به توسعه دهندگان و مدیران داده امکان می‌دهد استراتژی‌های موثری برای کاهش سربارهای بی‌فایده و پاک‌سازی منابع اتخاذ کنند، و در نتیجه بهره‌وری سیستم‌های پردازش داده را بهینه‌تر سازند.

در نتیجه، استفاده از این رویکردهای تحلیلی پیشرفته، نه تنها عملیات کارآمدتری را رقم می‌زند، بلکه هزینه‌های مربوط به زیرساخت‌های ابری و محاسباتی را نیز تا حد چشمگیری کاهش می‌دهد. این مطالعه نشان می‌دهد که با نظارت دقیق بر زباله‌های سیستم و اصلاح آنها، می‌توان زمان اجرا، عملیات در سرویس S3 و هزینه‌های کلی سیستم‌های اسپارک را به بهترین شکل بهبود بخشید. این رویکرد، آینده توسعه داده‌های بزرگ و سیستم‌های توزیع شده را نوید می‌دهد و به تیم‌های فناوری اطلاعات ابزار قدرتمندی برای مدیریت منابع می‌دهد.

#بهینه‌سازی_اسپارک #مدیریت_منابع #کاهش_هزینه #تحلیل_پنهان

🟣لینک مقاله:
https://blog.dataengineerthings.org/investigating-spark-waste-across-the-stack-188aa622e12a?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy

🔵 عنوان مقاله
Tom Lane on the Architectural Decisions That Shaped 30 Years of Postgres (41 minute read)

🟢 خلاصه مقاله:
در طول سی سال فعالیت، تام لِین نقش مهمی در توسعه و شکل‌گیری پایگاه داده پراجکت بازی کرده است. او در این مقاله بر تصمیمات معماری‌ای تمرکز می‌کند که به موفقیت‌های این پروژه کمک کرده‌اند و برخی از چالش‌ها و انتخاب‌های کلیدی را توضیح می‌دهد. اولین این تصمیمات، استفاده از الگوی ارتباط هر پردازش با یک اتصال مجزا است که باعث سهولت در نوشتن و توسعه کد شد. همچنین، لِین به معرفی سیستم ثبت شرکت در نگارش ۸.۰ اشاره می‌کند که تحولی بزرگ در پایداری و مقیاس‌پذیری پراجکت ایجاد کرد و آن را از یک پروژه ساده به یک پایگاه داده حرفه‌ای تبدیل نمود.

در ادامه، او به مکانیزم MVCC اشاره می‌کند، روشی که عملیات نگهداری و تعمیرات پایگاه را به قسمت‌های پس‌زمینه و عملیات وکیوم انتقال داد. این تصمیم باعث شد تا فرآیند نگهداری داده‌ها در حین فعالیت سیستم بدون کاهش کارایی انجام شود. لِین همچنین از تاثیرات مجوز آزاد دانشگاه برکی، که باعث ادامه حیات پروژه حتی در شرایط سخت شد، تمجید می‌کند.

او در عین حال، ظاهر انتقادی دارد و نسخه ۱۳ را یک‌باره پر از خطا و نقص می‌داند و در پایان، اگر اختیار داشت، علاقه‌مند بود تا سیستم تقسیم‌بندی جداول را حذف کند، زیرا معتقد است این ویژگی در حال حاضر محدودیت‌هایی دارد که نیازمند بازنگری است.

این مقاله نگاهی عمیق به تصمیمات، چالش‌ها و آینده پراجکت پراجکت پراجکت دارد و نشان می‌دهد چگونه انتخاب‌های معماری می‌تواند بر مسیر توسعه و موفقیت یک پایگاه داده تاثیرگذار باشد.

#پروجکت #پایگاه‌داده #معماری_سیستم #نوآوری

🟣لینک مقاله:
https://www.snowflake.com/en/blog/engineering/30-years-of-postgres-architecture-tom-lane/?utm_source=tldrdata

➖➖➖➖➖➖➖➖
👑 @Database_Academy