فراتر از محدودیت ۲ مگابایت: نگاهی به استاندارد پیشنهادی خط لوله پردازش بار کاری کنستر در ICP

همزمان با انتقال زیست‌بوم رایانه اینترنتی (ICP) از اقدامات ساده و مبتنی بر کلاینت به سمت برنامه‌های غیرمتمرکز پیچیده و چندمرحله‌ای، توسعه‌دهندگان با محدودیت‌های زیرساختی اساسی مواجه می‌شوند [1، 2]. اگرچه رابط‌های گردش کار بصری مانند نسخه بتای B3Forge Flow Studio که اخیراً راه‌اندازی شده است [1]، اجرای سمت مرورگر را با استفاده از هویت‌های تفویض‌شده ساده می‌کنند [1، 2]، اما یک سؤال فنی بسیار بزرگ باقی می‌ماند: چگونه بارهای کاری داده‌ای سنگین و چندمرحله‌ای را به‌طور مستقیم درون‌زنجیره‌ای بین کنسترها مدیریت کنیم؟

برای حل این مسئله، توسعه‌دهندگان جامعه استاندارد خط لوله پردازش بار کاری کنستر (یک پیش‌نویس استاندارد آتی ICRC) را پیشنهاد داده‌اند [2]. این استاندارد به دو مورد از مداوم‌ترین گلوگاه‌ها در ارتباطات بین‌کنستری پاسخ می‌دهد: محدودیت حجم پیام ۲ مگابایتی و محدودیت‌های سایکل پردازشی در هر راند [2].

غلبه بر گلگاه ۲ مگابایتی با خطوط لوله تکه‌تکه شده (Chunked)

در یک محیط کنستر توزیع‌شده، انتقال مجموعه‌داده‌های بزرگ (مانند فایل‌های ویدیویی، وزن‌های مدل هوش مصنوعی یا NFTهای پویا) به‌طور مستقیم در یک فراخوانی واحد به دلیل محدودیت ۲ مگابایتی پروتکل غیرممکن است [2]. استاندارد پیشنهادی یک خط لوله ساختاریافته و مبتنی بر وضعیت (stateful) را معرفی می‌کند که برای تقسیم، پردازش و بازسازی بی‌وقفه مجموعه‌داده‌های بزرگ در میان کنسترها طراحی شده است [2].

در قلب این مشخصات، یک جریان داده مبتنی بر ماشین حالت قرار دارد که بین یک کنستر کلاینت (درخواست‌کننده) و یک کنستر پردازشگر (مجری) عمل می‌کند [2].

جریان اصلی: ورودی، اجرا و خروجی

1. شروع (process): کلاینت یک درخواست ProcessRequest ارسال می‌کند [2]. اگر حجم داده کوچک باشد (کمتر از ۲ مگابایت)، بلافاصله پردازش می‌شود [2]. اگر از حد مجاز فراتر رود، کنستر یک پاسخ #IntakeNeeded را بازمی‌گرداند [2].
2. استریم داده (pushChunk): فراخوان‌کننده داده‌ها را به صورت تکه‌های متوالی استریم می‌کند [2]. پردازشگر یک chunkMap (آرایه‌ای از مقادیر بولی) را برای ردیابی و تایید تکه‌های دریافتی نگهداری می‌کند [2].
3. اجرا (singleStep یا #OnLoad): پردازش می‌تواند به طور خودکار هنگام بارگذاری فعال شود (#OnLoad با استفاده از تایمرهای بومی کنستر) [2] یا به صورت دستی و گام‌به‌گام (#Manual از طریق متد singleStep) انجام شود تا به طور ایمن در محدوده مجاز سایکل باقی بماند [2].
4. بازیابی (getChunk): پس از اتمام پردازش، اگر مجموعه‌داده حاصل بزرگتر از ۲ مگابایت باشد، کنستر سیگنال #OuttakeNeeded را ارسال می‌کند [2]. سپس کلاینت مجموعه‌داده نهایی را تکه‌به‌تکه دریافت (Pull) می‌کند [2].

معماری فنی: انواع داده‌های مهم

برای اطمینان از قابلیت تعامل‌پذیری، این استاندارد ساختارهای داده‌ای با تایپ‌های مشخص و دقیق را با استفاده از عبارات بومی Candid تعریف می‌کند [1، 2]:

نوع داده ProcessRequest

public type ProcessRequest = {
  event: ?Text;             // فضای نام برای مسیریابی/ثبت رویدادها
  caller: ?Principal;       // هویت احراز هویت شده
  expiresAt : ?Int;         // برچسب زمان انقضا
  dataConfig: ?DataConfig;   // شامل داده، محلی، ارسال یا داخلی
  executionConfig: ?ExecutionConfig; // هنگام بارگذاری یا دستی
  responseConfig: ?ResponseConfig;   // شامل، دریافت یا محلی
};

واریانت dataConfig بسیار قدرتمند است و به کنستر اجازه می‌دهد بداند که آیا باید منتظر یک داده فوری، یک مرجع به حافظه محلی کنستر یا استریمی از آپلودهای تکه‌تکه شده باشد [2].

نوع داده ProcessResponse

public type ProcessResponse = ?{
  #DataIncluded: ?{ payload: [CandyTypes.AddressedChunk] };
  #Local : Nat;
  #IntakeNeeded: ?{ pipeInstanceID: PipeInstanceID; currentChunks: Nat; totalChunks: Nat; chunkMap: [Bool] };
  #OuttakeNeeded: ?{ pipeInstanceID: PipeInstanceID };
  #StepProcess: ?{ pipeInstanceID: PipeInstanceID; status: ProcessType };
  #Assigned: { pipeInstanceID: PipeInstanceID; canister: Principal };
};

این پاسخ به عنوان یک نشانگر وضعیت عمل می‌کند و کنستر فراخوان‌کننده را هدایت می‌کند تا داده‌های بیشتری ارسال کند (#IntakeNeeded)، نتایج را بازیابی کند (#OuttakeNeeded) یا پیشرفت چندمرحله‌ای را ردیابی کند (#StepProcess) [2].

حرکت به سمت عامل‌های کاملاً خودگردان درون‌زنجیره‌ای

در حالی که گردش‌های کاری سمت مرورگر (مانند موارد ساخته شده در B3Forge Flow Studio) به محرک‌های دستی متکی هستند [1]، آینده وب۳ به اتوماسیون همواره فعال («always-on») نیاز دارد [2]. این استاندارد پیشنهادی این شکاف را پر می‌کند [2]. با استانداردسازی نحوه ارسال، پردازش و دریافت بارهای کاری سنگین توسط کنسترها، توسعه‌دهندگان می‌توانند گردش‌های کاری بصری بسازند که مستقیماً به خطوط لوله کنستر خودگردان و درون‌زنجیره‌ای کامپایل می‌شوند [1، 2].

این تکامل، اتکا به تفویض اختیارات دستی در سمت کلاینت را از بین می‌برد [2] و رایانه اینترنتی را به یک موتور ابری غیرمتمرکز و کاملاً خودکار نزدیک‌تر می‌سازد [2].