در حالی‌ که مدل‌های زبانی چندوجهی هوش مصنوعی مانند GPT-4 محصول کمپانی «اپن ای آی» در درک متون پیچیده و پاسخ به سؤالات مفهومی بسیار توانمند هستند، اما این مدل‌ها گاه در پاسخ به ساده‌ترین مسائل ریاضی مانند مقایسه اعداد، دچار اشتباه می‌شوند. دلیل اصلی هم تکیه بیش از حد این مدل به استدلال متنی است. برای رفع این مشکل، محققان مؤسسه فناوری ماساچوست (MIT) یک دستیار هوشمند با نام CodeSteer طراحی کرده‌اند که می‌تواند در نقش یک مربی برای مدل‌های زبانی بزرگ (LLMs) نقش‌آفرینی کند و به آنها آموزش دهد که برای حل مسائل پیچیده که نیاز به تفکر بیشتری دارد، چه زمانی باید از متن‌نویسی و چه زمانی از کدنویسی استفاده کنند.

مربیان انسانی الهام‌بخش

به گزارش روزنامه ایران، CodeSteer با الهام از نقش مربی در ورزش و شکل انسانی طراحی شده است. همان‌طور که ممکن است یک مربی از نظر جثه از ورزشکار ضعیف‌تر باشد، اما می‌تواند با پیشنهادهای دقیق، عملکرد ورزشکار خود را بهبود ‌بخشد، این دستیار هوشمند نیز می‌تواند مدل‌های قدرتمند زبانی را به مسیر صحیح راهنمایی کند.
«چوچو فن»، استادیار رشته هوانوردی و فضانوردی در MIT و پژوهشگر اصلی این پروژه می‌گوید: « به‌جای توسعه بی‌وقفه مدل‌هایی که همه‌ کارها را به‌تنهایی انجام می‌دهند، ما یک راه مکمل را برای بهبود توانمندی مدل‌های هوش مصنوعی انتخاب کرده‌ایم. این دستیار هوشمند، در واقع یک مدل زبانی کوچک و سبک‌تر است که در کنار مدل‌های بزرگ عمل می‌کند و پس از بررسی سؤال ورودی، تشخیص می‌دهد که بهتر است پاسخ‌گویی از طریق متن یا کدنویسی باشد. سپس با یک دستور خاص (prompt)، مدل بزرگ زبانی را به سمت روش مناسب هدایت می‌کند.

مدل بزرگ زبانی پس از اجرای دستور، پاسخ را تولید کرده و به این دستیار هوشمند بازمی‌گرداند. اگر پاسخ صحیح نباشد، CodeSteer مرحله به مرحله، راهنمایی جدید ارائه می‌دهد. به عنوان مثال پیشنهاد می‌کند که از الگوریتم جست‌وجو یا محدودیت‌های خاص در کدنویسی استفاده شود. این کار تا زمانی که جواب نهایی درست از آب درآید، ادامه می‌یابد. به اعتقاد این استادیار، مدل‌های بزرگ معمولاً تمایل دارند از کوتاه‌ترین و ساده‌ترین مسیر به جواب برسند که گاه منجر به خطا می‌شود و عملاً CodeSteer برای جلوگیری از این نوع تنبلی طراحی شده است.»

افزایش دقت عملکرد از ریاضی تا سودوکو

پژوهشگران برای آموزش و ارزیابی CodeSteer، سؤالاتی پیچیده در زمینه استدلال‌های فضایی، ریاضیات و منطق را طرح کردند که در نهایت، نتیجه خیره‌کننده بود و دقت مدل‌های زبانی از ۵۳.۳ درصد به ۸۶.۴ درصد افزایش یافت.

«جین‌سونگ یون»، پژوهشگر ارشد Google Cloud AI و فعال در این پروژه می‌گوید: «موفقیت در آموزش مدل زبانی کوچک که مدل‌های بزرگ‌تر را هدایت کند، گام مهمی به‌سوی هوش مصنوعی انعطاف‌پذیرتر و قابل‌اعتمادتر در دنیای واقعی است و می‌تواند توانایی مدل‌ها را بدون نیاز به آموزش مجدد، ارتقا دهد و دقت مدل‌های زبانی بزرگ را در وظایفی مانند ضرب اعداد، حل سودوکو و پازل‌های چیدمان بلوک‌ها بیش از ۳۰ درصد افزایش دهد. این نوآوری می‌تواند توانایی حل مسأله در مواردی مانند برنامه‌ریزی مسیر روبات‌ها در محیط‌های نامطمئن یا زمان‌بندی حمل‌ونقل در زنجیره تأمین را به‌طور چشمگیری ارتقا دهد.»

«یونگ‌چائو چن»، یکی دیگر از اعضای این تیم تحقیقاتی هم می‌گوید: « ما از انسان‌ها الهام گرفتیم تا دستیار هوشمند، بهترین تصمیم را بگیرد. مدل‌های بزرگ اغلب تمایل دارند از کوتاه‌ترین و ساده‌ترین مسیر بروند حتی اگر اشتباه باشد و CodeSteer برای جلوگیری از این سهل‌انگاری طراحی شده است. این دستیار هوشمند از یک سیستم ارزیابی کد استفاده می‌کند و اگر کد خیلی ساده یا ناکارآمد باشد، سیگنالی برای اصلاح آن ارسال می‌کند. همچنین یک بررسی‌کننده داخلی، به مدل زبانی دستور می‌دهد که با اجرای یک کد جداگانه، صحت پاسخ را تأیید کند.