LLM یک شرکت حسابداری ممکن است در خلاصهسازی گزارشهای مالی عالی باشد، همان مدل میتواند در صورت پیشبینی روندهای بازار یا شناسایی تراکنشهای جعلی، بهطور غیرمنتظرهای شکست بخورد.
برای تطبیقپذیرتر کردن LLMها، محققان MIT بررسی کردند که چگونه میتوان یک تکنیک آموزشی خاص را بهطور استراتژیک برای افزایش عملکرد مدل در مسائل ناآشنا و دشوار به کار گرفت.
آنها نشان میدهند که آموزش زمان آزمون، روشی که شامل بهروزرسانی موقت برخی از عملکردهای داخلی مدل در حین استقرار است، میتواند منجر به بهبود شش برابری دقت شود. محققان چارچوبی برای اجرای یک استراتژی آموزش زمان آزمون ایجاد کردند که از نمونههایی از وظیفه جدید برای به حداکثر رساندن این دستاوردها استفاده میکند.
کار آنها میتواند انعطافپذیری مدل را بهبود بخشد و LLM آماده را قادر سازد تا با وظایف پیچیدهای که نیاز به برنامهریزی یا انتزاع دارند، سازگار شود. این میتواند منجر به LLMهایی شود که در بسیاری از کاربردهایی که نیاز به استنتاج منطقی دارند، از تشخیص پزشکی گرفته تا مدیریت زنجیره تأمین، دقیقتر باشند.
« یادگیری واقعی - کاری که ما اینجا با آموزش زمان آزمون انجام دادیم - چیزی است که این مدلها پس از عرضه نمیتوانند به تنهایی انجام دهند. آنها نمیتوانند مهارتهای جدیدی کسب کنند یا در یک کار بهتر شوند. اما ما نشان دادهایم که اگر مدل را کمی برای انجام یادگیری واقعی تحت فشار قرار دهید، میبینید که پیشرفتهای بزرگی در عملکرد میتواند رخ دهد.» این گفتهی اکین آکیورک، دکترای '۲۵ و نویسندهی اصلی این مطالعه است.
مهول دامانی، لینلو کیو، هان گو و جیوتیش پاری، دانشجویان تحصیلات تکمیلی؛ آدام زوایگر، دانشجوی کارشناسی؛ و نویسندگان ارشد یون کیم، استادیار مهندسی برق و علوم کامپیوتر (EECS) و عضو آزمایشگاه علوم کامپیوتر و هوش مصنوعی (CSAIL)؛ و جیکوب آندریاس، دانشیار EECS و عضو CSAIL، در این مقاله به آکیورک پیوستهاند. این تحقیق در کنفرانس بینالمللی یادگیری ماشینی ارائه خواهد شد.
