تقسیمکار بین مدلهای هوش مصنوعی
اگه با اکانت پرظرفیت Claude یا Codex هی به session limit میخوری، قبل از اینکه عصبانی بشی ببین کجای مسیر رو اشتباه رفتی.
وقتی کل فیچر یا پروژه رو میدی به گرونترین مدل و میگی این رو میخوام، احتمالاً داری یه جاهایی ظرفیتش رو هدر میدی. بالاخره همهٔ قسمتهای اون پروژه که به یه اندازه سخت نیستن. ضمن اینکه مدلهای گرونتر علاوه بر هزینهٔ بیشتر، عموماً کندتر هم هستن.
برای مثال یک تیملید، همهٔ تسکها رو نمیریزه سر سینیورترین آدم تیم. اگه اون فرد هم درگیر تصمیم معماری باشه، هم تغییر متن دکمه و نوشتن مستندات، تقسیم کار درست انجام نشده. توی کار کردن با هوش مصنوعی هم قضیه همینه.
مثلاً بذار مدل قویتر کمک کنه مسئله رو باز کنی و کار رو بشکنی. بعد قسمتهای مشخصتر رو بده به مدل ارزونتر. جایی هم که کار پیچیده شد یا خروجی جواب نداد، برگرد سراغ مدل قویتر.
یه مطلب توی وبلاگ مهندسی اسپاتیفای هم دقیقاً همین ایده رو امتحان کرده. نویسنده خوندن فایلهای بزرگ و تولید کدهای تکراری رو سپرده به مدلهای بسیار ارزونتر. توی یک بنچمارک با ۴ سناریو روی یه مونوریپوی جاوا، مصرف توکن Claude برای بخش خوندن فایلها بهطور میانگین حدود ۹۰٪ کمتر شده.
حواست باشه، این عدد برای توکنهای Claude توی همون بخشه؛ مدل دوم هم مصرف خودش رو داره. ولی باز عددیه که باعث میشه به روش کارمون فکر کنیم.
البته نمیگم هر کاری رو بده به ارزونترین مدل. اگه آخرش مجبور بشی دو ساعت خروجی رو درست کنی، چیزی هم گیرت نیومده. باید ببینی کدوم مدل اون کار مشخص رو با کیفیت قابلقبول تحویلت میده.
من قبل از اینکه بگم:
«این اکانت هم برام کمه.»
اول از خودم میپرسم: واقعاً برای همهٔ کارهایی که بهش دادم، به این مدل نیاز داشتم؟