پرش به محتوا
منو
داده‌نوشت
فناوری، زیرساخت و هوش مصنوعی
هوش مصنوعی

Copilot با کش زمینه و انتخاب مدل، هر نشست را کم‌هزینه‌تر می‌کند

نشست‌های طولانی Copilot در VS Code به‌مرور با اطلاعات تکراری پر می‌شوند: دستورهای پروژه، ساختار repository، تاریخچه مکالمه، تعریف ابزارها و وضعیت فعلی task. مقاله GitHub در ۱۷ ژوئن ۲۰۲۶ از دو پاسخ فنی برای این مشکل می‌گوید: cache کردن بخش‌های تکرارشونده و فرست

انتشار: ۲۷ خرداد ۱۴۰۵به‌روزرسانی: ۲۶ مرداد ۱۴۰۵3 دقیقه
تصویر رسمی GitHub برای Copilot با کش زمینه و انتخاب مدل، هر نشست را کم‌هزینه‌تر می‌کند
تصویر رسمی GitHub؛ منبع تصویر: https://github.blog/ai-and-ml/github-copilot/getting-more-from-each-token-how-copilot-improves-context-handling-and-model-routing/

Copilot با کش زمینه و انتخاب مدل، هر نشست را کم‌هزینه‌تر می‌کند

نشست‌های طولانی Copilot در VS Code به‌مرور با اطلاعات تکراری پر می‌شوند: دستورهای پروژه، ساختار repository، تاریخچه مکالمه، تعریف ابزارها و وضعیت فعلی task. مقاله GitHub در ۱۷ ژوئن ۲۰۲۶ از دو پاسخ فنی برای این مشکل می‌گوید: cache کردن بخش‌های تکرارشونده و فرستادن تعریف ابزارها فقط وقتی لازم‌اند. در کنار آن، Auto تلاش می‌کند مدل مناسب را بر اساس نوع کار انتخاب کند.

#context همیشه به معنی اطلاعات بیشتر نیست

عامل برای حل باگ باید زمینه کافی داشته باشد، اما ارسال همه ابزارها و کل تاریخچه در هر turn هزینه ثابت ایجاد می‌کند. Prompt caching اجازه می‌دهد prefixهای تکرارشونده دوباره محاسبه نشوند. Tool search هم فهرست ابزارها را از حالت «همه چیز در هر درخواست» به بارگذاری انتخابی نزدیک می‌کند. نتیجه مطلوب، context کوچک‌تر نیست؛ contextی است که سهم بیشتری از آن به مسئله جاری مربوط باشد.

این تغییر برای MCP مهم است. یک workspace ممکن است terminal، جست‌وجوی فایل، عملیات GitHub و ده‌ها ابزار تخصصی داشته باشد. قراردادن schema کامل همه آن‌ها در prompt، هم token مصرف می‌کند و هم انتخاب را برای مدل سخت‌تر می‌سازد. جست‌وجوی ابزار می‌تواند مجموعه بزرگ را نگه دارد، اما فقط گزینه‌های مرتبط را وارد پنجره فعال کند.

#Auto چه تصمیمی می‌گیرد؟

GitHub می‌گوید هیچ مدل واحدی در همه taskها بهترین نیست. توضیح کوتاه، ویرایش متمرکز و refactor چندفایلی نیازهای متفاوتی دارند. Auto از سیگنال سلامت و دسترس‌پذیری مدل‌ها و همچنین نوع کار استفاده می‌کند تا در زمان مناسب مدل را انتخاب کند. در مقاله از HyDRA به‌عنوان routerی یاد شده که عمق reasoning، پیچیدگی کد، دشواری debugging و نیاز به orchestration ابزار را در نظر می‌گیرد.

این انتخاب به معنی ارزان‌ترین گزینه در همه حال نیست. اگر مدل قوی‌تر واقعاً احتمال اصلاح موفق را بالا ببرد، routing به آن می‌تواند هزینه بازکاری را کم کند. از طرف دیگر، جابه‌جایی مدل در میانه یک نشست می‌تواند cache را بشکند. GitHub می‌گوید Auto تغییر را در مرزهای طبیعی مانند turn نخست یا بعد از compaction انجام می‌دهد تا از هزینه بازسازی prefix بکاهد.

#توصیه برای استفاده

توسعه‌دهنده بهتر است نشست را با Auto آغاز کند، context را متمرکز نگه دارد و هنگام تغییر مسئله session تازه بسازد. فعال کردن همه MCPها فقط برای آنکه «در دسترس باشند» تصمیم خوبی نیست. تیم‌ها نیز باید usage را بر اساس task، مدل، cache و ابزار مشاهده کنند. مدیریت context یک بهینه‌سازی کوچک در UI نیست؛ بخشی از اقتصاد و قابلیت اطمینان عامل کدنویسی است. حتی چند ده توکن تکراری در یک turn، وقتی در صدها نشست و ده‌ها مرحله تکرار شود، به هزینه عملیاتی قابل اندازه‌گیری تبدیل می‌شود.

مطالب مرتبط

برای ادامه مطالعه

این یادداشت‌ها بر اساس موضوع مشترک، هم‌پوشانی برچسب‌ها و تازگی انتشار انتخاب می‌شوند.

تصویر رسمی Anthropic برای واترمارک متنی Claude؛ نشانه‌گذاری آماری به‌جای ادعای تشخیص قطعی
هوش مصنوعی

واترمارک متنی Claude؛ نشانه‌گذاری آماری به‌جای ادعای تشخیص قطعی

Anthropic در ۱۴ اوت ۲۰۲۶ درباره سازوکار واترمارک متنی Claude توضیح داد. ایده این است که مدل در هنگام انتخاب tokenها، الگوی آماری بسیار ظریفی ایجاد کند که بعداً بتوان آن را با یک detector بررسی کرد. این روش با واترمارک تصویری که پیکسل یا metadata را تغییر می‌ده

۲۳ مرداد ۱۴۰۵3 دقیقه
تصویر رسمی OpenAI برای GPT-۵.۶ ارزان‌تر شد؛ Fast Mode برای کدام بار کاری است؟
هوش مصنوعی

GPT-۵.۶ ارزان‌تر شد؛ Fast Mode برای کدام بار کاری است؟

اعلامیه ۳۰ ژوئیه ۲۰۲۶ OpenAI دو تغییر جداگانه را کنار هم گذاشت: قیمت Terra و Luna پایین آمد و Fast Mode در API جای Priority Processing را گرفت. این خبر درباره عرضه مدل تازه نیست؛ درباره اقتصادی‌تر شدن استفاده مستمر از خانواده GPT-۵.۶ و ایجاد مسیر سریع‌تر برای

۸ مرداد ۱۴۰۵3 دقیقه
تصویر رسمی Anthropic برای سه حادثه سایبری Anthropic؛ چرا ارزیابی آزمایشگاهی کافی نیست
هوش مصنوعی

سه حادثه سایبری Anthropic؛ چرا ارزیابی آزمایشگاهی کافی نیست

Anthropic در ۳۰ ژوئیه ۲۰۲۶ سه حادثه واقعی را در کنار ارزیابی‌های امنیت سایبری خود بررسی کرد. هدف مقاله اعلام یک benchmark تازه نیست؛ نشان دادن فاصله میان محیط کنترل‌شده و استفاده واقعی است. مدل ممکن است در یک CTF رفتار خطرناک نشان ندهد، اما وقتی به ابزار، هدف،

۸ مرداد ۱۴۰۵3 دقیقه