ترکیب Jev و Claude Opus؛ دقت نزدیک با یکچهارم هزینه
Hightouch با سپردن موارد مبهم Jev به Claude Opus، به دقتی نزدیک به Opus رسید. هزینه این روش برای هر هزار قضاوت ۰٫۸۸ دلار بود؛ کمتر از یکچهارم هزینه استفاده مستقیم از Opus.
تهیهشده با کمک هوش مصنوعی از منابع ذکرشده

فهرست مطالب۵ بخش
تیم Hightouch برای ارزیابی نتایج تطبیق هویت، Jev را با Claude Opus ترکیب کرده است. در این روش، Jev بیشتر قضاوتها را انجام میدهد و مواردی را که اطمینان کمتری به آنها دارد، به Opus میسپارد. طبق آزمایش Hightouch، دقت این ترکیب به Opus نزدیک بود، اما هزینه هر هزار قضاوت از ۳٫۸۶ دلار به ۰٫۸۸ دلار کاهش یافت.
#نکات کلیدی
- Jev بهتنهایی با هزینه ۰٫۰۵ دلار برای هر هزار قضاوت، به دقت ۹۵٫۶ درصد رسید.
- Claude Opus دقت ۹۹ درصدی داشت، اما هزینه هر هزار قضاوت آن ۳٫۸۶ دلار بود.
- در روش ترکیبی، مواردی که امتیاز اطمینان Jev برای آنها بین ۳۰ تا ۹۰ درصد بود، به Opus ارجاع داده شدند.
- ترکیب Jev و Opus با هزینه ۰٫۸۸ دلار برای هر هزار قضاوت، دقت ۹۸٫۸ درصدی ثبت کرد.
- در آزمایش دشوارتر، دقت روش ترکیبی ۹۵٫۳ درصد و دقت Opus بهتنهایی ۹۵٫۱ درصد بود.
#تشخیص ادغام اشتباه هویتها
آزمایش Hightouch درباره داوری مدلهای زبانی به ارزیابی نتایج «تطبیق هویت» میپردازد؛ فرایندی که رکوردهای پراکنده را به افراد واقعی نسبت میدهد. برای نمونه، خریدها و اطلاعات ثبتشده در منابع مختلف باید به هویت درست هر مشتری متصل شوند.
یکی از خطاهای مهم در این فرایند، «ادغام بیش از حد» است. این خطا زمانی رخ میدهد که سامانه، رکوردهای متعلق به چند فرد را بهاشتباه زیر یک هویت قرار دهد. ارزیابی نتیجه نیز آسان نیست، زیرا در دادههای واقعی معمولاً پاسخنامهای وجود ندارد که مشخص کند هر رکورد دقیقاً به چه کسی تعلق دارد.
بررسی دستی زمان زیادی میبرد. Hightouch میگوید یک فرد در هر ساعت حدود ۵۰ هویت را ارزیابی میکند. از طرف دیگر، چون ادغامهای اشتباه در یک مجموعهداده سالم نسبتاً کمیاباند، نمونههای کوچک برآورد دقیقی از نرخ خطا ارائه نمیکنند. استفاده از مدلها میتواند امکان بررسی نمونههای بیشتری را فراهم کند.
#Jev چه چیزی را ارزیابی کرد؟
Jev از مدلهای تصمیمگیری است که برای درستبودن یک شرط، امتیاز اطمینانی بین صفر و یک برمیگرداند. در این آزمایش، Jev باید مشخص میکرد آیا رکوردهای هر پروفایل به یک فرد تعلق دارند یا اطلاعات چند نفر بهاشتباه با یکدیگر ادغام شدهاند.
Hightouch برای ساخت مجموعه آزمایش از ابزار «Pseudopeople» استفاده کرد؛ ابزاری از مؤسسه سنجش و ارزیابی سلامت دانشگاه واشینگتن که یک شهر خیالی در آمریکا و رکوردهای ساکنان آن را از چند منبع شبیهسازی میکند. سپس خطاهایی مانند اشتباه تایپی، جابهجایی روز و ماه، استفاده از نام مستعار، خالیبودن بعضی فیلدها و تغییر نشانی به دادهها افزوده شد.
مجموعه اولیه هزار هویت داشت:
- نیمی از نمونهها شامل رکوردهای همراه با خطای یک فرد بودند.
- نیم دیگر از ادغام اشتباه رکوردهای چند فرد ساخته شده بودند.
در این ارزیابی، Jev بهتنهایی با هزینه ۰٫۰۵ دلار برای هر هزار قضاوت، دقت ۹۵٫۶ درصدی داشت. دقت Opus به ۹۹ درصد رسید، اما هزینه همان تعداد قضاوت برای آن ۳٫۸۶ دلار بود.
#ارجاع موارد مبهم به Opus
در روش ترکیبی، Opus تمام نمونهها را بررسی نمیکند. اگر امتیاز اطمینان Jev بین ۳۰ تا ۹۰ درصد باشد، آن مورد برای داوری به Opus فرستاده میشود؛ Jev نیز قضاوت درباره نمونههای خارج از این بازه را بر عهده میگیرد.
این ترکیب دقت ۹۸٫۸ درصدی را با هزینه ۰٫۸۸ دلار برای هر هزار قضاوت ثبت کرد. به این ترتیب، دقت آن به نتیجه ۹۹ درصدی Opus نزدیک شد، در حالی که هزینهاش کمتر از یکچهارم بود. Hightouch همچنین گزارش کرده است که روش ترکیبی سریعتر از استفاده مستقیم از Opus بود، هرچند عدد مشخصی برای مقایسه سرعت در متن ارائهشده وجود ندارد.
در آزمایش دشوارتر، روش ترکیبی به دقت ۹۵٫۳ درصد رسید و Opus بهتنهایی دقت ۹۵٫۱ درصدی ثبت کرد. اختلاف ۰٫۲ واحد درصدی این دو نتیجه کوچک است، اما در همان آزمایش، ترکیب Jev و Opus دستکم همسطح Opus عمل کرد.
#اهمیت امتیاز اطمینان
نتیجه آزمایش Hightouch به کیفیت امتیاز اطمینان Jev وابسته است. اگر مدل ارزانتر بتواند نمونههای مبهم را بهدرستی تشخیص دهد، میتوان قضاوتهای روشنتر را به آن سپرد و مدل گرانتر را فقط برای موارد دشوار به کار گرفت. بر پایه نتایج منتشرشده، این تقسیم کار در آزمایش Hightouch هزینه را کاهش داد، بدون آنکه افت محسوسی در دقت ایجاد کند.
مطالب مرتبط
برای ادامه مطالعه
این یادداشتها بر اساس موضوع مشترک، همپوشانی برچسبها و تازگی انتشار انتخاب میشوند.

Cinecode؛ ساخت ویدیوی MP4 از یک ایده با Claude Code
ایدهتان را در یک جمله مینویسید و Cinecode سناریو، تصویر و صدا را آماده میکند. خروجی نهایی هم یک فایل MP4 است.


دیدگاهها
اولین نفری باش که دیدگاه میذاره
دیدگاهها پس از بررسی منتشر میشوند. ایمیل شما نمایش داده نمیشود.