PixelRAG؛ جست‌وجوی صفحات وب از روی تصویر به‌جای متن

PixelRAG رویکرد متفاوتی برای جست‌وجو و بازیابی اطلاعات از وب، فایل‌های PDF و تصاویر ارائه کرده است: به‌جای شکستن محتوا به قطعه‌های متنی، سند را به اسکرین‌شات‌های کوچک‌تر تبدیل می‌کند و جست‌وجو را مستقیماً روی آن‌ها انجام می‌دهد. برای شما مهم است چون اطلاعاتی مثل جدول، نمودار، اینفوگرافیک و جایگاه عناصر صفحه که در استخراج متنی ممکن است از بین بروند، در این فرایند حفظ می‌شوند.

#نکات کلیدی

• PixelRAG صفحات وب، PDFها و تصاویر را به کاشی‌های تصویری تبدیل می‌کند.
• جست‌وجو مستقیماً روی نمای بصری سند انجام می‌شود، نه فقط متن استخراج‌شده از HTML.
• یک نمایه آماده از ۸٫۲۸ میلیون مقاله ویکی‌پدیا در اختیار کاربران قرار گرفته است.
• این پروژه برای Claude Code افزونه‌ای به نام pixelbrowse دارد.
• کد پروژه متن‌باز است و با مجوز Apache-2.0 منتشر شده است.

#جست‌وجو بر اساس چیزی که واقعاً دیده می‌شود

سامانه‌های RAG مبتنی بر متن معمولاً ابتدا صفحه را تجزیه و محتوای آن را به قطعه‌های متنی تبدیل می‌کنند. مشکل این فرایند آن است که ساختار بصری صفحه، از جمله ارتباط میان ردیف‌ها و ستون‌های جدول، نمودارها، دکمه‌ها، تصاویر و چیدمان کلی، ممکن است در نسخه متنی باقی نماند.

پروژه متن‌باز PixelRAG تلاش می‌کند این مرحله را کنار بگذارد. این ابزار اسناد را همان‌طور که روی نمایشگر دیده می‌شوند رندر می‌کند، از آن‌ها اسکرین‌شات می‌گیرد و هر صفحه را به کاشی‌های تصویری قابل جست‌وجو تبدیل می‌کند. در نتیجه، مدل خواننده می‌تواند اطلاعات را مستقیماً از تصویر بازیابی‌شده بخواند.

این روش فقط برای صفحه‌های وب طراحی نشده است و سه نوع محتوای اصلی را پوشش می‌دهد:

• صفحه‌های وب و محتوای نمایش‌داده‌شده در مرورگر
• سندهای PDF با ساختار و چیدمان بصری
• فایل‌های تصویری که خودشان حاوی اطلاعات هستند

#PixelRAG زیر پوست چگونه کار می‌کند؟

PixelRAG دو بخش اصلی دارد. بخش نخست، اسناد را به تصویر تبدیل می‌کند؛ بخش دوم نیز برای هر تصویر یک نمایش عددی یا امبدینگ می‌سازد تا بتوان تصاویر مرتبط با یک پرسش را پیدا کرد. برای این مرحله از مدل Qwen3-VL-Embedding استفاده شده که با روش LoRA و داده‌های اسکرین‌شات تنظیم شده است.

نمایه‌های جست‌وجو با FAISS ساخته می‌شوند. وقتی کاربر پرسشی مطرح می‌کند، سامانه کاشی‌های تصویری مرتبط را از میان نمایه پیدا می‌کند و آن‌ها را در اختیار مدل بینایی قرار می‌دهد تا پاسخ از روی محتوای قابل‌مشاهده استخراج شود.

طبق ادعای پروژه، این روش در یک بنچمارک پرسش‌وپاسخ، عملکردی ۱۸٫۱ درصد بهتر از بهترین روش‌های RAG مبتنی بر متن داشته است. همچنین یک نمایه از ۸٫۲۸ میلیون صفحه ویکی‌پدیا به‌صورت سرویس میزبانی‌شده ارائه شده و جست‌وجو در آن می‌تواند با پرسش متنی یا حتی یک تصویر انجام شود.

#اضافه‌شدن چشم به Claude Code

PixelRAG افزونه‌ای برای Claude Code ارائه کرده که pixelbrowse نام دارد. این افزونه به Claude اجازه می‌دهد به‌جای دریافت HTML خام، با فرمان pixelshot از صفحه اسکرین‌شات بگیرد و نمودارها، دیاگرام‌ها، جدول‌ها و چیدمان آن را بررسی کند.

این قابلیت بدون سرور MCP یا بک‌اند جداگانه کار می‌کند و ابزار pixelshot را به‌صورت محلی، با Playwright و CDP، اجرا می‌کند. پشتیبانی مشابهی برای کاربران opencode نیز از طریق بسته pixelbrowse در نظر گرفته شده است.

در عمل، شما می‌توانید نشانی یک صفحه، مقاله arXiv یا وب‌سایت را در اختیار ابزار بگذارید تا نسخه بصری آن را رندر و بررسی کند. معرفی PixelRAG در شبکه اجتماعی X نیز بر همین تفاوت تأکید دارد: هدف، بهترکردن استخراج متن نیست؛ بلکه بازیابی اطلاعات از چیزی است که واقعاً روی صفحه نمایش داده می‌شود.

#این رویکرد برای توسعه‌دهندگان چه معنایی دارد؟

مزیت اصلی PixelRAG زمانی روشن می‌شود که پاسخ یک پرسش به ظاهر سند وابسته باشد. اگر عدد موردنظر داخل جدول، نمودار یا اینفوگرافیک قرار گرفته باشد، تبدیل صفحه به متن می‌تواند رابطه میان اجزای آن را خراب کند؛ اما نگه‌داشتن تصویر، این ارتباط بصری را حفظ می‌کند.

از سوی دیگر، این معماری به ساخت و نگه‌داری نمایه‌های تصویری نیاز دارد. مخزن پروژه برای بخش‌های رندر، ساخت نمایه، تولید امبدینگ، آموزش و ارائه سرویس، اجزای جداگانه‌ای دارد تا توسعه‌دهندگان فقط قسمت‌های موردنیازشان را نصب و اجرا کنند.

#جمع‌بندی

PixelRAG می‌خواهد جست‌وجوی اسناد را از محدودیت متن خالص بیرون بیاورد و ظاهر صفحه را هم به بخشی از اطلاعات قابل‌بازیابی تبدیل کند. اگر با جدول‌ها، نمودارها، PDFها یا صفحه‌هایی سروکار دارید که چیدمانشان اهمیت دارد، این پروژه نمونه‌ای جدی از RAG بصری و پیکسل‌محور است که ارزش بررسی دارد.