مدل زبانی بزرگ  SpatialLM برای درک فضا   به Hugging Face اضافه شد.

این مدل مدت‌ها به‌عنوان یک پروژه تحقیقاتی وجود داشته، اما اکنون آماده و قابل استفاده است—از پیش آموزش‌دیده و  متن‌باز.

چیزی که جالب است، نحوه عملکرد آن و اینکه چطور درک فضا را درک می‌کند.

📍 مدل زبانی SpatialLM ورودی بصری (مانند یک ویدیوی ساده از گوشی) را دریافت کرده، آن را به یک ابر نقطه‌ای سه‌بعدی بازسازی می‌کند و سپس آن را از طریق یک مدل زبانی بزرگ (LLM) پردازش می‌کند.

اما این مدل فقط کلمات را پردازش نمی‌کند—بلکه از دانش معنایی خود برای تفسیر هندسه استفاده می‌کند.

پس به جای اینکه بگوید "این یک شکل مسطح است"، می‌گوید:

"این یک دیوار است. یک در به آن متصل است. این یک مبل است که در این جهت قرار دارد و این ابعاد را دارد."

و اینجا متوقف نمی‌شود. خروجی آن به‌صورت داده‌های ساخت‌یافته و قابل‌خواندن توسط ماشین ارائه می‌شود. برای مثال:

Bbox = Bbox(“sofa”, position=(2.9,1.6,3.7), size=(1.7,0.8,1.8))

فقط اشیا را شناسایی نمی‌شود—بلکه صحنه‌ها را به فرمت‌های قابل‌برنامه‌نویسی تبدیل می‌شود. یک سطح کاملاً جدید از درک فضایی!

این نوع ترکیب واقعاً  هیجان‌ انگیزه: ترکیب بینایی + زبان + ساختار

فقط شناسایی اشیا نیست، بلکه استدلال درباره فضاست.
فقط پیکسل‌ها نیستند، بلکه معنا وجود دارد.

می‌توانیم ببینیم که این فناوری چگونه باعث پیشرفت واقعیت افزوده (AR)، رباتیک، نقشه‌برداری داخلی و موارد دیگر خواهد شد.