300 мільярдів фотографій Pokémon Go навчають роботів доставки орієнтуватися

Від ловлі Пікачу до доставки піци — це один із найнеочікуваніших шляхів комерціалізації краудсорсингових даних.

Автор: Вілл Дуглас Хевен

Переклад: Глибока хвиля TechFlow

**Глибока хвиля: ** Niantic перетворила 300 мільярдів міських фотографій, зроблених гравцями Pokémon Go, на новий бізнес. Її AI-дочка Niantic Spatial використала ці дані для тренування системи візуального позиціонування, здатної до сантиметрової точності, що значно перевищує можливості GPS у міських каньйонах. Першим великим клієнтом стала компанія-робототехніка доставки Coco Robotics. Від ловлі Пікачу до доставки піци — це один із найнеочікуваніших шляхів комерціалізації краудсорсингових даних.

Повний текст:

Pokémon Go — це перша у світі феноменальна AR-гра. Випущена у 2016 році дочірньою компанією Google Niantic, ця гра, побудована на IP Pokémon і доповнена технологією доповненої реальності, швидко стала глобальним явищем. Від Чикаго до Осло і Джіон-джіо, гравці виходили на вулиці, щоб зловити Ватту, Дженнігу або (якщо пощастить) рідкісного Галарського блискавичного птаха — вони парили над реальним світом, майже торкаючись його.

Простими словами, це означає, що мільйони людей тримають у руках смартфони і фотографують безліч будівель. «П’ять мільярдів людей за 60 днів встановили цю програму», — каже технічний директор Niantic Spatial Браян Маккліндон. Niantic Spatial — це AI-компанія, яка була виділена у травні минулого року. За даними компанії Scopely (яка у той же час придбала Pokémon Go у Niantic), у 2024 році у цій грі ще понад 100 мільйонів активних гравців, і з моменту запуску минуло вже 8 років.

Зараз Niantic Spatial використовує цей безпрецедентний краудсорсинговий скарб — сотні мільйонів фотографій міських пам’яток із смартфонів гравців Pokémon Go із точним геолокаційним маркуванням — для створення моделі світу (World Model). Це сучасний тренд у технологіях, мета яких — закріпити інтелект LLM у реальному світі.

Останній продукт компанії — модель, яка за кількома знімками будівлі або інших орієнтирів може точно визначити ваше місцезнаходження на карті з точністю до кількох сантиметрів. Вони прагнуть використати її для допомоги роботам у навігації в місцях із поганим GPS.

Як перший масштабний тест технології, Niantic Spatial щойно уклала партнерство з Coco Robotics. Це стартап із розгортанням роботів для доставки останнього кілометра у кількох містах США та Європи. «Усі вважають, що AR — це майбутнє, і вже скоро з’являться AR-окуляри», — каже Маккліндон, «але перші в цьому плані — роботи».

Від Пікачу до доставки піци

Coco Robotics розгорнула близько 1000 роботів у Лос-Анджелесі, Чикаго, Джерсі-Сіті, Маямі та Гельсінкі. Вони — приблизно з валізу — можуть вмістити до 8 великих піц або 4 пакети продуктів. За словами CEO Заха Раша, ці роботи вже виконали понад 500 000 доставок і проїхали мільйони миль у різних погодних умовах.

Щоб конкурувати з людськими кур’єрами, їхні роботи (які рухаються по тротуарах зі швидкістю близько 8 км/год) мають бути досить надійними. «Найкращий спосіб — це точно дотримуватися запланованого часу прибуття», — каже Раш. Це означає, що вони не повинні заблукати.

Проблема Coco — залежність від GPS. У місті радіосигнали відбиваються від будівель і заважають один одному, сигнал GPS слабкий. «Ми доставляємо у густонаселених районах з висотними будівлями, підземними переходами та мостами, де GPS майже не працює», — каже Раш.

«Міські каньйони — це місця, де GPS працює найгірше у світі», — додає Маккліндон. «На телефоні синя точка часто коливається на 50 метрів, і ти потрапляєш у інший квартал, інший напрямок, на інший бік дороги». Це — проблема, яку має вирішити Niantic Spatial.

За останні роки компанія обробляла дані з Pokémon Go і Ingress (попередньої AR-гри Niantic 2013 року), створюючи систему візуального позиціонування — за допомогою зображень визначати, де ти знаходишся. «Зробити Пікачу реальним і щоб Coco-роботи безпомилково проходили містом — це одна й та сама проблема», — каже CEO Niantic Spatial Джон Ханке.

«Візуальне позиціонування — це не нова технологія», — каже Конрад Венцель із компанії ESRI, що спеціалізується на цифрових картах і геопросторовому аналізі. «Але очевидно, що чим більше камер зовні, тим краще воно працює».

Niantic Spatial використала 300 мільярдів знімків міського середовища для тренування моделі. Ці знімки особливо зосереджені навколо «гарячих точок» — важливих місць у грі, наприклад, арен для бою Pokémon. «Ми маємо понад мільйон точок по всьому світу, де можемо точно визначити ваше місцезнаходження», — каже Маккліндон. «Ми знаємо, де ви стоїте, з точністю до кількох сантиметрів. І важливо — ми знаємо, в якій ви орієнтації».

Результат — для кожної з цих мільйонів точок у Niantic Spatial є тисячі знімків із різних ракурсів, у різний час і за різної погоди. Кожне фото містить детальні метадані: точне місце розташування смартфона, напрямок, позу, швидкість, рух і так далі.

Компанія тренує модель на цьому наборі даних, щоб вона могла за допомогою «зображень» точно визначати своє місцезнаходження — навіть у місцях, де даних мало або їх немає, за межами «гарячих точок».

Крім GPS, роботи Coco (з 4 камерами) тепер використовують цю модель для визначення свого місцезнаходження і цілей. Камери розташовані на стегнах і дивляться у всі боки, з кутом огляду, що відрізняється від Pokémon Go. Але Раш каже, що адаптація даних — не складна.

Конкуренти також застосовують системи візуального позиціонування. Наприклад, стартап Starship Technologies, заснований у 2014 році в Естонії, стверджує, що його роботи створюють 3D-карти навколишнього середовища за допомогою сенсорів, позначаючи краю будівель і ліхтарі.

Але Раш вірить, що технологія Niantic Spatial дасть Coco конкурентну перевагу. Вона дозволить точно зупинити робота біля ресторану, щоб він не заважав перехожим, і поставити його біля дверей клієнта, а не за кілька метрів. Це — те, що раніше траплялося часто.

Краховий прорив робототехніки

Коли Niantic Spatial почала розробляти систему візуального позиціонування, її мета була застосувати її у AR, — каже Ханке. «Якщо ви носите AR-окуляри і хочете, щоб віртуальний світ був прив’язаний до того, що ви бачите, потрібен якийсь спосіб це зробити. Але зараз ми спостерігаємо революцію у робототехніці».

Деякі роботи мають працювати поруч із людьми, наприклад, на будівельних майданчиках і тротуарах. «Щоб роботи могли безпечно інтегруватися у ці середовища, вони мають мати схоже з людським розуміння простору», — каже Ханке. «Коли їх штовхають або вони зіштовхуються, ми можемо допомогти їм точно визначити своє місцезнаходження».

Партнерство з Coco Robotics — лише початок. Ханке каже, що Niantic Spatial створює «живу карту» (Living Map) — високоточну віртуальну модель світу, яка оновлюється разом із реальністю. У міру руху роботів Coco та інших компаній по всьому світу вони постачатимуть нові дані для покращення цієї карти.

На думку Ханке і Маккліндона, карти стають не лише більш деталізованими, а й дедалі більше використовуються машинами. Це змінює їхнє призначення. Зі звичайних інструментів для орієнтації людини карти перетворюються на щось більше — на описовий гід для машин. Niantic Spatial і ESRI прагнуть додати до карт описові атрибути, щоб машини розуміли, що вони бачать, і кожен об’єкт мав свої характеристики. «Задача цього часу — створити корисний світовий опис для машин», — каже Ханке. «Дані, які ми маємо, — це хороша основа для розуміння того, як працює зв’язок у світі».

Зараз світові моделі дуже популярні, і Niantic Spatial це добре розуміє. LLM здається, що вони все знають, але при цьому майже не мають здорового глузду у взаємодії з реальним світом. Саме для цього потрібна світова модель. Деякі компанії, наприклад Google DeepMind і World Labs, розробляють моделі, що здатні миттєво створювати віртуальні світи для тренування AI-агентів.

Niantic Spatial підходить до цієї задачі з іншого боку. Створюючи максимально деталізовану карту, ти зрештою зможеш зафіксувати все, — каже Маккліндон. «Ми ще не досягли цього, але прагнемо. Зараз я дуже зосереджений на тому, щоб намагатися відтворити реальний світ».