Google добавила в Gemini Live режим Guided Vision для чтения текста и описания объектов
Google запускает Guided Vision в Gemini Live на совместимых Android-устройствах. Функция использует камеру смартфона и даёт голосовые описания происходящего в реальном времени.
Пользователь может поделиться камерой с Gemini Live и попросить ИИ помочь прочитать мелкий текст, описать окружение, найти или определить объекты в кадре.
Guided Vision работает как визуальный слой поверх обычного диалога с Gemini Live: модель получает изображение с камеры и отвечает аудиоописанием того, что видит.
Для разработчиков это показательный пример мультимодального интерфейса, в котором камера становится входом для разговора с ИИ в реальном времени.
Для вайбкодера это пример того, куда движутся мультимодальные ИИ-инструменты: вместо отдельного распознавания изображения можно строить сценарии, где пользователь показывает объект или экран камере и сразу получает голосовой ответ от модели.
Черновик этой заметки подготовила нейросеть по ленте первоисточника. Мы помечаем такие материалы честно — факты и цифры сверяйте по ссылке на источник выше. Как мы работаем с данными.