Задача
Создать приложение для первого образовательного проекта Skyeng на платформе SberPortal, используя игровой подход и AR/VR для привлечения целевой аудитории.
Решение
Мы разработали:
- Дизайн приложения — от базовых UI-элементов и игровых локаций (карта мира, стран, игровых уровней) до сложных анимаций персонажа.
- Голосовой дизайн приложения и таксономию эмоций персонажа.
- Логику и механику игры:
- Синхронизировали озвучку и анимацию персонажа в игре.
- Настроили навигацию внутри приложения (переходы между локациями и уровнями).
- Провели сложную интеграцию с библиотекой распознавания карточек, разработанной Sber AR/VR Lab.
- Интегрировали backend-сценарий для внедрения голосового управления в игру.
- Научили игру распознавать голосовые команды игрока и выполнять действия по этим командам.
- Спроектировали принципы взаимодействия между игрой, сторонними сервисами и игроками.
- Разработали систему монетизации в приложении.
Результаты
В «Английском с Элом» ребёнок осваивает первые 135 английских слов с помощью карточек и общения с виртуальным героем. Система распознаёт речь ребёнка (с британским и американским акцентом) и карточки под камерой, помогая ему в изучении иностранного языка. Он отправляется в увлекательное путешествие с марсианином Элом, посещая консервативный Лондон и королевский Букингемский дворец, демократичную Америку и красочную Бразилию.
