Hola,
¿eres nuevo aquí?

Regístrate gratis y conecta tu empresa con financiación pública, partners y proyectos.

Tengo cuenta

Regístrate

Ver video

LUMINOUS

Financiado

Cerrado

Language Augmentation for Humanverse

LUMINOUS aims at the creation of the next generation of Language Augmented XR systems, where natural language-based communication and Multimodal Large Language Models (MLLM) enable adaptation to individual, not predefined user nee... ver más

31/12/2026

DFKI

6M€

Presupuesto del proyecto: 6M€

Líder del proyecto

DEUTSCHES FORSCHUNGSZENTRUM FUR KUNSTLICHE IN... No se ha especificado una descripción o un objeto social para esta compañía.

TRL 4-5

Fecha límite participación Sin fecha límite de participación.

Financiación concedida El organismo HORIZON EUROPE notifico la concesión del proyecto el día 2024-01-01

HORIZON-CL4-2023-HUMAN-01-11: Next Generation Internet Fund (RIA) ExpectedOutcome:Proposals results are expected to contribute to the following expected outcomes:

I+D

Cerrada hace 1 año

0% 100%

Información adicional privada

No hay información privada compartida para este proyecto. Habla con el coordinador.

Participantes

DFKI

Lider

Proyectos interesantes

VOXReality

Virtual and Aug...

Software

5M€ Cerrado

UTTER

Software

Virtual and Aug...

4M€ Cerrado

SONICOM

Virtual and Aug...

Software

6M€ Cerrado

SHARESPACE

Virtual and Aug...

Artificial Inte...

6M€ Cerrado

PRESENT

Virtual and Aug...

Software

4M€ Cerrado

BraSILL

Virtual and Aug...

Software

226K€ Cerrado

Conecta tu I+D

¿Tienes un proyecto y buscas un partner? Gracias a nuestro motor inteligente podemos recomendarte los mejores socios y ponerte en contacto con ellos. Te lo explicamos en este video

Duración del proyecto: 35 meses Fecha Inicio: 2024-01-01
Fecha Fin: 2026-12-31

Líder del proyecto

DEUTSCHES FORSCHUNGSZENTRUM FUR KUNSTLICHE IN... No se ha especificado una descripción o un objeto social para esta compañía.

TRL 4-5

Presupuesto del proyecto 6M€

Fecha límite de participación Sin fecha límite de participación.

Descripción del proyecto LUMINOUS aims at the creation of the next generation of Language Augmented XR systems, where natural language-based communication and Multimodal Large Language Models (MLLM) enable adaptation to individual, not predefined user needs and unseen environments. This will enable future XR users to interact fluently with their environment, while having instant access to constantly updated global as well as domain- specific knowledge sources to accomplish novel tasks. We aim to exploit MLLMs injected with domain specific knowledge for describing novel tasks on user demand. These are then communicated through a speech interface and/or a task adaptable avatar (e.g., coach/teacher) in terms of different visual aids and procedural steps for the accomplishment of the task. Language driven specification of the style, facial expressions, and specific attitudes of virtual avatars will facilitate generalisable and situation-aware communication in multiple use cases and different sectors. LLMs will benefit in parallel in identifying new objects that were not part of their training data and then describing them in a way that they become visually recognizable. Our results will be prototyped and tested in three pilots, focussing on neurorehabilitation (support of stroke patients with language impairments), immersive industrial safety training, and 3D architectural design review. A consortium of six leading R&D institutes experts in six different disciplines (AI, Augmented Vision, NLP, Computer Graphics, Neurorehabilitation, Ethics) will follow a challenging workplan, aiming to bring about a new era at the crossroads of two of the most promising current technological developments (LLM/AI and XR), made in Europe.

Conecta tu I+D

Entra hoy

¿Olvidé mi contraseña?

Financiación

Empresas

CTIs/Universidades

Proyectos

Investigadores