V-JEPA 2: El nuevo cerebro visual que aprende el mundo para anticiparlo

Por Kike Gandia · IA y Seguridad · 4 min de lectura

V-JEPA 2: El nuevo cerebro visual que aprende el mundo para anticiparlo

¿Y si una IA pudiera imaginar lo que va a ocurrir sin haberlo visto nunca antes? Esa es la promesa de V-JEPA 2, el nuevo modelo de Meta AI que no solo “ve”, sino que comprende la física del mundo. En QuantumSec llevamos años anticipando la convergencia entre IA, ciberdefensa y autonomía. V-JEPA 2 marca un punto de inflexión: un modelo que no depende de etiquetas, sino de razonamiento físico aprendido a través del vídeo. Y eso lo cambia todo

¿Qué es V-JEPA 2 y por qué importa para seguridad e IA aplicada?

V-JEPA 2 (Video Joint Embedding Predictive Architecture, versión 2) es un modelo autosupervisado de vídeo que aprende las leyes físicas del entorno a través del razonamiento predictivo en espacios latentes. Pero a diferencia de otros modelos, no predice píxeles. Predice representaciones abstractas — tubelets — que codifican movimiento, gravedad, oclusión, permanencia de objetos y estructura espacial.

Esto lo convierte en un «modelo de mundo», una categoría aún escasa pero extremadamente prometedora. ¿Por qué? Porque permite anticipar lo que va a pasar. No solo describir lo que está pasando. Un salto cualitativo que transforma la robótica, la vigilancia autónoma, el control predictivo y la toma de decisiones en sistemas físicos.

Cómo funciona V-JEPA 2

El modelo se entrena en dos fases:

  1. Fase 1 — Preentrenamiento sin acciones
    Más de 1 millón de horas de vídeo y 1 millón de imágenes. El objetivo es aprender las dinámicas del entorno prediciendo representaciones enmascaradas del futuro visual, no imágenes completas.
  2. Fase 2 — Fine-tuning con acciones (V-JEPA 2-AC)
    Entrenado con 62 horas de vídeos de robots del dataset DROID. Aprende a vincular acciones con consecuencias futuras, lo que permite usar controladores tipo MPC —control predictivo por modelo— para imaginar múltiples trayectorias y escoger la más eficaz.

No predice píxeles: predice tubelets, representaciones abstractas que codifican movimiento, gravedad, oclusión, permanencia de objetos y estructura espacial.

Aplicación directa: control robótico sin necesidad de reentrenamiento

Con V-JEPA 2, un robot puede realizar tareas de manipulación física en entornos desconocidos sin entrenamiento específico ni aprendizaje por refuerzo. Ejemplos probados por Meta:

  • 80% de éxito en tareas de pick-and-place en nuevas escenas.
  • Robots que actúan solo con visión y simulación latente, sin recompensas explícitas.
  • Planificación con inferencias rápidas para ejecución en tiempo real.
80%
de éxito en tareas de pick-and-place (en escenas nuevas, sin entrenamiento específico)
1 M h
de vídeo en el preentrenamiento
62 h
de vídeos de robots en el fine-tuning (dataset DROID)

Esto es crucial en entornos adversarios, como los que tratamos en QuantumSec:

  • Intervención en infraestructuras físicas sin conexión previa.
  • Operaciones de seguridad en instalaciones remotas o no mapeadas.
  • Robots defensivos o agentes autónomos con autonomía de razonamiento.

Benchmark: supera a modelos anteriores en casi todo

+8% Something-Something V2
Acción-movimiento: ocho puntos por encima del anterior estado del arte.
27% → 39,7% EPIC Kitchens
Anticipación en vídeo, la mejora más grande del conjunto.
~84 y 76,9 Perception Test y TempCompass
Precisión alcanzada en cada uno.

V-JEPA 2 no solo es bueno prediciendo movimiento: también anticipa intención y estructura del mundo físico.

Esto muestra que V-JEPA 2 no solo es bueno prediciendo movimiento, sino también anticipando intención y estructura del mundo físico.

Implicaciones para seguridad, autonomía y defensa

Desde el punto de vista de QuantumSec, V-JEPA 2 representa una evolución clave hacia:

Anticipación Agentes ciberfísicos predictivos
Capaces de anticipar amenazas físicas antes de que ocurran.
Intervención Robots de inspección autónomos
En escenarios de conflicto, sabotaje o contención: nuclear, industrial, SCADA.
Simulación Amenazas físicas en entornos virtuales
Como parte de un sistema de defensa proactiva.
Engaño Honeypots físicos dinámicos
Sistemas que adaptan su comportamiento en tiempo real según las predicciones del entorno.

V-JEPA 2 abre la puerta a modelos que no solo detectan anomalías, sino que las predicen antes de que se manifiesten.

V-JEPA 2 abre la puerta a modelos que no solo detectan anomalías, sino que las predicen antes de que se manifiesten.

Comparativa con LLMs: inteligencia visual vs. inteligencia textual

Mientras los LLMs como GPT trabajan sobre lenguaje y patrones simbólicos, V-JEPA 2 opera sobre el mundo físico. No hay texto, sino razón espacial, dinámica y visual. Esto lo convierte en el complemento perfecto para sistemas de IA integrados. En QuantumSec prevemos arquitecturas duales:

Modelo de lenguaje (LLM) inteligencia textual

  • Trabaja sobre lenguaje y patrones simbólicos.
  • Razonamiento, estrategia, instrucciones.

Modelo visual y espacial inteligencia física

  • Opera sobre el mundo físico: razón espacial, dinámica y visual.
  • Anticipación física, percepción, control.

La arquitectura dual que el artículo prevé: el futuro de los agentes autónomos no es textual, es multimodal y predictivo.

El futuro de los agentes autónomos no es textual: es multimodal y predictivo. Y este es el primer paso serio en esa dirección.

Acceso y experimentación

Meta ha liberado el código y los pesos de V-JEPA 2:

  • 🧠 Repositorio GitHub
  • 🧪 Checkpoints en HuggingFace.
  • 🧰 Ejemplos PyTorch para inferencia, clasificación y predicción latente.

En QuantumSec ya estamos evaluando la integración con agentes de defensa activos en simuladores físicos, y conectores MPC para tareas industriales.

V-JEPA 2 no solo observa. Intuye. Aprende sin etiquetas, predice sin pixeles, actúa sin instrucciones. Estamos entrando en una nueva era de inteligencia visual con capacidad de razonamiento físico. Y en el ámbito de la seguridad, esto lo cambia todo.

Desde QuantumSec estamos explorando su integración en escenarios de:

  • Reconocimiento visual autónomo en amenazas críticas.
  • Robótica defensiva con control predictivo.
  • Simulación de entornos hostiles para entrenamiento de agentes.

La guerra, la defensa y la automatización no serán dominadas por quien vea más datos, sino por quien los anticipe antes. Y V-JEPA 2 es el primer paso hacia ese dominio predictivo.

En una frase. V-JEPA 2 no solo observa: intuye. Aprende sin etiquetas, predice sin píxeles y actúa sin instrucciones.

Servicio relacionado

Pentesting de inteligencia artificial y LLMs

Temas de este artículo

#AI #Ciberseguridad-OT-ICS-marítima #Computer-Vision #Inteligencia-Artificial

Seguir leyendo

Auditar nuestros sistemas de IA