Cloudflare lanzó Clef-omni, un modelo abierto de Inteligencia Artificial que procesa audio y video junto con texto e imágenes para responder preguntas con opciones predefinidas. La herramienta está disponible en Workers AI, el servicio de la compañía para ejecutar modelos, y sus archivos están publicados para instalarla en infraestructura propia.
La incorporación permite enviar una grabación y los fotogramas de un video en una misma consulta. El modelo entrega probabilidades para las alternativas permitidas por la aplicación. La propuesta apunta a clasificación, evaluación y otros pasos de automatización que requieren resultados estructurados.
“Nuestro nuevo modelo Clef-omni puede recibir audio, video, imágenes y texto”, indicó Cloudflare en su anuncio. La compañía también redujo el precio de Clef-flash y aceleró el servicio alojado de Clef, dos integrantes anteriores de la misma familia.
Clef-omni reúne sonidos e imágenes en una sola consulta
Un ejemplo presentado por Cloudflare combina una fotografía de un equipo, una grabación de su funcionamiento y un video del ventilador. La aplicación pregunta si la etiqueta está visible, si el sonido parece normal y si el ventilador gira. Cada condición tiene respuestas delimitadas, en lugar de exigir un informe redactado libremente.
La documentación admite audio en WAV o MP3 y video en MP4 o WebM. En una grabación audiovisual, el sonido se alinea con los fotogramas para procesarlos juntos. Esto permite construir tareas que antes requerían transcribir la voz o separar la información visual y sonora antes de consultar otro modelo.
Clef-omni se basa en Qwen3-Omni-30B-A3B, de la familia Qwen de Alibaba. Su arquitectura activa solo una parte de sus componentes en cada procesamiento. Cloudflare publicó los pesos, los archivos que contienen los parámetros del modelo, bajo la licencia Apache 2.0.
El enfoque pertenece a la categoría de modelos de decisiones. La aplicación define las preguntas y las alternativas aceptadas; la respuesta devuelve probabilidades que el programa puede utilizar para clasificar, derivar una solicitud o pedir revisión.
El modelo cuesta US$0,15 por millón de tokens de entrada
Workers AI cobra US$0,15 por millón de tokens de entrada para Clef-omni y no cobra tokens de salida. Texto, imágenes, audio y video se convierten en esas unidades de procesamiento para calcular el uso. La documentación establece un límite de contexto de 64.000 tokens por consulta.
Para acceder mediante el servicio se requiere una cuenta de Cloudflare y una credencial autorizada para Workers AI, además de integrar las consultas desde una aplicación. La alternativa de alojarlo por cuenta propia exige equipos adecuados. La ficha del modelo describe una prueba en una tarjeta NVIDIA H200 y alrededor de 64 GB de memoria gráfica para su configuración de referencia.
La rebaja de Clef-flash corresponde a otro producto. Su tarifa bajó de US$0,09 a US$0,038 por millón de tokens de entrada, pero la capacidad de contexto del servicio alojado se redujo de 64.000 a 24.000 tokens. Cloudflare mantuvo los archivos abiertos de ese modelo y su configuración para ejecución propia.
Para Clef, la compañía informó mejoras de velocidad mediante cambios en la infraestructura de ejecución, sin publicar nuevos pesos. En su comparación, las consultas de unas 3.400 unidades de entrada redujeron la latencia mediana de 616 a 305 milisegundos.
Los resultados de calidad publicados por Cloudflare también varían por tarea. Clef-omni obtuvo mejores puntuaciones que los otros modelos de la familia en clasificación de intenciones, pero quedó por debajo de Clef-flash en una evaluación sobre equipos domésticos. Esa diferencia afecta la elección del modelo cuando una aplicación incorpora nuevas entradas audiovisuales.
El servicio admite hasta cuatro grabaciones de audio y dos videos por solicitud. Cada video puede durar hasta 60 segundos. Los archivos deben enviarse dentro de la consulta, no mediante enlaces remotos, y su procesamiento comparte el límite de contexto con las preguntas y el texto.
