Modelado en
Música y Sonido

Qué es

Modelos que aprenden un espacio latente continuo y estructurado. Los VAE codifican audio en distribuciones, permitiendo interpolación y manipulación. Los Flows usan transformaciones invertibles para generación paralela.

Cómo funciona

1. Un encoder comprime el audio en parámetros (μ, σ) de una distribución latente
2. Se muestrea z ~ N(μ, σ²) usando el reparameterization trick
3. Un decoder reconstruye audio/MIDI desde z
4. La loss combina reconstrucción + regularización KL
5. En Flows: transformaciones invertibles permiten cálculo exacto de likelihood
6. Nota: Normalizing Flows (WaveGlow, FloWaveNet) son exactamente invertibles con likelihood tractable. Flow Matching / Rectified Flows (usados en modelos modernos tipo difusión) entrenan trayectorias de transporte óptimo — más flexibles y escalables, pero sin invertibilidad estricta.

Fortalezas

• Interpolación suave entre estilos y atributos musicales
• Espacio latente interpretable; control sobre generación
• VQ-VAE/RVQ: base de tokenizadores para modelos de lenguaje

Falencias

• Reconstrucciones "borrosas" (VAE vanilla)
• Posterior collapse: el decoder ignora z

Condicionamiento típico

• Clase de instrumento, género, atributos musicales (en el espacio latente)

Qué es

Un framework adversarial donde un generador transforma ruido en audio, y un discriminador evalúa la autenticidad. Ambas redes mejoran en competencia.

Cómo funciona

1. Se muestrea un vector de ruido latente z ~ N(0, I)
2. El generador G(z) produce un espectrograma o waveform
3. El discriminador D(x) clasifica real vs. generado
4. Se optimiza min-max: G minimiza y D maximiza la distinción
5. En equilibrio, G produce audio indistinguible del real

Fortalezas

• Generación rápida en paralelo (no secuencial)
• Alta calidad perceptual para vocoders (MelGAN, HiFi-GAN)

Falencias

• Mode collapse: poca variedad en las muestras generadas
• Entrenamiento inestable, sensible a hiperparámetros

Condicionamiento típico

• Mel-espectrograma (vocoders: MelGAN, HiFi-GAN), pitch/clase (GANSynth)

Qué es

Un paradigma que integra componentes clásicos de síntesis de audio (osciladores armónicos, ruido filtrado, reverberación) como operaciones diferenciables dentro de una red neuronal.

Cómo funciona

1. Se analiza el audio de entrada: pitch (f₀), loudness, y opcionalmente timbre
2. Una red neuronal predice parámetros de síntesis a partir de estas features
3. Componentes diferenciables generan audio: oscilador harmónico + ruido + filtro
4. La loss se calcula sobre espectrogramas multi-escala (spectral loss)
5. El modelo aprende a reconstruir/transferir timbres con control explícito

Fortalezas

• Control explícito sobre pitch, timbre y dinámica — interpretable
• Transferencia de timbre en tiempo real (Tone Transfer)
• Mucho más eficiente que modelos puramente neurales

Falencias

• Limitado a sonidos quasi-harmónicos (no percusión compleja)
• Requiere buen tracking de pitch como entrada

Condicionamiento típico

• f₀ (pitch), loudness, z_timbre — control explícito sobre síntesis

Qué es

Un modelo que genera secuencias de forma secuencial, prediciendo cada elemento basándose en todos los anteriores. Hay dos regímenes principales:

• AR en waveform (sample-level): genera muestra a muestra directamente (WaveNet, SampleRNN). Máxima fidelidad, extremadamente lento.
• AR sobre códigos discretos (codec tokens): genera tokens de VQ-VAE/RVQ (AudioLM, MusicGen, Jukebox). Opera en espacio comprimido, mucho más rápido y escalable.

Cómo funciona

1. El audio se tokeniza (MIDI, VQ-VAE codes, espectro discretizado)
2. Un modelo (RNN, Transformer) aprende P(tₙ | t₁…tₙ₋₁)
3. En generación, se muestrea token a token
4. Los tokens se decodifican a audio (synthesizer, vocoder)
5. El contexto crece con cada paso → memoria limitada

Fortalezas

• Excelente coherencia local y continuidad melódica
• Escala bien con datos; base de los LLM musicales modernos

Falencias

• Repetición o "wandering" en piezas largas
• Generación lenta (secuencial por naturaleza)

Condicionamiento típico

• Texto (MusicGen, MusicLM), melodía/audio (priming), género/artista (Jukebox)

Qué es

Un modelo que aprende a revertir un proceso de corrupción gradual con ruido. En generación, parte de ruido puro y lo refina paso a paso hasta obtener audio coherente.

Cómo funciona

1. Forward: se agrega ruido gaussiano gradualmente al audio real (T pasos)
2. Se entrena una red (U-Net, DiT) para predecir el ruido en cada paso
3. Reverse: partiendo de ruido puro, se aplica denoising iterativo
4. Opcionalmente se condiciona con texto, clase o audio (classifier-free guidance)
5. Waveform diffusion (DiffWave, WaveGrad): opera directamente sobre audio crudo — alta fidelidad, alto costo. Latent diffusion (AudioLDM2, Stable Audio): opera en espacio comprimido (VAE/codec latent), lo que reduce costo computacional y permite mayor duración.

Fortalezas

• Alta calidad y diversidad; no sufre mode collapse
• Condicionamiento flexible (texto, imagen, audio)

Falencias

• Generación lenta (muchos pasos de denoising)
• Límites en duración/coherencia temporal larga

Condicionamiento típico

• Texto (AudioLDM2, Stable Audio), audio/melodía (in-painting), clase/tempo/acorde (Mustango)

Qué es

Codecs neurales de audio (EnCodec, SoundStream, DAC) que comprimen audio en secuencias de tokens discretos usando Residual Vector Quantization (RVQ). Son la capa de discretización que permite que modelos de lenguaje operen sobre audio.

Cómo funciona

1. Un encoder convolucional comprime el audio a baja tasa temporal (~50-75 Hz)
2. RVQ cuantiza la representación: Q₁ captura la estructura gruesa, Q₂ el residuo de Q₁, etc.
3. Cada nivel de cuantización usa un codebook de ~1024 entradas
4. Los IDs del codebook son los "tokens" de audio (típicamente 4–32 niveles RVQ)
5. Un decoder reconstruye audio desde los tokens cuantizados

Qué se preserva vs. qué se pierde

• Se preserva: pitch, timbre general, estructura armónica, envolvente dinámica
• Se pierde: fase exacta, micro-timing fino, detalles de ruido, stereo imaging (parcial)
• A mayor bitrate (más niveles RVQ), menor la pérdida perceptual

Por qué importan

• Permiten que modelos AR (AudioLM, MusicGen) generen audio como si fuera "texto"
• Son la base del espacio latente para difusión latente (AudioLDM, Stable Audio)
• Definen el cuello de botella: la calidad del codec limita la calidad final

Modelos clave

• SoundStream (Google, 2021): primer codec neural con RVQ end-to-end
• EnCodec (Meta, 2022): codec de alta calidad, usado en AudioLM y MusicGen
• DAC (Descript, 2023): mejora en calidad musical y menor bitrate

Qué es

Modelos entrenados con datasets etiquetados (AudioSet, 2M+ clips) para clasificar eventos sonoros, géneros, instrumentos. Producen embeddings reutilizables como subproducto.

Cómo funciona

1. El audio se convierte a mel-espectrograma (ventanas de ~1s)
2. Una CNN (MobileNet, VGG16) procesa cada ventana
3. Una capa final predice probabilidades sobre 521+ clases de audio
4. Se entrena con cross-entropy sobre etiquetas de AudioSet
5. Las activaciones intermedias sirven como embeddings transferibles

Fortalezas

• Clasificación robusta de eventos sonoros a gran escala
• Embeddings pre-entrenados reutilizables para downstream tasks

Falencias

• Requiere grandes datasets etiquetados (costoso)
• Sesgo del dataset: sub-representación de géneros/culturas
• No captura relaciones temporales largas

Qué es

Modelos que aprenden representaciones de audio sin etiquetas humanas, usando señales de supervisión derivadas de los propios datos: parches ocultos, features acústicas/musicales como teachers, y augmentaciones contrastivas.

Paradigmas de SSL

1. Masked prediction: se ocultan patches del espectrograma y el modelo los reconstruye. Aprende contexto y estructura (SSAST, EncodecMAE)
2. Teacher–Student multi-tarea: un teacher provee targets acústicos y musicales. Los targets concretos incluyen: CQT (espectro armónico), chromagram (perfil de pitch), MFCC (envolvente tímbrica), onset strength (ataques rítmicos), y codebook IDs de HuBERT/Encodec. El student aprende a predecirlos simultáneamente, obteniendo representaciones multi-nivel (MERT, MuQ, MusicFM)
3. Contrastivo intra-modal: augmentaciones del mismo audio se acercan; audios diferentes se alejan. Aprende invarianzas útiles (SoniDo)

Fortalezas

• No requiere etiquetas manuales — escala con datos no curados
• Representaciones transferibles a múltiples tareas downstream
• Captura estructura jerárquica: acústica (capas tempranas) → semántica (capas tardías)

Falencias

• Sensible a augmentaciones y selección de teacher
• Puede aprender atajos (shortcuts) en vez de semántica real
• Masked models dependen de la granularidad del tokenizer

Qué es

Modelos que alinean representaciones de audio con otras modalidades (texto, imagen) en un espacio de embeddings compartido. Permiten búsqueda cross-modal y clasificación zero-shot.

Cómo funciona

1. Un encoder de audio y un encoder de texto procesan sus inputs en paralelo
2. Ambos producen embeddings en el mismo espacio de dimensión fija
3. Se entrena con loss contrastiva: pares (audio, texto) correctos se acercan
4. Pares incorrectos se alejan en el espacio compartido
5. En uso: similitud coseno para retrieval, clasificación sin ejemplos previos

Fortalezas

• Zero-shot classification sin necesidad de fine-tuning
• Búsqueda cross-modal: encontrar audio desde texto y vice versa

Falencias

• Dependencia de la calidad de las descripciones textuales
• Sesgo hacia el dominio del dataset de entrenamiento
• Granularidad limitada en la descripción musical

Qué es

Un enfoque analítico: se toman las representaciones intermedias de modelos SSL y se evalúa con sondas simples qué tipo de información musical codifican en cada capa.

Cómo funciona

1. Se congela un modelo pre-entrenado (MERT, MuQ, MusicFM)
2. Se extraen embeddings capa por capa
3. Una sonda lineal simple se entrena para cada tarea (pitch, género, timbre…)
4. Se compara rendimiento por capa → mapa de especialización
5. Hallazgo clave: acústico → temprano, semántico → tardío

Fortalezas

• Revela estructura interna: guía la selección de capas
• Permite uso eficiente de modelos grandes sin fine-tuning completo

Falencias

• Probes demasiado simples pueden subestimar información codificada
• Resultados dependen del benchmark y dataset utilizado

Qué es

El proceso de generar representaciones vectoriales de audio usando modelos SSL pre-entrenados (como MuQ) y analizar su estructura temporal. Los embeddings capturan información musical que permite descubrir la forma de una pieza.

Pipeline de análisis

1. Se descarga o carga un audio (WAV 16kHz mono)
2. Se pasa por un modelo pre-entrenado (MuQ) para obtener embeddings por frame
3. Se calcula la matriz de auto-similitud coseno entre todos los frames
4. Se construye la recurrence matrix (k-NN binarizada, librosa)
5. Agglomerative clustering detecta secciones musicales (verso, estribillo, puente…)
6. La curva de novedad muestra cambios: picos = transiciones de sección

Qué revela

• La diagonal principal = auto-similitud (siempre alta)
• Bloques fuera de la diagonal = secciones que se repiten (forma ABA, AABB…)
• La curva de novedad marca transiciones entre secciones