La instalación en Windows tampoco es muy complicada. Explicaré como compilar en Microsoft Visual C++ 6, para otros programas debe de ser algo parecido. Primero debemos de bajarnos de la web de SDL el paquete "SDL-devel-1.2.7-VC6.zip". Estos están preparados para trabajar con Visual C++ 6. Una vez descargados los descomprimimos en C:\SDL-1.2.7. Esto dependerá de la versión, si hay una versión superior no dudes en barjarla.
Ahora nos toca configurar Visual C++ 6 para poder trabajar con SDL. Para ello abrimos el programa y creamos un nuevo proyecto. Pulsamos en "Win32 Application" y le ponemos un nombre.

Una vez creado nos vamos a las opciones del proyecto en el menú. Nos vamos a la pestaña C/C++ y en el combo "Category" seleccionamos "Code Generation", luego en el combo "Use run-time librery" seleccionamos "Multithreaded DLL".

Luego seleccionamos en el combo "Category" "Preprocessor" y en la caja "Additional include directory" colocamos el directorio include donde hayamos incluidos las librerías.

Para finalizar las opciones le damos a la pestaña "Link" y en el combo "Input" dentro de la caja "Object librery modules", al final colocamos todas las librerías (archivos .lib) que vayamos a necesitar. Aquí incluimos tanto las SDL como las extensiones de SDL_Mixer, SDL_Image y SDL_TTF. Por último en la caja "Additional library path" colocamos el directorio de las librerías.

Una vez colocadas todas las opciones insertamos un nuevo archivo a nuestro proyecto seleccionando "C++ source file" y le colocamos el nombre.

Ya nada mas que tenemos que insertar el código del programa de prueba que está en la sección de "Instalación de Linux" para probar que todo funciona sin problemas.