En sí, todo el sistema se basa en un simple script de GreaseMonkey el cual, hará que en vez de cagar el reproductor flash, arranque el VLC o el Mplayer-plugin para, así, reproducir dicho video dentro del mismo firefox.

Para lograr ésto, solo necesitamos tener el mplayer-plugin, el VLC-mozilla-plugin o alguno similar, junto GreaseMonkey para instalar el script. Entocnes, una vez instalado, simplemente entramos a Youtube y veremos como el video se carga dentro de dichos plugins. Así de fácil!

Actualización: @Cineadanruiz10 me comenta que en Opera también funciona el script perfectamente.