Para reproducir en Linux los MKV con los subtitulos con sus estilos y demás se recomienda mplayer con cualquiera de sus diferentes guis. Lo ideal sería usar Smplayer.
No se recomienda ni VLC, ni Totem, ni Xine, ni cualquier mierda sacada de la nada.
Según la distro que se tenga, la instalación del mplayer y smplayer es de una forma u otra, pero basta con instalarlo para tenerlo listo funcionando.
En el caso de querer activar los OC (Orderd Chapters) habría que compilar mplayer y decirle a smplayer en las opciones que use el nuevo mplayer compilado.
El git de esto: http://repo.or.cz/w/mplayer-build.git
Es tan simple como:
git clone http://repo.or.cz/w/mplayer-build.git cd mplayer-build ./enable-mt (o ./disable-mt si no quieres usar la version multithread) ./init make
Dando por hecho que tienes todas las dependencias. Si te da problemas de dependencias, es mirar en google una compilación cualquiera del mplayer.