OBS (Open Broadcaster Software) is free and open source software for video recording and live streaming. Stream to Twitch, YouTube and many other providers or record your own videos with high quality H264 / AAC encoding.
obsproject.com
Separa en una nueva escena la captura de pantalla.
Por otro lado, es normal que suceda esto dada la naturaleza de la codificación. Lo que veo es que estás forzando al codificador un poco mucho.
Prueba bajando los kbps a 30000 o 20000, preajuste P5 y ajuste alta calidad.
O mucho mejor, no uses al modo de salida avanzado, déjalo en simple seleccionando p5 como preajuste.