Tengo entendido que cuando se ejecuta OBS ya comienza a codificar, por lo que en todo momento está usando todas las fuentes de la escena, por esto la carga en el sistema.
Deberías activar el Windows Game Mode ya que ayuda a mejorar el desempeño de los juegos:
OBS (Open Broadcaster Software) is free and open source software for video recording and live streaming. Stream to Twitch, YouTube and many other providers or record your own videos with high quality H264 / AAC encoding.
obsproject.com
Los codificadores suelen estar optimizados para trabajar con fps estandar, ya sea 30 o 60.
Ejecuta OSB como admin.
En una de las fuentes de navegador, o panel personalizado, estás utilizando un componente que llama a un sitio que causa un error.
16:40:24.380: obs-browser: E: TypeError: Cannot read properties of undefined (reading 'settings') (source:
https://cdn.ribbonapp.com/ribbon.js?rid=781a845558dd49658488c7bd998bd68a:1)
Para grabar es recomendable utilizar CQP en lugar de CBR o VBR.
Nivel de CQ entre 23 y 15, siendo el número menor la mejor calidad. Para no complicarte podrías usar el modo de salida sencillo y elegir una de las opciones que aparecen en Calidad de grabación ya que elige lo mejor. Para el resultado buscado.
Tu computadora debería poder manejar sin problemas 1080p a 60fps para grabación o stream.
Verifica que no exista algún proceso que interfiera con la grabación o stream. Te recomendaría que actives el antivirus, y que revises la computadora por malware.
También, que no esté atascado de polvo los ventiladores y disipadores, si no el calor puede causar estragos.