Posiblemente tengas un controlador de video desactualizado o roto por algún lugar.
Prueba realizando una instalación limpia:
https://obsproject.com/forum/resources/performing-a-clean-gpu-driver-installation.65/
También, es posible que debeas actualizar Windows 10. El último parche le dió algunos problemas a una persona, pero fue la única que reportó esto por lo que entiendo no es algo generalizado.
Así mismo, es necesario un archivo de registro:
Reinicia OBS y haz una prueba de transmisión o grabación de al menos 30 segundos haciendo todo lo que normalmente haces, incluyuendo juegos, cámaras en pantalla completa y cualquier cosa que hagas.
Ahora mira en el menú Ayuda. Carga el archivo de registro actual y copia/pega aquí el URL a dicho archivo de registo. Mientras esperas, en esa misma ventana para cargar hay un botón de Analizar. Presiona este botón y ve resolviendo problemas comunes que aparecen en el registro.