Pues sí, el problema está en el ISP. Deberías llamar a tu proceedor de servicio de internet.
También, es posible que el modem, si ya tiene unos años, se esté muriendo.
Explícales que haces streaming y notaste que en los últimos días se ha degradado el protocolo rtmp para esto. Como se trata de una conexión punto a punto es necesario que el servicio sea estable. Que hay momentos en que aparenta mejorar pero luego cae otra vez. Que tu utilizas Twitch para transmitir. Y cualquier otra info que te parezca sirva para que el que atiende el teléfono le pase el tema al área técnica donde sí hay personal que sabe.
Sugerencia, no uses retraso de transmisión, no ayuda y cuasa que tu computadora use recursos para esto en lugar de mejorar la calidad del codificado. La relación de aspecto que sea estándar (1280x720).
Sí podrías probar habilitar optimizaciones de red para ver si con esto ayuda a estabilizarlo un poco.