Nel 783 sposò Worms Fastrada, figlia del conte Rodolfo, di famiglia franca austrasica. Da essa ebbe due figlie (Teoderada e Iltrude). Fastrada era una donna dura e crudele. Pare che sia stata lei la causa di un grave malcontento in Germania e della ribellione di Hardrad, duca di Turingia, che nel 785 tentò di uccidere Carlo Magno e spingere i Germani all'indipendenza. Più tardi, nel 792, una nuova congiura fù tentata da Pipino il gobbo, nato dal matrimonio di Carlo Magno con Imiltrude, forse perchè non era contento della sua condizione di inferiorità rispetto ai figli che Carlo Magno aveva avuto con Ildegarda. Si ritiene che il diverso atteggiamento di Carlo Magno verso i suoi figli fu influenzato dalla malvagia Fastrada. Pipino riunì attorno a sè molti personaggi franchi con l'intento di uccidere il padre e impadronirsi del trono. La congiura fù scoperta dal longobardo Fardulfo, che per ricompensa ricevette da Carlo Magno l'abazia di Saint-Denis. Pipino il gobbo e i suoi complici furono giudicati nella dieta di Rotisbona. Pipino fù chiuso nell'abbazia di Prüm, dove muorì nell'811, gli altri complici furono variamente puniti. Nel 794 morì Fastrada a Francoforte.