В конце мая 1027 г. Конрад снова был в Германии. Здесь опять взялся за оружие и нашел себе союзников в мятеже герцог Эрнст Швабский, вероломно изменивший своим обещаниям, данным на аугсбургском съезде, где он получил от Конрада прощение.

Конрад назначил ему в Ульме день суда для разбора распри с ним на новом княжеском съезде. Эрнст самоуверенно явился туда в сопровождении многочисленной свиты, однако он не знал настроения, преобладавшего в этой свите.

Участвовавшие в ней лица заявили, что ленные обязательства к герцогу не обязывают их идти против короля, который защищает их свободу действий.

 При этом почти сразу выяснилась успешность политики Конрада, без особых усилий давшей ему в руки большую власть. Он поднял вопрос о наследственности ленного владения и пытался эту основу видоизменить выгодно для короля.

Разумеется, вассал должен был чувствовать себя гораздо более свободным, зная, что после его смерти сюзерен не будет иметь права безусловно распоряжаться его леном. Ввиду такого оборота герцог Эрнст подчинился королю и был посажен в заточение.

Герцогством Швабией Конрад стал управлять сам, а Баварию, оставшуюся к этому времени без герцога, передал своему сыну Генриху.

И младшему Конраду также пришлось покориться; он тоже попал в заточение. В том же году бургундский король Рудольф III признал сына Конрада Генриха своим наследником. В пасху 1028 г. этот 11-летний мальчик был коронован в Аахене.

Не так удачны были войны Конрада на востоке, которыми преимущественно был занят ближайший год.