После смерти императора Лотаря II, не оставившего сыновей, немецкие князья должны были избирать нового короля. Претендентов было двое — зять умершего Генрих Вельф, герцог Баварский и Саксонский, и Конрад , которому его старший брат Фридрих, герцог Швабский, охотно уступил право представлять род Гогенштауфенов.

Если бы выборы происходили на общем съезде, первенство непременно досталось бы Генриху, поэтому Гогенштауфены предпочли действовать хитростью. За два месяца до назначенного срока папский легат Альбер и архиепископ Кельнский Арнольд собрали в Люце Кобленце съезд вельмож, на котором присутствовали в основном сторонники Гогенштауфенов. Здесь 7 марта Конрад был провозглашен королем, а через неделю короновался в Ахене. Этот выбор, впрочем, признали все владетельные князья. Генрих Вельф до июля медлил с выражением покорности, но увидев, что он остался в одиночестве, прислал Конраду знаки королевского достоинства, которые до этого хранились у него. В августе соперники увиделись на съезде в Аугсбурге. Но к миру эта встреча не привела. Конрад объявил, что государственные законы не дозволяют одному лицу владеть двумя герцогствами, и потому Генрих должен отказаться от Саксонии. Вельф отвечал, что будет оружием защищать свои владения. Опасаясь нападения, Конрад поспешно уехал из Аугсбурга, а на следующем съезде в Вюрцбурге Генрих был объявлен мятежником. Это событие послужило началом многолетней войне, в очередной раз расколовшей Германию на две партии.

В 1139 г. маркграф Альбрехт Медведьок. 110070, которого Конрад провозгласил герцогом Саксонским, и Леопольд, маркграф Австрийский, получивший от императора Баварию, безуспешно старались овладеть своими герцогствами. И баварцы, и саксонцы единодушно стояли за Вельфов. Генрих поразил обоих своих противников, а затем заставил отступить и самого императора. Но в октябре он внезапно заболел и скончался, оставив после себя десятилетнего сына Генриха Льва112996. После этого война пошла более успешно для короля. В 1140 г. Конрад осадил Вейнсберг — родовой замок Вельфов и разгромил под ним Вельфа, дядю маленького герцога. Затем после трудной осады принудил сдаться защитников замка. Всех мужчин он приказал казнить, а женщинам позволил уйти, взяв с собой то, что они смогут унести на плечах. Тогда женщины взяли своих мужей на плечи и пошли из замка. Фридрих не хотел пропускать мужей и говорил, что было дано разрешение нести имущество, а не людей. Но Конрад , засмеявшись, отвечал брату: «Королевское слово неизменно». По прошествии двух лет был заключен мир. В 1142 г. на франкфуртском съезде Генрих Лев отказался от Баварии и был утвержден в сане герцога Саксонского.

В конце 1146 г. император был увлечен проповедями святого Бернара и на съезде в Шпейере дал обет принять участие во Втором крестовом походе114749. Под его знамена для войны с неверными собралось более 70 тысяч рыцарей. В начале сентября 1147 г. византийский император Мануил переправил их в Азию. Обремененное огромным обозом и дурно устроенное войско медленно двинулось во Фригию. 26 октября, когда крестоносцы достигли Дорилеума, появилась турецкая конница. Рыцари тотчас бросились в бешеной скачке на неприятеля, но только напрасно утомили своих лошадей. Турки отклонились от первого натиска, но когда утомленные рыцари остановились, смело обрушились на них и нанесли немцам жестокое поражение. Тогда настроение крестоносцев совершенно переменилось. Конрад собрал военный совет, на котором решено было возвратиться к морю и дожидаться французских крестоносцев, которые во главе со своим королем Людовиком VII шли следом. Это отступление довершило поражение крестоносцев. Турки со всех сторон нападали на их войско, засыпая его стрелами. Конрад и князья несколько раз храбро бились с неприятелем врукопашную, император был ранен, но не смог спасти своей армии. Потери немцев были огромны, к тому же вышли все припасы. Голод и болезни уничтожили несколько десятков тысяч человек. Множество людей умерло уже в Никее от голода и перенесенных напряжений. Из уцелевших большая часть вернулась в Константинополь и на родину. Только небольшой отряд во главе с королем Конрадом имел достаточно решимости сделать новую попытку продолжить крестовый поход.

Вскоре к Никее подошло войско французских крестоносцев. Людовик очень приветливо встретил Конрада и постарался рассеять его печаль. Оба монарха решили действовать вместе. Через Пергам и Смирну крестоносцы добрались до Эфеса. Но тут перенесенные лишения дали себя знать, и Конрад серьезно заболел. Для отдыха он вернулся в Константинополь и провел здесь первые месяцы 1148 г. в шумных празднествах при византийском дворе. Поправив, сколько было можно, свое здоровье, император в апреле высадился с небольшим войском в Акконе. В Иерусалиме Конрада тоже приняли самым лестным образом. Молодой король Болдуин III114362 уговорил его не предпринимать осаду Эдессы (что собственно и было целью Второго крестового похода), а предложил крестоносцам поход на Дамаск. К этому предприятию присоединился вскоре король Людовик. Но, несмотря на то, что крестоносцы имели достаточно сил, осада Дамаска в июле окончилась ничем из за распрей между пришлыми крестоносцами и палестинскими христианами. В сентябре Конрад покинул Святую Землю и, полный горести и негодования на все пережитое, вернулся сначала в Константинополь, а оттуда весной 1149 г. отправился в Германию. Вскоре по возвращении он занемог.

В начале 1150 г. скончался его единственный сын Генрих. Поэтому, умирая, император рекомендовал избрать королем своего племянника Фридриха Барбароссу115290, герцога Швабского.