Przez kilkanaście następnych lat krzyżacy nie mogli dorównać potęgą i znaczeniem templariuszom oraz joannitom. W szeregach nowego zakonu walczyło niewielu braci rycerzy. Nie odgrywał ten zakon również większej roli militarnej i politycznej. W Niemczech, po nagłej śmierci Henryka VI, toczyła się wojna domowa między wybranymi równocześnie dwoma królami, dlatego nikt nie interesował się niemieckim bractwem rycerskim na Wschodzie.
Sytuacja krzyżaków uległa zmianie dopiero za rządów czwartego wielkiego mistrza zakonu, Hermana von Salza (1209?1239). Ten zdolny polityk z Turyngii, człowiek o niespożytej energii, roztropny i bystry, konsekwentny i zapobiegliwy, potrafił wykorzystać każdą okazję, aby dla swego zakonu uzyskać od papieża i cesarza przywileje i prawa wyjątkowe. Wyzyskał wszystkie możliwości, aby powiększyć posiadłości zakonu i rozszerzyć wpływy krzyżaków. Był twórcą potęgi zakonu. Za jego rządów krzyżacy rozpoczęli budowę państwa zakonnego nad Bałtykiem.
Sukcesem Hermana von Salza było uzyskanie dla krzyżaków licznych przywilejów papieskich: Honoriusz III (1216?1227) w stu trzynastu dokumentach (bullach) w ciągu kilku zaledwie lat zrównał krzyżaków z templariuszami i joannitami. Był to sukces zdumiewający. Dzięki talentom dyplomatycznym wielkiego mistrza Hermana von Salza ? wspartych protekcją cesarza Fryderyka II ? młody zakon uzyskał błyskawicznie to, o co dwa inne zakony rycerskie długo zabiegały.
Dobroczyńca zakonu krzyżackiego cesarz Fryderyk II (1211?1250), jeden z najwybitniejszych władców niemieckich w średniowieczu, kontynuował politykę swego dziada Fryderyka I Barbarossy i ojca ? Henryka VI. Krzyżaków uczynił Fryderyk II swymi współpracownikami i wykonawcami swoich planów politycznych. Kiedy w roku 1225 Fryderyk II ożenił się z czternastoletnią Izabelą, dziedziczką Królestwa Jerozolimskiego, i nabył w ten sposób prawa do korony królestwa łacinników na Wschodzie, krzyżacy byli tam oparciem dla jego rządów. W czasie głośnej krucjaty Fryderyka II (1228?1229), na którą cesarz wyruszył jako władca wyklęty przez papieża, tylko krzyżacy przyłączyli się do wojsk cesarskich. Templariusze, joannici, duchowieństwo świeckie i większość możnych panów Królestwa Jerozolimskiego ? zgodnie i otwarcie wystąpili wówczas przeciw Fryderykowi II. Mimo to krucjata wyklętego cesarza odniosła sukces. Drogą układów ? a nie walki z muzułmanami ? uzyskał Fryderyk II od sułtana zwrot części dawnego terytorium Królestwa Jerozolimskiego razem z trzema świętymi miastami: Jerozolimą, Betlejem i Nazaretem. Po 42 latach Jerozolima była znów w rękach chrześcijan. Utracili ją ponownie w 1244 roku
Wielki mistrz krzyżacki Herman von Salza był zaufanym doradcą cesarza i jego najbliższym współpracownikiem; brał udział w najważniejszych wydarzeniach politycznych i kościelnych swego czasu. Dzięki talentom politycznym łagodził Herman von Salza zatargi między cesarzem a papieżem. W roku 1224 na polecenie Fryderyka II pośredniczył w sporze politycznym króla duńskiego Waldemara II z sąsiednimi książętami niemieckimi. W czasie tej podróży dyplomatycznej zwrócił Herman von Salza uwagę na pogańskie jeszcze kraje nad Bałtykiem, które mogły stać się terenem działań i podbojów zakonu krzyżackiego. Skłonił też cesarza Fryderyka II, by skierował do tych ludów pogańskich manifest wzywający do przyjęcia chrztu i prawdziwej wiary.
Człowiek tak roztropny jak Herman ? komentuje ten fakt Karol Górski, znakomity badacz dziejów zakonu krzyżackiego ? me mógł żywić złudzeń co do wrażenia, jakie manifest wywrze na analfabetach pogańskich. Ale był to punkt wyjścia przyszłej krucjaty, którą ? dodajmy ? można było podjąć przeciw poganom, stawiającym opór chrystianizacji.
Wierną służbę krzyżaków nagradzał cesarz Fryderyk II sowicie. W kwietniu 1221 roku zezwolił przekazywać zakonowi dobra lenne korony, chociaż ? według obowiązującego wówczas prawa ? nie można było tego czynić. W grudniu następnego roku (1222) Fryderyk II ogłosił, iż likwidacji ulegają wszelkie długi zaciągnięte przez człowieka, który zostaje krzyżakiem. W ten sposób ułatwiał zakonowi powiększenie liczby braci. Płaszcz krzyżacki przyjmowało zresztą w XIII stuleciu coraz więcej rycerzy. Liczne posiadłości zakonu, jego rosnące bogactwo i wpływy uczyniły zakon krzyżacki zgromadzeniem bardzo atrakcyjnym.
Współpraca krzyżaków z Fryderykiem II naraziła zakon na konflikt z papiestwem. Kiedy po śmierci życzliwego cesarzowi Honoriusza III papieżem został energiczny i wojowniczy starzec, ponad siedemdziesięcioletni Grzegorz IX (1227?1241), Fryderyk II został wyklęty. A trzeba pamiętać, iż klątwa papieska w średniowieczu miała zwykle poważne konsekwencje polityczne: zwalniała ludzi od posłuszeństwa ekskomunikowanemu władcy i dawała podstawę prawną dla działania opozycji. Krzyżaków, którzy stali po stronie wyklętego cesarza, ukarał Grzegorz IX nakazem poddania się władzy joannitów (1229). Polecenie papieskie nie zostało jednak wykonane. Krzyżacy nie mieli najmniejszego zamiaru ani ochoty tracić swej samodzielności. Joannici zaś słusznie obawiali się oporu licznego już wówczas zakonu rycerzy niemieckich. Wkrótce energiczna akcja mediacyjna wielkiego mistrza Hermana von Salza nie tylko uchroniła krzyżaków od kary papieskiej, ale doprowadziła również do zawarcia pokoju (1230) między Grzegorzem IX a Fryderykiem II.
Ponowne wyklęcie Fryderyka II w 1239 roku ? już po śmierci wielkiego mistrza Hermana von Salza ? doprowadziło do wojny domowej w Niemczech i we Włoszech. A walki te zaś spowodowały upadek dynastii Sztaufów. Wszystko to nie pozostało bez wpływu na zakon krzyżacki.
Oto krótko po rozpoczęciu walki z cesarzem, papież Grzegorz IX ponownie nakazał krzyżakom poddać się władzy joannitów. Zagroził też niemieckiemu zakonowi cofnięciem wszystkich przywilejów, jeśli nie zaprzestaną popierać wyklętego cesarza. W Królestwie Jerozolimskim doszło wówczas (1241) do otwartej wojny między krzyżakami a templariuszami, którzy stanęli po stronie papieża. W samym zakonie rycerzy niemieckich doszło do rozłamu, podziału na dwie grupy. Jedną tworzyli zwolennicy cesarza Fryderyka II i jego następców z rodu Sztaufów. Drugą ? stronnicy opozycji przeciw Sztaufom, współpracującej z papiestwem.
Dzieje sporów wewnętrznych krzyżaków są w źródłach zakonnych jedynie wzmiankowane ? co jest sprawą oczywistą ? i dużo tu niejasności. W każdym razie widoczny jest kryzys władzy: wielcy mistrzowie krzyżaccy zmieniają się wówczas szybko, a dostojnicy zakonu znajdują się we wrogich obozach politycznych. Wielki mistrz Gerard von Malberg, który w 1242 roku był posłem cesarskim w Rzymie i bezskutecznie próbował doprowadzić do rozwiązania konfliktu, przeszedł dwa lata później (1244) do zakonu templariuszy, którzy byli wówczas największymi wrogami zakonu krzyżackiego. Stronnikiem Sztaufów był wielki mistrz Henryk von Hohenlohe (1244? 1249) i prawdopodobnie jego następca, Gunter von Wiillersleben (1249?1252), wybrany na wielkiego mistrza po długich sporach. Natomiast grupie rycerzy zakonnych, związanych ze stronnictwem przeciwników dynastii Sztaufów, przewodził wówczas mistrz krajowy pruski Dytryk von Grunningen (1246?1259), który sprawował również jakiś czas urząd mistrza krajowego Niemiec. Dytryk von Grunningen stanął po stronie papieskiej i popierał gorliwie wszystkich antykrólów niemieckich. Jemu też zawdzięczali krzyżacy to, iż papiestwo nadal opiekowało się zakonem, a groźby Grzegorza IX nie zostały spełnione.
Kryzys wewnętrzny zakonu trwał jeszcze za rządów wielkiego mistrza Poppona von Osterna (1252?1256). W tym samym bowiem czasie działał drugi wielki mistrz krzyżacki. Był nim Wilhelm von Urenbach, znany tylko z jednego dokumentu, który wystawił w Wenecji w 1253 roku. Do grupy jego zwolenników należał między innymi komtur z Koblencji i kasztelan Montfort, wysocy urzędnicy krzyżaccy. Jak z tego widać spory i konflikty w zakonie krzyżackim musiały być ostre, skoro jednocześnie urzędowało dwóch wielkich mistrzów. Nie wiemy jednak o tych antagonizmach nic bliższego. Skutkiem ich była rezygnacja Poppona von Osterna, który w roku 1256 złożył w Rzymie urząd wielkiego mistrza krzyżackiego. Jego następca, Anno von Sangershausen (1256?1273) konflikty wewnętrzne przezwyciężył. Jednakże mimo kryzysu krzyżacy w Prusach prowadzili nadal podbój kraju.