Dès le 11e siècle, une forteresse plus petite se dressait à cet endroit. En 1142, le comte de Tripoli a remis l'ensemble à l'ordre des Hospitaliers, qui en ont fait au cours des 130 années suivantes l'un des châteaux les plus puissants de leur époque.
Le château se compose de deux enceintes : un mur extérieur avec des tours rondes entoure le château intérieur, situé plus haut. Entre les deux se trouvent un fossé et un bassin. La longue montée sinueuse était conçue pour que les assaillants avancent à peine.
En 1271, le sultan Baybars a pris le château et l'a encore renforcé. Depuis 2006, le Krak des Chevaliers est inscrit au patrimoine mondial de l'UNESCO avec le château de Saladin. Le voyageur T. E. Lawrence l'a qualifié de « peut-être le château le mieux conservé et le plus admirable du monde ».