Ya en el siglo XI había aquí una fortaleza más pequeña. En 1142, el conde de Trípoli entregó el recinto a la orden de los hospitalarios, que en los 130 años siguientes lo convirtieron en uno de los castillos más fuertes de su época.

El castillo tiene dos recintos amurallados: una muralla exterior con torres redondas rodea el castillo interior, situado más arriba. Entre ambos hay un foso y un estanque. La larga subida en curvas estaba pensada para que los atacantes apenas pudieran avanzar.

En 1271, el sultán Baibars tomó el castillo y lo reforzó aún más. Desde 2006, el Krak de los Caballeros es Patrimonio de la Humanidad de la UNESCO junto con el castillo de Saladino. El viajero T. E. Lawrence lo llamó «quizá el castillo mejor conservado y más admirable del mundo».