« Robert, surnommé le Magnifique par les grands, et le Diable par le peuple, avait usurpé la couronne ducale de Normandie en empoisonnant son frère Richard III, avec les principaux barons. A force d'énergie et de courage, il écrasa les résistances que son crime avait soulevées.... En 1035, pris de remords, il alla chercher à Jérusalem le repos de sa conscience.... On voit encore au-dessous de Rouen, dans un des plus beaux sites de la Normandie, une colline qui porte quelques ruines informes. Ce sont les débris du château de Robert le Diable, qui, au dire des légendes, fut hanté par les mauvais esprits : et ce serait non loin de là que Jean sans Terre aurait poignardé son neveu. » (V. Duruy).

C'est la pénitence de Robert le Diable qui a donné lieu au proverbe. Il ne faut donc pas dire : quand le diable devient vieux il se fait ermite, — puisque le diable, le mauvais esprit, n'entre pour rien dans l'origine de ce proverbe. Il faut dire : Quand le Diable devint vieux il se fit ermite.