On dit, par exception, Se rappeler de, lorsque le mot suivant est un verbe à l'infinitif. Je me rappelle de lui avoir donné de l'argent.