Délayez la levure de boulanger en poudre le lait tiède. Mélangez délicatement, couvrez et laissez reposer 10 min.
Tamisez ensemble la farine et le sel dans une jatte, ajoutez le sucre. Creusez un puits, versez-y la levure délayée, ajoutez les œufs et le beurre en parcelles. Incorporez progressivement, pour former une pâte coulante. Déposez dans une jatte légèrement huilée et laissez lever environ 1 h sous un linge : la pâte doit doubler de volume.
Rompez la pâte en la travaillant quelques instant à la spatule, puis incorporez les raisins secs. Beurrez un moule à savarin et versez-y la pâte. Laissez lever à couvert encore 45 min.
Préchauffez le four à 180 °C (th. 6). Enfournez pour 40 min. Pendant ce temps, préparez le sirop : mélangez dans une casserole le jus d'orange, le jus de citron, le sucre en poudre et 10 cl d’eau. Ajoutez la gousse de vanille fendue et grattée. Portez à frémissements, laissez réduire 2 min. Coupez le feu et ajoutez le rhum (sauf pour des enfants, bien sûr).
À la sortie du four, démoulez délicatement le baba, déposez-le dans un plat creux, puis arrosez-le de sirop encore chaud. Laissez imbiber au moins 20 min, en l’arrosant régulièrement avec le sirop.