Rongier is afkomstig uit de jeugdopleiding van FC Nantes. Hij debuteerde op 18 oktober 2014 in de Ligue 1, tegen Stade de Reims.[3] Op 3 januari 2015 maakte de middenvelder zijn eerste treffer, in een bekerwedstrijd tegen Club Franciscain.[4] Zijn eerste competitietreffer volgde op 17 oktober 2015 tegen Troyes AC.[5] Rongier groeide in het seizoen 2016/17 uit tot basisspeler bij Nantes, waarvoor hij in ruim vijf seizoenen 119 wedstrijden in de Ligue 1 speelde. Hij eindigde in de goede jaren net in het linker rijtje met zijn ploeggenoten, in de wat mindere een paar keer vlak boven de degradatieplaatsen.
Rongier begon het seizoen 2019/20 nog bij Nantes, maar tekende na drie speelronden bij Olympique Marseille, de nummer vijf van het voorgaande seizoen. Hier was hij zijn plaats niet meteen zeker, maar na verloop van tijd verbeterde dit. Hij eindigde in zijn eerste seizoen met Marseille op de tweede plaats in de Ligue 1. Als gevolg daarvan debuteerde hij in 2020/21 in de Champions League. Marseille werd vierde in een poule met Manchester City, FC Porto en Olympiakos Piraeus. Een jaar later plaatste Marseille zich niet voor de Champions League, maar bereikten Rongier en de zijnen wel de halve finale van de UEFA Europa Conference League.[6] Een tweede en derde plaats in 2021/22 en 2022/23 betekende wel weer deelname aan de Champions League.