Als Dreizehnjähriger wurde Rydzek im Oktober 2005 erstmals in einem FIS-Rennen eingesetzt, das er auf dem 52. Rang beendete. Im darauffolgenden Jahr konnte er den 32. Rang in diesem Rennen erreichen. Bei einem Junioren-Rennen im März 2007 wurde er Fünfter; noch im gleichen Jahr schaffte er einen 13. Rang in einem FIS-Rennen. 2007 wurde er zudem deutscher Jugendmeister im Einzelwettbewerb. Im Januar 2008 gelang Rydzek schließlich seine erste Podestplatzierung in einem FIS-Rennen, als er in Baiersbronn zunächst Vierter in der Gundersen-Methode und dann sogar Zweiter im Sprint wurde. Nun setzte ihn der deutsche Verband auch als C-Kader-Athlet im B-Weltcup ein, wo er gleich in seinem ersten Wettkampf 16. wurde. Dieses Ergebnis verbesserte er im März des Jahres noch, indem er sich auf Rang Sechs in Eisenerz platzierte. Zudem gewann er die Gesamtwertung des Deutschland-Pokals und beide Titel bei den Deutschen Jugendmeisterschaften.
Im Sommer 2008 nahm Rydzek erfolgreich am Sommer-Grand-Prix teil, wo er bei einer Station Sechster wurde. Zudem feierte er im Oktober einen Doppelsieg beim Alpencup in seinem Geburtsort.[1] Da der Weltcupathlet Christian Beetz zu Saisonbeginn 2008/09 verletzt ausfiel, wurde Rydzek als Athlet aus dem C-Kader für ihn zum Saisonauftakt in Kuusamo nominiert und erreichte dort überraschend einen 15. Rang. Im Laufe der Saison konnte er sich im Weltcup etablieren und sich wiederholt in den Punkterängen platzieren. Sein bestes Saisonresultat erreichte er in Vikersund, wo er sich als Siebenter erstmals in den Top Ten platzieren konnte. Bei den Juniorenweltmeisterschaften 2009 im slowakischenŠtrbské Pleso errang er die Bronzemedaille mit der Mannschaft sowie die Silbermedaille im regulären Einzelwettkampf.
In der Saison 2010/11 konnte er sich mit mehreren Top-Ten-Resultaten endgültig in der Weltspitze etablieren. Beim Weltcup in Ramsau feierte er mit Platz drei seine erste Podiumsplatzierung. Bei den Juniorenweltmeisterschaften im estnischen Otepää gewann er den Weltmeistertitel über die Zehn-Kilometer-Distanz. Im Wettbewerb über fünf Kilometer gewann er die Silbermedaille.
Bei den Nordischen Skiweltmeisterschaften in Oslo 2011 gewann Rydzek Silber mit dem Team in beiden Mannschaftswettbewerben sowie in der Einzelentscheidung von der Großschanze. Hierbei setzte er sich im Endspurt gegen seinen Landsmann Eric Frenzel durch, musste sich aber dem französischen Olympiasieger Jason Lamy Chappuis knapp geschlagen geben. Am 12. März 2011 gewann er beim Saisonfinale in Lahti sein erstes Weltcuprennen, als er sich im Sprint erneut gegen Frenzel durchsetzte. Im Gesamt-Weltcup erreichte er mit Rang sechs seine bis dahin beste Platzierung.
Am 14. Oktober 2011 wurde Rydzek als Juniorsportler des Jahres 2011 ausgezeichnet.
In der Weltcup-Saison 2011/12 erreichte Rydzek je einen Podestplatz mit der Mannschaft und im Einzel. Im Winter 2012/13 siegte er erstmals in einem Weltcuprennen mit der Mannschaft sowie zusammen mit Eric Frenzel in einem Teamsprint.
Im Oktober 2013 gewann er nach 2010 und 2011 zum dritten Mal den Deutschen Meistertitel.[2] Im folgenden Winter konnte er sich in den Weltcuprennen meist unter den besten Fünf platzieren, drei Mal stand am Ende der zweite Rang zu Buche. Dazu kamen ein dritter Platz im Teamsprint und der Sieg mit der deutschen Mannschaft beim Teamwettbewerb am 25. Januar 2014 in Oberstdorf. Bei den Olympischen Spielen in Sotschi erreichte er im Wettkampf auf der Normalschanze den sechsten Rang. Nach dem Springen über die Großschanze kämpfte er im Langlauf mit vier Konkurrenten um den Sieg, kollidierte aber in der letzten Kurve mit Teamkollege Fabian Rießle und kam zum Sturz, sodass er nur auf dem achten Platz ins Ziel kam. Im Teamwettbewerb gewann er zusammen mit Eric Frenzel, Björn Kircheisen und Fabian Rießle die Silbermedaille. Für die olympischen Erfolge wurde er am 8. Mai 2014 von BundespräsidentJoachim Gauck erneut mit dem Silbernen Lorbeerblatt ausgezeichnet.[3] Im ersten Wettkampf nach den Spielen gewann Rydzek am 28. Februar 2014 zum zweiten Mal einen Einzelwettbewerb im Weltcup, wie 2011 wieder in Lahti. Auch bei den beiden folgenden Weltcups in Norwegen siegte er. Am Saisonende belegte Johannes Rydzek in der Gesamtwertung den zweiten Platz hinter Eric Frenzel.
In der Weltcupsaison 2014/15 gewann Rydzek den Auftaktwettbewerb in Ruka, konnte anschließend aber nur noch zweimal mit der Staffel Podestplätze belegen. Bei den Weltmeisterschaften 2015 in Falun gewann er im Wettbewerb von der Normalschanze seinen ersten Weltmeistertitel, als er sich nach Platz fünf beim Springen im 10-km-Lauf gegen Alessandro Pittin durchsetzte.[4] Auch mit dem Team errang er zusammen mit Tino Edelmann, Eric Frenzel und Fabian Rießle den Titel – den ersten einer deutschen Mannschaft nach 28 Jahren. Im Einzel von der Großschanze holte er Bronze hinter Bernhard Gruber und François Braud. Die vierte Medaille bei diesen Weltmeisterschaften gewann er im Teamsprint, wo er gemeinsam mit Eric Frenzel Silber holte.
Bei den Deutschen Meisterschaften 2016 in Oberhof gewann Rydzek nach 2010, 2011, 2013, 2014 und 2015 seinen sechsten nationalen Titel im Einzel. Im Teamsprint wurde er an der Seite von Jakob Lange, mit dem er in den Vorjahren bereits zwei Titel gewonnen hatte, Vizemeister.
Zu Beginn der Saison 2016/17 gewann Rydzek beide Wettkämpfe beim Auftaktbewerb in Ruka und übernahm damit auch die Führung im Weltcup. Mit der Teamstaffel, bestehend aus ihm, Frenzel, Kircheisen und Rießle, gelang ihm beim zweiten Wettkampf im norwegischen Lillehammer ein weiterer Sieg. In Ramsau in der Steiermark gewann er am ersten Wettkampftag und verteidigte mit einem sechsten Platz am zweiten Tag das gelbe Trikot des Weltcupgesamtführenden, das er jedoch beim folgenden Wettkampf in Lahti an Eric Frenzel abgeben musste. Beim Nordic Combined Triple in Seefeld wurde er Zweiter hinter Frenzel, nachdem er die ersten beiden Wettbewerbe gewonnen hatte und vorübergehend wieder die Führung im Weltcup innehatte. Diese holte er sich mit dem Sieg beim ersten Wettbewerb der Olympia-Generalprobe in Pyeongchang wieder zurück. Bei den Weltmeisterschaften in Lahti gelang Rydzek ein historischer Vierfach-Triumph: Er siegte in beiden Einzelwettbewerben, zusammen mit Eric Frenzel, Fabian Rießle und Björn Kircheisen im Mannschaftswettbewerb und gemeinsam mit Eric Frenzel im Teamsprint. Im Weltcup lieferte sich Rydzek ein Kopf-an-Kopf-Rennen mit Eric Frenzel, bei dem die Führung in der Gesamtwertung mehrfach wechselte, und das Frenzel erst im letzten Rennen in Schonach für sich entschied. Im Dezember wurde der 26-Jährige zum Sportler des Jahres 2017 gewählt.[5] Nach einer bis dahin durchwachsenen Weltcupsaison mit einem Sieg wurde er am 20. Februar 2018 in PyeongchangOlympiasieger im Wettbewerb von der Großschanze und zwei Tage später mit der Mannschaft.
Bei den Nordischen Skiweltmeisterschaften 2019 in Seefeld konnte er zwar seine Weltmeistertitel nicht verteidigen, stellte allerdings mit zwei Platzierungen unter den Besten Zehn im Einzel sowie mit Gewinn der Silbermedaille beim Teamwettbewerb erneut seine Klasse unter Beweis. Die holprige Weltcup-Saison 2018/19 schloss er mit einem Saisonsieg als bester Deutscher auf dem vierten Rang der Gesamtwertung ab.
Bei den Olympischen Winterspielen 2022 führte Rydzek im ersten Einzelrennen (Normalschanze/10 km) bis zum letzten Anstieg, ehe er mehrere hundert Meter vor dem Ziel von seinem Teamkollegen Vinzenz Geiger und drei weiteren Konkurrenten überspurtet wurde und nur den fünften Platz belegte.