Ruffin giocò nelle MLB dal 1924 al 1947 per i Boston Red Sox, i New York Yankees e i Chicago White Sox anche se è ricordato in particolare per le stagioni di successo con gli Yankees a cavallo degli anni trenta e quaranta.[1]
Ruffing lasciò la scuola da bambino per lavorare in una miniera di carbone nel nativo Illinois. Giocò per la squadra di baseball della compagnia della miniera come esterno e prima base ma dopo che perse quattro dita del piede per un incidente sul posto di lavoro non riuscì più a correre in campo, passando al ruolo di lanciatore.[1] Giocò nelle minor league nel 1923 e 1924 prima di debuttare nelle major league con i Red Sox. Dopo avere faticato a Boston, compilando un record di 36 vittorie e 93 sconfitte, i Red Sox scambiarono Ruffing con gli Yankees, dove trovò il successo, lanciando fino al 1946. Dopo una stagione con i White Sox, Ruffing si ritirò per lavorare come assistente allenatore nel bullpen dei White Sox, dopo di che fu nello staff dei New York Mets e fu un osservatore per i Cleveland Indians. Con gli Yankees Ruffing conquistò per sei volte World Series, venendo convocato per sei All-Star Game. Nel 1938 guidò l'American League con 21 vittorie e nel 1932 guidò la lega con 190 strikeout.