ואן רומפיי שימש סגן נשיא זרוע הנוער של מפלגת CVP בין השנים 1973–1975, והחל משנת 1978 היה חבר הלשכה הלאומית של המפלגה. בין השנים 1975–1980 עבר בלשכותיהם של שניים מראשי ממשלת בלגיה. בין השנים 1988–1993 כיהן כנשיא מפלגת CVP. בין ספטמבר 1993 ליולי 1999 כיהן כממלא מקום ראש ממשלת בלגיה ושר האוצר. לאחר תבוסת מפלגתו בבחירות הכלליות בשנת 1999 הפך לחבר הבית התחתון (בפלמית: de Kamer van Volksvertegenwoordigers) בבית הנבחרים הבלגי. בשנת 2004 מונה לשר מדינה.
לאחר הבחירות הכלליות ביוני 2007 נבחר ואן רומפיי ב-12 ביולי ליו"ר בית הנבחרים. אולם בחירות אלה לא הצליחו להביא להרכבת קואליציה יציבה, וגררו משבר פוליטי שנמשך כשנה וחצי. המשבר הסתיים רק כאשר ואן רומפיי הסכים לקבל על עצמו את תפקיד ראש הממשלה. ב-28 בדצמבר 2008 הוא התבקש על ידי המלך אלבר השני להרכיב ממשלה, והוא הושבע לתפקידו על ידי המלך ב-30 בדצמבר 2008.
ב-19 בנובמבר 2009 נבחר ואן רומפיי לכהן כנשיאהּ הקבוע הראשון של המועצה האירופית, תפקיד שעד כה התחלפו בו ראשי המדינות הנשיאות התורניות של האיחוד האירופי. הידיעה על מינויו התקבלה בתרעומת בטורקיה בשל מספר התבטאויות של ואן רומפיי נגד צירופה של "טורקיה המוסלמית" לאיחוד האירופי. הוא כיהן בתפקיד זה עד 30 בנובמבר 2014.
אחיו הצעיר, אריק ואן רומפיי, אף הוא פוליטיקאי בלגי במפלגת CD&V, והיה חבר בממשלת פלנדריה בין השנים 1995–1999.
הרמן ואן רומפיי, ברשת החברתית פייסבוק
הרמן ואן רומפיי, ברשת החברתית אקס (טוויטר)
