Ayala begon zijn profcarrière bij Ferro Carril Oeste (1991-1994). In 1994 maakte de centrale verdediger de overstap naar topclub River Plate, waarna hij een jaar later vertrok naar Italië, waar hij voor SSC Napoli (1995-1998) en AC Milan (1998-2000) ging spelen. Bij Milan werd de verdediger landskampioen. Sinds 2000 staat Ayala onder contract bij Valencia CF. In 2001 was de Spaanse club verliezend Champions League-finalist. In 2002 en 2004 won Ayala met Valencia de landstitel en in 2004 volgde bovendien de UEFA Cup en de Europese Supercup.
In 2007 tekende hij een contract voor drie seizoenen bij Villarreal CF. Ayala zou uiteindelijk niet voor deze club gaan spelen, aangezien Real Zaragoza zijn contract bij Villarreal CF afkocht in juli 2007. Ayala werd bij Real Zaragoza de vervanger van zijn landgenoot Gabriel Milito, die naar FC Barcelona vertrok. Na een paar seizoenen voor Zaragoza te hebben gespeeld werd in januari 2010 zijn contract ontbonden[1].