Gerevich participe à ses premiers Jeux en 1932 à Los Angeles, à l'âge de 22 ans, et décroche sa première médaille d'or en tant que membre de l'équipe hongroise de sabre. En 1936 aux Jeux à Berlin, il totalise 17 victoires contre seulement deux défaites et conduit son pays à la victoire dans l'épreuve du sabre par équipe. Il remporte ensuite une médaille de bronze dans le sabre individuel. Il participe également à l'épreuve du fleuret par équipe et se classe septième.
Après la guerre, en 1948, le sabreur hongrois fait son retour aux Jeux plus fort que jamais. Non seulement remporte-t-il une nouvelle médaille d'or dans le sabre par équipe et se classe-t-il cinquième dans le fleuret par équipe, mais il décroche aussi l'or dans le sabre individuel, établissant un record de 19 victoires contre seulement une défaite. Aux Jeux en 1952 à Helsinki, il remporte une série complète de médailles : le bronze dans le fleuret par équipe, l'argent dans le sabre individuel et l'or dans le sabre par équipe. En 1956, Aladar Gerevich se classe cinquième dans le sabre individuel et conduit à nouveau l'équipe hongroise de sabre à la victoire. Il participe à ses derniers Jeux en 1960 à Rome, à l'âge de 50 ans, et décroche une autre médaille d'or dans le sabre par équipe. Son épouse, Erna Bogen, son fils, Pal Gerevich, et son beau-père, Albert Bogen, furent également médaillés olympiques.