Le 1er décembre de la même année, aux Jeux à Melbourne, une vague australienne déferle sur le 100m nage libre : Fraser monte pour sa part sur la plus haute marche du podium après avoir amélioré une nouvelle fois le record du monde de l'épreuve. Elle remporte une deuxième médaille d'or avec l'équipe australienne dans le relais 4x100m nage libre - avec un autre record du monde à la clé - et une médaille d'argent dans le 400m nage libre.
Quatre ans plus tard, en 1960, aux Jeux Olympiques à Rome, l’australienne est de nouveau sacrée championne olympique du 100m. Elle devient ainsi la première nageuse à défendre son titre olympique avec succès. Elle finit également cinquième du 400m nage libre et remporte une médaille d'argent dans les relais 4x100m quatre nages (présent pour la première fois au programme olympique) et 4x100m nage libre. Le 27 octobre 1962, à Melbourne, elle est la première nageuse à passer sous la barre des une minute dans le 100m, parcourant la distance en 59,9 secondes.
En 1964 aux Jeux à Tokyo, Fraser doit redoubler d'efforts pour venir à bout de l'Américaine Sharon Stouder et remporter une fois de plus le 100m, ce qui fait d'elle la première personne, tous sexes confondus, à s'imposer dans la même épreuve de natation trois fois d'affilée. Elle complète son palmarès par une médaille d'argent dans le relais 4x100m nage libre et finit également quatrième dans le 400m. Pendant son séjour à Tokyo, la nageuse sera arrêtée pour le vol d'un drapeau à l'entrée du Palais impérial. Mais comme elle présentera ses excuses, les charges seront abandonnées et l'Empereur lui fera cadeau du drapeau. En 1988, elle sera élue au Parlement de la Nouvelle-Galles-du-Sud, où elle siégera jusqu'en 1991.