Un nombre record de médailles
Il remporta également plus de médailles olympiques qu'aucun patineur artistique de l'histoire. En 1920, les six juges unanimes attribuèrent la victoire à Grafström. En 1924, il défia Willy Böckl pour une deuxième médaille d'or et, en 1928, remporta une victoire encore plus étroite sur Böckl ce qui lui valut sa troisième médaille d'or. Finalement, aux Jeux Olympiques à Lake Placid en 1932, Grafström, alors âgé de 38 ans, fut détrôné par Karl Schäfer. Il décrocha pourtant l'argent, devenant ainsi le seul patineur artistique à avoir remporté quatre médailles.