En 1952 aux Jeux Olympiques à Helsinki, le Japonais participe à sa première compétition olympique. La gymnastique est alors dominée par l'équipe soviétique menée par son leader Viktor Chukarin, quadruple médaillé d'or et double médaillé d'argent lors de cette même édition des Jeux. Takashi Ono fait partie d’une équipe du Japon qui compte de jeunes gymnastes prometteurs. Ceux-ci se distinguent plus particulièrement dans l'épreuve du saut de cheval remportée par Chukarin avec la note de 19,20. Takashi Ono réussit le score combiné de 19,1, se classant troisième à égalité avec son compatriote Tadao Uesako, derrière un autre de ses coéquipiers, Masao Takemoto (19,15). Pour Ono, cette première médaille est loin d'être la dernière.
L'équipe japonaise se présente à Melbourne aux Jeux Olympiques en 1956 forte de ses succès remportés quatre ans auparavant et d’autant plus expérimentée. Le Japon est avec l'URSS de Boris Shakhlin l’une des deux plus fortes nations en gymnastique au niveau mondial. À ces Jeux, Takashi Ono, en digne représentant de son pays, décroche son premier titre olympique à la barre fixe. Cette médaille d'or est la première d'une très longue collection pour le Japon dans cette discipline. Takashi gagne également trois médailles d'argent et une médaille de bronze.
Le gymnaste japonais continue de travailler sans relâche pour progresser dans son sport. À Rome pour les Jeux en 1960, Takashi va cette fois remporter six médailles sur les huit disputées en gymnastique artistique. Il rafle l'or à la barre fixe et au saut de cheval ainsi que dans le concours par équipes. Cette victoire collective est la récompense d'un long travail et le début d'une série à succès pour l’équipe du "pays du soleil levant".
Quatre ans plus tard, devant son public à Tokyo pour les Jeux de la XVIIIe Olympiade, Takashi est, à 33 ans, le doyen et le modèle d'une équipe japonaise étincelante. C’est lui qui reçoit l’honneur de prêter le serment des athlètes lors de la cérémonie d’ouverture. Avec ses jeunes partenaires, il remporte à nouveau le titre par équipes. Cette médaille est la treizième médaille olympique de Takashi Ono et sa cinquième d'or !