Pour certain le golf serait né en Chine vers la fin du X^e siècle. Baptisé chiuwan, ce jeu consistait à faire entrer une balle dans une succession de trous creusés dans le sol, en la dirigeant avec une canne. Au Moyen Âge, des marchands, lors de leurs voyages, découvrent ce jeu et l'introduisent en Europe.

En revanche, il est reconnu par tous que les Romains introduisirent en Europe de l'Ouest, un jeu de balle et de bâton appelé Paganica. Les règles de ce jeu sont à ce jour mal connues. On sait seulement qu'il était censé se jouer avec un bâton recourbé et une balle en bois et en cuir rembourré. C'était un jeu assez populaire dans les campagnes de l'Empire Romain. Ainsi, dès le XIV^e siècle, un jeu similaire au chiuwan se développe, sous des noms différents, dans plusieurs pays: le kolf, ou cambuc, en Angleterre; le hurley en Irlande; le shinty en Écosse; le chole en Flandre; le pall mall en Italie. Les pratiquants de ce «sport» se promenaient dans la campagne munis d'un bâton incurvé et d'une balle qu'ils ne cherchaient pas à faire pénétrer dans un trou mais qu'ils projetaient contre certaines cibles, généralement des portes de bâtiments.

 Les Français et les Hollandais, en réclament le concept, l'origine du jeu comme nous le connaissons est inscrite dans les livres de record d'Écosse. Les Hollandais ont cité le jeu de bâton et balle «Kolven» comme preuve de leur requête, les Français le jeu de mail. Dans chaque cas, les protagonistes ont été traités d'imposteurs puisqu'il leur manquait la composante rendant le golf sans pareil, le trou.Le trou est l'élément vital séparant le golf des autres jeux de balle...

C'est dans les landes écossaises, où il fait fureur parmi l'aristocratie, que ce jeu est pratiqué avec passion, et parfois avec excès. En effet, les seigneurs, en costume de cour, «swinguent» au cœur même des villes, brisant les vitraux, blessant les passants. Aussi les autorités obligent-elles les golfeurs, lors de leur parcours urbain, à se signaler par le port d'une veste rouge; mais cette mesure n'est pas suffisante, semble-t-il, puisqu'on doit les envoyer à la campagne. L'engouement pour ce jeu est tel qu'il est interdit en 1457 par le souverain écossais, car ses archers y consacraient trop de temps et négligeaient le maniement des armes.

En 1608, Jacques I^er, roi d'Angleterre, autorise à nouveau la pratique du golf et fait construire à Blackheath un parcours de 7 trous. En 1744, la Company of Gentlemen Golfers – aujourd'hui la Honourable Company of Edinburgh Golfers – est créée. En Écosse la Society of Saint Andrews – devenue le Royal and Ancient Golf Club of Saint Andrews – est fondée en 1754, et en édicte le premier code; elle décrète, en 1858, que le golf se jouera désormais sur 18 trous.