Em honra a Zeus, eram promovidos a cada quatro anos os Jogos Olímpicos, na cidade de Olímpia, local onde ele era especialmente venerado. Da mesma forma que o poderoso Júpiter era o Todo-Poderoso rei do Olimpo, os jogos públicos a ele consagrados eram os maiores de todos os confrontos esportivos na Grécia Antiga. As Olimpíadas representaram a expressão máxima do esplendor alcançado pela educação física na Antigüidade e, sem interrupção, foram realizados durante doze séculos. Toda importância e destaque dos Jogos Olímpicos se devem pelo expressivo número de participantes e espectadores, pela grande repercussão político-religiosa e por encerrarem elevado espírito unificador entre os povos. Não é possível precisar quando e por quê as Olimpíadas foram instituídas, pois na história da Grécia, lenda e realidade se confundem. As aventuras vividas por deuses e heróis eram transmitidas de uma pessoa para a outra; o mesmo ocorreu com os Jogos Olímpicos. Várias histórias são contadas, e as versões mais correntes são as que se seguem:
Em Olímpia, originalmente, eram venerados os deuses mais antigos, como Ouranos e Titéia. A seguir surgiu Cronos, que destronou Urano e batizou a montanha que domina Olímpia com seu próprio nome. Depois os Curetas, cinco irmãos sacerdotes que viviam no Monte Ida, em Creta, instalaram-se em Olímpia. O mais velho deles, Héracles, para homenagear Zeus, propôs uma corrida a pé entre seus quatro irmãos, coroando o vencedor com um ramo de oliveira selvagem. Assim, coube a Héracles de Ida a honra de ter instituído os Jogos Olímpicos, estabelecendo sua periodicidade para cada quatro anos. Isso teria ocorrido entre 2500 e 2300 a.C.
A cidade de Elis perdeu a supremacia sobre Olímpia, que passou ao domínio do rei de Pisa. Uma pitonisa anunciou que ele seria destronado e morto por um pretendente de sua filha Hipodâmia. Para que a previsão não se concretizasse, o rei convocava candidatos para uma corrida de carros que ia do altar de Zeus em Olímpia ao de Poseidon em Corinto. Conta-se que este monarca matou treze concorrentes e era tido como imbatível. Certo dia, apresentou-se Pélope, filho legítimo do rei da Frígia, embora filho natural de Poseidon. Na véspera da corrida, à beira-mar, Pélope invocou Netuno, solicitando seu auxílio. O deus dos mares deu-lhe então um carro puxado por quatro cavalos alados; desta forma, Pélope foi o vitorioso, tendo o rei de Pisa falecido quando tentava vencer. Uma variante dessa versão informa que Hipodâmia apaixonou-se pelo filho do soberano da Frígia e, com a cumplicidade de um escravo, mandou-o danificar o caro de se pai. Durante o percurso. O carro se esfacelou e o rei de Pisa veio a morrer. Então, para comemorar sua vitória e o casamento com Hipodâmia, Pélope instituiu as Olimpíadas em honra a Júpiter, determinando que deveriam ser realizados a intervalos fixos. Em Olímpia foram erigidos dois monumentos funerários, um em homenagem a Pélope e outro a Hipodâmia. Seus filhos deixaram a Élida e se espalharam por uma das regiões mais bonitas da Grécia, uma península ao sul, denominada Peloponeso, ou seja, a "ilha de Pélope".
A última versão para o surgimento dos Jogos Olímpicos deriva-se de uma divergência entre Áugias, o rei da Élida, e Héracles, herói tebano, filho do deífico Zeus e da mortal Alcmena. O tirano Euristeu, soberano de Argos, determinou, como nono dos "Doze Trabalhos", que seu primo Hércules limpasse os estábulos de Áugias, que não eram limpos há trinta anos. Tamanha era a falta de asseio, que o cheiro infestava por completo a região. Héracles solicitou a Áugias a décima parte de seu rebanho de três mil bois, caso conseguisse realizar toda a limpeza no menor tempo possível; o rei concordou. Com rapidez incrível o herói removeu as reses para o campo e desviou o curso do rio Alfeu, fazendo-o passar pelas estrebarias reais. Após o desaparecimento de todo o esterco com a enxurrada e a purificação do ar local, Hércules foi receber o prêmio por seu trabalho. Áugias, hesitante e não ousando recusar abertamente o cumprimento do acordo, disse-lhe que fosse ter com seu filho Fileu, o qual, por fim deu razão ao herói tebano. Furioso pela atitude de seu filho em favor de Héracles, o monarca da Élida expulsou Fileu de sua presença, obrigando-o a se refugiar na ilha de Dulíquia. Indignado com tal procedimento, Hércules saqueou a cidade de Elis, matou Áugias, chamou Fileu e lhe entregou os Estados de seu pai. Vitorioso, o bravo mortal tebano seguiu para Olímpia, e lá, instituiu os Jogos Olímpicos, para homenagear Júpiter e si mesmo; além de estabelecer que os participantes deveriam competir pela honra e glória do triunfo, e não por interesse material. Consta que o próprio Héracles inscreveu-se para disputar as provas, mas nenhum concorrente ousou competir com o executor dos "Doze Trabalhos". Sendo assim, Zeus disfarçou-se de atleta e combateu árdua e longamente com seu prodigioso filho, sem que ficasse definido o vencedor. O divino Pai dos Deuses, então, revelou sua identidade e concedeu a Hércules a vitória do embate, cumprimentado-o por toda sua força e valentia.
No contexto destas três versões nos são apresentados dois Héracles, muito distanciados no tempo. O primeiro deles, vindo da ilha de Creta, berço da civilização grega primitiva. O segundo Héracles, herói contemporâneo de Áugias, filho de Zeus e Alcmena. Inicialmente, parece que os Jogos chamavam-se Herácleos, daí serem mais aceitas as versões, sobretudo a terceira, que atribuem a um desses personagens a honra de ter instituído as Olimpíadas.
Por razões etimológicas, há uma corrente segundo a qual o instaurador dos Jogos Olímpicos foi Atlios, primeiro rei da Élida e filho de Júpiter, por isso, as competições chamam-se "atla" e os participantes "atletas".