Medan man diskuterade frågan om att hålla Olympiaden III beslutade Internationella Olympiska kommittén att organisera den på USA: s territorium, eftersom detta land visade bra resultat vid de två föregående spelen. Ursprungligen ville de hålla OS i Chicago eller New York, men som ett resultat föll valet på den lilla hamnstaden St. Louis.
III-olympiaden i St. Louis, tillsammans med OS i Paris, hölls inom ramen för världsutställningen. Men den lokala ledningen av utställningen ansåg inte att den var en konkurrent utan tvärtom, på alla möjliga sätt försökte använda spelen för sina egna reklamändamål. Dessutom upprepade arrangörerna några av misstagen från sommar-OS 1900 i Paris. På grund av anslutningen till världsutställningen drevs tävlingarna i bakgrunden, och själva OS varade i nästan fem månader (1 juli - 23 november 1904). Många tävlingar hölls under ledning av olika professionella organisationer, men trots detta tilldelades de alla titeln olympiska discipliner.
Enligt IOC deltog 12 länder i St. Louis Summer Games. Den enda staten som deltog i tävlingen för första gången var Sydafrika. Jämfört med OS i Paris har antalet deltagande länder minskat dramatiskt. De 13 delstaterna som deltog i Summer Paris Games kunde inte komma till St. Louis av ekonomiska skäl. Ryssland, som var i krig med Japan vid den tiden, deltog inte i tävlingen.
Totalt 651 personer deltog i III-sommarspelen, inklusive 6 kvinnor. De tävlade om 94 uppsättningar utmärkelser i 18 sporter. Det mest många var USA: s lag, de representerade 533 personer vid spelen. I många sporter (boxning, brottning, vattenpolo, bågskytte och tennis) uppträdde bara amerikanska idrottare, så spelen visade tydligt landets överlägsenhet.
I St. Louis började de för första gången tilldela de tre, inte två, idrottare som visade bästa resultat. Tävlingens huvudvinnare tilldelades en guldmedalj; idrottaren som tog andra plats - silver; och tredjeplatsen tilldelades en bronsmedalj. Denna tradition har överlevt fram till idag.
I det inofficiella lagevenemanget var de deltagande länderna placerade enligt följande: Jag placerar - USA (78 guld, 82 silver, 78 bronsmedaljer), II-plats - Tyskland (4 guld, 4 silver, 5 bronsmedaljer), III-plats - Kuba (4 guld, 2 silver, 3 bronsmedaljer).
