Saat membahas masalah penyelenggaraan Olimpiade III, Komite Olimpiade Internasional memutuskan untuk menyelenggarakannya di wilayah Amerika Serikat, karena negara ini menunjukkan hasil yang baik pada dua pertandingan sebelumnya. Awalnya, mereka ingin mengadakan Olimpiade di Chicago atau New York, tetapi sebagai hasilnya, pilihan jatuh pada kota pelabuhan kecil St. Louis.
Olimpiade III di St. Louis, bersama dengan Olimpiade Paris, diselenggarakan dalam kerangka Pameran Dunia. Namun, manajemen Pameran lokal tidak menganggapnya sebagai pesaing, tetapi, sebaliknya, dengan segala cara mencoba menggunakan permainan untuk tujuan periklanan mereka sendiri. Selain itu, penyelenggara mengulangi beberapa kesalahan Olimpiade Musim Panas 1900 di Paris. Karena keterikatan pada Pameran Dunia, kompetisi didorong ke latar belakang, dan Olimpiade itu sendiri berlangsung selama hampir 5 bulan (1 Juli - 23 November 1904). Banyak kompetisi diadakan di bawah kepemimpinan berbagai organisasi profesional, namun, meskipun demikian, mereka semua dianugerahi gelar disiplin Olimpiade.
Menurut IOC, 12 negara ambil bagian dalam Olimpiade Musim Panas St. Louis. Satu-satunya negara bagian yang menghadiri kompetisi untuk pertama kalinya adalah Afrika Selatan. Dibandingkan dengan Olimpiade Paris, jumlah negara peserta telah menurun drastis. Ke-13 negara bagian yang berpartisipasi dalam Summer Paris Games tidak dapat datang ke St. Louis karena alasan ekonomi. Rusia yang saat itu sedang berperang dengan Jepang tidak ikut serta dalam kompetisi tersebut.
Sebanyak 651 orang mengikuti Olimpiade Musim Panas III, termasuk 6 wanita. Mereka memperebutkan 94 set penghargaan dalam 18 cabang olahraga. Yang paling banyak adalah tim Amerika Serikat, mereka mewakili 533 orang di pertandingan. Di banyak cabang olahraga (tinju, gulat, polo air, panahan, dan tenis), hanya atlet Amerika yang tampil, sehingga permainan tersebut dengan jelas menunjukkan keunggulan negara tersebut.
Di St. Louis, untuk pertama kalinya, mereka mulai memberikan penghargaan kepada tiga, bukan dua, atlet yang menunjukkan hasil terbaik. Pemenang utama kompetisi dianugerahi medali emas; atlet yang menempati posisi kedua - perak; dan tempat ketiga dianugerahi medali perunggu. Tradisi ini bertahan hingga saat ini.
Dalam acara tim tidak resmi, negara-negara yang berpartisipasi ditempatkan sebagai berikut: I tempat - Amerika Serikat (78 emas, 82 perak, 78 medali perunggu), tempat II - Jerman (4 emas, 4 perak, 5 medali perunggu), tempat III - Kuba (4 emas, 2 perak, 3 perunggu).
