За проведення олімпійських футбольних турнірів відповідальність несе Міжнародна футбольна федерація (FIFA), яка була організована в 1904 році. Футбольні матчі двох літніх олімпіад (в Парижі і Сент-Луїсі) ця організація рахує не офіційними, а лише виставковими, так як в них брали участь не національні збірні, а самостійні клубні команди. Тому відлік футбольних турнірів на літніх іграх FIFA веде від олімпіади під третім порядковим номером, яка відбулася в 1908 році в Лондоні.
Англійці ж і стали першими олімпійськими чемпіонами в цьому виді спорту, опинившись найсильнішими в турнірі восьми збірних. Примітно, що Франція в тому турнірі була представлена одразу двома командами - це був єдиний прецедент в історії. Британські футбольні команди разом з угорськими досі залишаються найуспішнішими олімпійськими збірними - вони по три рази завойовували золоті медалі. У той час як бразильці, уже п'ятикратні чемпіони світу у цьому виді спорту, жодного разу не ставали першими на олімпіадах. Цікаво, що двічі їм не давали отримати нагороди футболісти СРСР - в 1976 році в Монреалі радянська збірна перемогла бразильців у грі за бронзові нагороди, а в 1988 році в Сеулі обіграла їх у фінальній грі. СРСР двічі завойовував золоті нагороди олімпійського футбольного турніру і тричі ставав бронзовим призером.
Згідно з правилами FIFA, на гравців олімпійських збірних накладаються вікові обмеження - кожен з них, виключаючи лише трьох футболістів, повинен бути не старше 23 років. Тому олімпійські турніри не збирають найсильніших гравців і вважаються менш престижними змаганнями, ніж чемпіонати світу та Європи.
Починаючи з XXVI літньої Олімпіади в Атланті, яка відбулася в 1996 році, в програму включені і жіночі футбольні турніри. На минулих за цей час чотирьох форумах було незаперечно перевагу спортсменок США - тричі вони ставали чемпіонками, а одного разу в додатковий час поступилися першим місцем суперницям з Норвегії.