Винятком стали лише Румунія, Югославія і КНР. Крім соціалістичних держав, Олімпіаду бойкотували Іран і Лівія. Офіційною причиною цього протесту з'явився відмова організаторів Ігор надати гарантії безпеки учасникам з країн Варшавського договору. Але багато хто сприйняв цей крок як відповідь на бойкот американськими спортсменами московської Олімпіади-80. Крім того, радянське партійне і спортивне керівництво насторожило те, що нашій делегації не дозволили летіти чартерами «Аерофлоту» і відмовилися приймати в порту теплохід «Грузія», який планували використовувати як плавучу олімпійську базу збірної СРСР.
8 травня 1984 Радянський Союз офіційно заявив ТАСС про бойкот майбутньої Олімпіади. Президент МОК Антоніо Самаранч активно намагався переконати керівництво СРСР змінити рішення, але не зміг досягти успіху. Натомість Олімпійських ігор, було прийнято рішення про проведення в Москві міжнародних змагань «Дружба-84». У них брали участь, в основному, спортсмени країн, що відмовилися від американської олімпіади. Всього в цих іграх доброї волі виступили атлети понад 50 країн, було встановлено чимало світових рекордів.
Через цього політичного протесту все світове спортивне рух виявився в програші. Олімпіада в Лос-Анджелесі, як і попередня, в Москві, проходила при неповному складі. Відсутні фаворити у багатьох видах спорту - в Америку не приїхали 125 чемпіонів світу. В результаті, на цих Іграх було зареєстровано низька кількість світових рекордів - всього 11. Як і очікувалося, в командному заліку на Олімпіаді-84 перемогли американці. Не дочекавшись гідних суперників, американська команда зібрала 174 медалі, 83 з яких були золоті.
З того моменту до статуту Міжнародного Олімпійського Комітету були внесені додаткові статті про серйозні санкції щодо країни, яка виступить з бойкотом, аж до повного виключення її з МОК.