其實，歷史上首次抵制奧運的事件要遠遠早於1980年的莫斯科奧運。最初兩次抵制奧運的行動中包含體育競技方面的緣由。1928年，英國女運動員集體抵制荷蘭阿姆斯特丹的奧運會，理由是原本計劃中10個女子競技項目被縮減為五個。1936年，因為滑雪教練被認定為職業選手，從而被禁止參賽，瑞士和奧地利抵制了在德國滑雪勝地加米施-帕騰基興舉行的冬奧會滑雪項目。

首次由於政治原因而抵制奧運的行動發生在1956年，當時主辦地是澳洲墨尔本。西班牙，荷蘭和瑞士由於抗議蘇聯出兵匈牙利而拒絕參加奧運會，此外，由於爆發蘇伊士運河戰爭，埃及，伊拉克，柬埔寨和黎巴嫩都沒有參加該屆奧運會。

1976年加拿大蒙特利爾奧運會遭遇了抵制奧運的高潮。當時，紐西蘭由於邀請仍處於種族隔離制度下的南非進行一場英式橄欖球比賽，從而遭到非洲國家的抗議。但是，由於英式橄欖球並非奧運會比賽項目，因此國際奧委會並未禁止紐西蘭參加蒙特利爾奧運會，這導致28個非洲國家抵制該屆奧運。此外，由於無法使用"中國民國"的名義參賽，台灣運動員也沒有出現在蒙特利爾賽場上。

1980年，莫斯科舉辦奧運會遭到美國，德國以及其他63個西方國家的集體抵制，以抗議蘇聯入侵阿富汗。但是仍有以英國和義大利位代表的16個西方國家參加了莫斯科奧運會。

四年之後，前蘇聯和14個東歐陣營國家對美國洛杉磯奧運會發起抵制行動。引人注意的是，羅馬尼亞並沒有參與1984年的聯合抵制，並在洛杉磯奧運會獎牌榜上名列第二，僅次於東道主美國。

1988年，發生了迄今為止的最後一次奧運抵制行動。北韓拒絕參加韓國漢城奧運會，而為了顯示團結精神，衣索比亞，古巴和尼加拉瓜也拒絕參賽。

此後的奧運會再也沒有遭到抵制的困擾，但是在部分賽事中也出現例外，比如伊朗就經常以各種理由拒絕與以色列選手同場競技。

在歷次抵制奧運行動中，有一點是共同的，沒有任何一次抵制行動對現實政治在長期或者短期之內產生過哪怕是微小的影響。而在經歷了上世紀70年代中期直至80年代初的幾次重大抵制風波之後，奧運會本身幾乎失去了存在的價值，如果1992年西班牙巴塞隆納奧運會也遭到抵制的話，可能奧運會就從此消失了。