殘奧會的歷史可以追溯到1948年。當時，倫敦以北60公里處斯托克曼德維爾的一家軍事醫院裡，殘疾軍人們艱難地走在漫長的身心康復之路上。對此，德國神經學家路德維希·古特曼正在尋找一種方法，來加速截癱患者的康復。這些患者都是二戰老兵。倫敦當年舉辦奧運會期間，古特曼想，如果他那些脊髓受傷的皇家空軍飛行員也能做一些運動該多好。
於是，16名坐在輪椅上的退伍軍人參加了射箭和“無擋板籃球”比賽。這樣，古特曼在不知不覺中創造了一項新的體育賽事。 他事後表示：“在那之前，殘疾人康復問題是無望的，因為我們不僅需要拯救這些截癱和四肢癱瘓的人們的生命，而且還需要恢復他們的尊嚴，讓他們成為快樂和受人尊敬的公民”。
1952年，第一屆國際運動會在斯托克曼德維爾舉行，一支由荷蘭退伍軍人組成的隊伍前來參賽。這之後，斯托克曼德維爾國際運動會不斷壯大，大多數參與者都是截癱患者，來自各個醫院或康復中心。到了1955年，第四屆國際運動會上，共有18個國家參賽，200名選手全部是截癱患者。
1960年的第九屆斯托克曼德維爾國際運動會事後被追溯認為是第一屆“殘奧會”，其於奧運會結束後六天在羅馬舉行，五千人參加了開幕式。不過，殘奧會一詞是從1984年奧運會起才被國際奧委會使用的。從1960年到1980年，殘奧會的正式名稱為“斯托克曼德維爾國際運動會”。這次國際運動會上，23個國家或地區的400名運動員參加。他們全部都坐在輪椅上，參加了八項比賽，包括殘疾人田徑、輪椅籃球、殘疾人游泳、殘疾人乒乓球、殘疾人射箭、檯球、飛鏢（弓箭和飛鏢混合射擊）、扶手椅擊劍。當時，運動椅還不存在。運動員們使用的日常用椅子至少重15公斤。 第一批改良過的運動椅仍然是手工製作，80年代初才出現。現如今，運動輪椅經過特殊設計，前面有第三個輪子，採用鋁製材料，配有碳輪，重量約為7公斤。
1972年，殘奧會在慕尼黑奧運會之前在海德堡舉行。這一次，截肢運動員發聲，要求獲得參加比賽的權利。也是這一年，每項賽事的規則得到了更充分的探討，為其今後發展提供了更多的自主權，並為未來按運動分類的殘疾分類開闢了道路。
1976年第五屆殘奧會在加拿大多倫多舉行。在來自40個國家的1657名運動員當中，只有253名女性。 除輪椅運動員外，還有261名截肢運動員和187名視力障礙運動員首次獲得資格參賽。 此外，同一年，第一屆冬季殘奧會在瑞典恩舍爾茲維克舉行。
1980年的殘奧會在荷蘭阿納姆舉行，125名腦癱運動員首次獲准參賽。
1988年，殘奧會首次與奧運會在同一地點舉行。來自60個國家的三千多名運動員聚首韓國首爾，許多奧運官員都被招募並接受了殘奧會具體事宜的專門培訓。
1989年9月22日，國際殘奧委員會成立。
1992年，蒂涅-阿爾伯特維爾舉辦第五屆冬季殘奧會，這是冬季殘奧會首次與奧運會在同一場地舉行。
2001年，國際奧委會和國際殘奧委會簽署協議，保障和保護殘奧會的組織，並確認從2008年北京奧運會開始，殘奧會將始終在奧運會之後不久舉行，並將使用相同的體育設施和場地、相同的運動員村、相同的報名費和旅行費。 因此，每個未來選定的主辦城市都必須組織奧運會和殘奧會。
2004年的雅典殘奧會得到了50個國際頻道和超過一千家媒體的報道，殘疾人奧林匹克運動會標誌也首次亮相。
2012年的倫敦殘奧會上，為了回歸殘奧會的根源，殘奧會吉祥物被命名為曼德維爾。時任國際殘奧會主席菲利普·克雷文在閉幕致辭中表示：“在倫敦，殘奧會回到家鄉，並找到了通往未來的道路”。