解放前，中国参加了第11届、第14届奥运会男篮比赛，但每次都在小组赛中被淘汰。 新中国成立以来，中国男篮共参加了9届奥运会男篮比赛。 最好成绩是前8名，共3次。
1984年洛杉矶奥运会，中国男篮最终获得第10名；
1988年汉城奥运会，中国男篮获得第11名；
1992年洛杉矶奥运会，中国男篮获得第12名。
1996年亚特兰大奥运会，中国男篮取得突破。 他们最终突破小组赛，杀入8强，创造了最好战绩。
小组赛，中国男篮与安哥拉、克罗地亚、阿根廷、美国、立陶宛分在同一小组。 这个小组是名副其实的“死亡之组”。 美国、克罗地亚、立陶宛是1992年奥运会男篮比赛的前三名。 从名字上看，阿根廷的实力不容小觑。
首场比赛，中国男篮实现逆转，以70-67击败安哥拉队，取得开门红。 王治郅拿下17分11篮板。 第二场比赛，中国男篮以78-109不敌克罗地亚队。
关键的第三场比赛，中国男篮以87-77击败阿根廷队，连胜两场，基本锁定八强资格。 最近两场比赛，中国男篮分别以70-133、55-116分别输给美国和立陶宛，但阿根廷和安哥拉也未能战胜强敌。 中国男篮最终以2胜3负排名小组第四，晋级8强。
然而，在四分之一决赛中，中国男篮以61-128不敌前南斯拉夫队，无缘四强。
2000年悉尼奥运会，中国男篮获得第10名。 2004年雅典奥运会和2008年北京奥运会，中国男篮再次杀入8强。
2004年奥运会，中国男篮与西班牙、新西兰、阿根廷、意大利、塞尔维亚和黑山分在同一组。 首场比赛，中国男篮以58-83不敌西班牙队。 第二场比赛，中国男篮69-62击败新西兰，保留晋级8强的希望。
第三场比赛，中国男篮以57-82不敌阿根廷队。 第四场比赛，中国男篮以57-89不敌意大利队。 上一场对阵塞尔维亚和黑山的比赛是晋级的关键之战。 最终，中国男篮以67-66险胜塞黑队，成功晋级8强。
不过，在四分之一决赛中，中国男篮以75-95不敌立陶宛队，止步8强。
2008年奥运会，中国男篮与德国、美国、西班牙、希腊、安哥拉分在同一小组。 首场比赛，他们以70-101不敌美国队。 第二场比赛，他们被西班牙逆转，加时赛以75-85落败。 第三场比赛，他们以70-101不敌美国队。 中国男篮首场85-68击败安哥拉，第四场59-55险胜德国，最后一场以77-91不敌希腊。
最终以小组第4位晋级8强，不过在1/4决赛中遭遇了立陶宛。 中国男篮以68-94输掉比赛，不幸被淘汰。 连续两年进入8强，但每次都被立陶宛淘汰。
2012年伦敦奥运会和2016年里约奥运会，中国男篮排名第12名，也是最后一名。 不过，2020年东京奥运会和2024年巴黎奥运会，中国男篮都没有获得参赛资格。
