我國的人民代表大會制度同任何其他的政治制度一樣，并不是憑空產生的。
在近代歷史上，各個階級、各種社會勢力圍繞中國建立什么樣的政治制度，進行過探索的激烈斗爭，但都以失敗而告終。中國共產黨領導全國各族人民，在第一次國內革命戰爭時期建立了罷工工人代表大會、農民協會，在第二次國內革命戰爭時期建立了工農兵蘇維埃，在抗日戰爭時期建立了參政會，在解放戰爭時期建立了人民代表會議。這些成功實踐，為建國后實行人民代表大會制度積累了經驗、奠定了基礎。毛澤東同志等老一輩革命家總結這些經驗，在《新民主主義論》中指出：民主革命勝利后，中國可以實行人民代表大會制度，按照民主集中制的原則建立從全國到省、縣、區、鄉的人民代表大會系統，并由各級人民代表大會決定大政方針，選舉政府。
1949年9月中國人民政治協商會議舉行第一屆全體會議，這次會議通過的《中國人民政治協商會議共同綱領》，確定中華人民共和國的政治制度是民主集中制的人民代表大會制度。但當時在全國普選的條件還不成熟，自上而下地建立各級人民代表大會也難以進行。所以在建國初期，確定由中國人民政治協商會議第一屆全體會議代行全國人民代表大會的職權。經過幾年的過渡和積累，在1953年我國進行了第一次大規模的普選，自下而上逐級召開了人民代表大會。1954年9月，第一屆全國人民代表大會第一次會議勝利召開，制定了新中國第一部憲法。這部憲法明確規定：中華人民共和國的一切權力屬于人民；人民行使國家權力的機關是全國人民代表大會和地方各級人民代表大會。至此，我國人民代表大會制度以根本法的形式得到正式確立。
