מייסדי הקיבוץ הם חלוצים מפלוגת ירושלים של 'גדוד העבודה'. חברי הפלוגה עלו ארצה בשנת 1921 מליטא ומרוסיה והתיישבו בירושלים במטרה ליישב את העיר ולעבוד בעבודות שבאופן מסורתי עסקו בהן ערבים: חציבה, בניין וסבלות. בשנת 1926 הם עזבו את המחנה הזמני שלהם והקימו את הקיבוץ בדרום ירושלים. במאורעות 1929 הותקף הקיבוץ על ידי מאות ערבים. חברי הקיבוץ נאלצו לנטוש את המקום והוא נחרב כליל.
כעבור שנה שבו חברי הקיבוץ והקימו אותו מחדש והפעם בבנייה חזקה יותר, שעמדה מאוחר יותר בהתקפות הפורעים במאורעות 1939-1936. חדר האוכל של הקיבוץ היה הראשון בתנועה הקיבוצית אשר נבנה מאבן. בקיבוץ נקלטו קבוצות של עולים, בעיקר מפולין גרמניה ורוסיה. הקיבוץ התפתח והתושבים הקימו רפת, מכבסה ומאפיה מסחרית. רבים מחברי הקיבוץ התפרנסו בעבודות חוץ במפעלי האשלג בים המלח ובסבלות בתחנת הרכבת של ירושלים. בסוף שנות הארבעים התגוררו בקיבוץ כ-250 איש.
במלחמת העצמאות הוקף הקיבוץ בצבאות אויב ונותר מנותק ומבודד. במשך חודשים אחדים הצליח להחזיק מעמד. אך לבסוף בעקבות הלחץ הכבד של הצבאות הירדניים והמצריים נאלצו החברים לסגת לתלפיות. בזכות חשיבותו האסטרטגית של הקיבוץ, כעמדת המגן של ירושלים מצד דרום, מול בית לחם וחברון, התקבלה תגבורת צבאית. בקרבות שהתנהלו עבר אזור הקיבוץ שלוש פעמים מיד ליד עד שבסופו של דבר נהדפו התוקפים. במהלך הקרבות נהרס הקיבוץ כליל. 13 מחברי הקיבוץ ו-40 חיילים נהרגו בקרבות ורבים נפצעו. לקראת סיום המנדט הבריטי פרצו כוחות ה'הגנה' והפלמ"ח את הדרך בין רמת רחל לבין ירושלים. כשהסתיימו הקרבות הקיף קו הגבול את הקיבוץ כמעט מכל עבריו.
בעקבות תלאות המלחמה עזבו חברים רבים את הקיבוץ, חלקם עברו לקיבוץ עין כרמל. ארבעים חברים חזרו לבנות את רמת רחל מחדש, בפעם השלישית. השנים הבאות בקיבוץ היו קשות בשל מספר החברים הקטן, העדר מקורות פרנסה ומחסור חמור באדמות ובמים. מדי פעם סבל הקיבוץ מהתקפות ירדניות. באחת מהן בספטמבר 1956 נהרגו ארבעה אנשים בכנס לידיעת הארץ באתר ארכיאולוגי סמוך. למרות הקשיים החל הקיבוץ אט אט להתפתח. בשנים 1971-1965 הצטרפו גרעיני השלמה של 'הנוער העובד והלומד'.
במלחמת ששת הימים סבל הקיבוץ מהפגזות ירדניות, חדר האוכל נהרס מפגיעה ישירה ונגרמו אבידות בנפש. חברי הקיבוץ נאלצו שוב לשקם את הקיבוץ. בשנות השבעים הצטרף גרעין נח"ל שתרם משמעותית לפיתוח הקיבוץ.