במוקד 'אחדות העבודה-פועלי ציון עמד 'הקיבוץ המאוחד', כפי שהיה המצב מאז עזיבת מפא"י ב-1944. בעבר הורכבה מסגרת פוליטית זו על-ידי שני מרכיבים: המרכיב העירוני - סיעה ב', והמרכיב הקיבוצי - 'הקיבוץ המאוחד' שחברו לברית בה נשמר האיזון בין שניהם. בשנת 1952 פרשה מחטיבת 'אחדות העבודה' במפ"ם קבוצת ליבשיץ-למדן, שהנהיגה בעבר את סיעה ב', ומאז עברה הנהגת החטיבה לידי הנהגת 'הקיבוץ המאוחד' באופן בלעדי, תוך הפרת האיזון בין המרכיב העירוני למרכיב הקיבוצי במפלגה.

קבוצת ליבשיץ-למדן שהיתה מורכבת מותיקי סיעה ב' העירוניים חלקה על הדומיננטיות של הנהגת הקיבוץ המאוחד בחטיבת אחדות-העבודה במפ"ם ולא קיבלה את הדרתם של הפעילים העירוניים ממוקדי ההשפעה. בנוסף לזה התנגדו אנשי הקבוצה לאוריינטציה הפרו-סובייטית במפלגה והיו קרובים יותר בתפיסתם המדינית לגישות המסורתיות במפא"י. לאחר הפילוג הצטרפה קבוצה זו למפא"י.

ציבור נוסף אליו לא הצליחה המפלגה לחדור, למרות נתוני פתיחה חיוביים היה ציבור עולי ארצות המזרח: ב'קיבוץ המאוחד' הייתה קבוצה גדולה של יוצאי ארצות ערב ועל כן קיוותה המפלגה לתמיכה אלקטוראלית בשכונות ובמעברות. המפלגה השקיעה מאמצים רבים לחדור אל הציבור המזרחי, אך למרות ההצלחות המזדמנות, היא נכשלה במאמציה. יתכן כי כישלון זה נבע מכך שלא יכלה לתגמל את חבריה המזרחיים בדרכה של מפא"י, באמצעות שילוב במשרות ותפקידים ואולי משום שהיא הצטיירה בעיני רבים כחלק מהממסד.

עמדותיה הרעיוניות של 'אחדות העבודה' היוו גורם משיכה לציבור הרחב. המפלגה החדשה בנתה על האטרקטיביות שלה כתנועה היושבת בגבולות ונושאת את דגל האקטיביזם הביטחוני. דימוי זה הקל על הזדהות מצד הציבור שהיה נתון לחרדות קיומיות בשל פעולות הסתננות בגבולות.

בשנתיים הראשונות לקיומה העצמאי של המפלגה, בין השנים 1956-1954, סבלה מדינת ישראל ממצב ביטחוני מתוח. מנהיגי 'אחדות העבודה' ראו במציאות זו מצב של מלחמה ודרשו מן הממשלה לפתוח במלחמת מנע לאלתר. המפלגה תמכה בכל הצעדים צבאיים שעליהם החליט ראש הממשלה, ומאז הצטרפותה לקואליציה בשנת 1955 היא נהפכה לתומכת העיקרית במדיניותו הביטחונית של דוד בן-גוריון, גם כשזו נתקלה בהתנגדות חבריו למפלגה. נציגיה בממשלה היו היחידים ששותפו בסוד ההכנות למבצע סיני. לעומת זאת חלקה 'אחדות העבודה' על מדיניות החוץ של בן-גוריון, אשר התמקדה בחיפוש מסגרות רב-לאומיות במערב אשר יבטיחו מטריה צבאית ודיפלומטית למדינת ישראל. 'אחדות העבודה' הטיפה למדיניות חוץ של 'הסתמכות על עצמנו', ודיפלומטיה ניטרלית, אשר תמנע מישראל הסתבכות במאבק הבין-גושי וב'מלחמה הקרה'.

בעמדותיה החברתיות המשיכה אחדות העבודה להחזיק בעמדות שאיפיינו את דרכה בהיותה במסגת מפ"ם , אשר תמציתן היתה קיום 'משטר חלוצי' - כלומר, תמיכה בטיפוח ההתיישבות החלוצית, תמיכה בדמוקרטיזציה של ההסתדרות הכללית, חיזוק הארגון המקצועי ובכלכלה הבנויה על המשק הציבורי.

סלע המחלוקת העיקרי בין המפלגה למפא"י נבע מתפיסתם של מנהיגיה את יחסו של דוד בן גוריון לתנועה הקיבוצית בכלל ולקיבוץ המאוחד בפרט כיחס עויין. דוד בן גוריון ראה בממלכתיות ערך מרכזי, לפיו המדינה אחראית לקביעת היעדים, בעוד תפקידה של התנועה הקיבוצית הנו הגשמת יעדים אלו. הנהגת הקיבוץ המאוחד ראתה בגישתו הממלכתית דרישה מן התנועה לוותר על האוטונומיה שלה ועל-כן התנגדה לה.

עם זאת פגמה חולשתה הארגונית של המפלגה ביכולתה להתארגן לפעילות רציפה, שאינה מכוונת להשגת יעדים קצרי מועד. חולשה זו העיקה על מנגנון המפלגה ופגעה בנכונות הפעילים לקיים את המפלגה. לאחר מבצע סיני והרגיעה הביטחונית שבאה בעקבותיו, פחתה משמעותו של הפן הביטחוני בפעילות המפלגה. במקביל איבדו מחשיבותן גם העמדות שדגלו במקסימליזם התיישבותי (עד 1967).
בתקופה שבין פילוגו של 'הקיבוץ המאוחד' בשנת 1951 עד למלחמת ששת הימים עלה על הקרקע רק קיבוץ אחד השייך לזרם זה. בראשית שנות השישים נותר מהרדיקליזם של המפלגה מעט מאד. האוריינטציה לברית המועצות נזנחה במחצית שנות החמישים ומהסוציאליזם המרקסיסטי נותרו (לצד הדיונים בהיבטים התיאורטיים) רדיקליזם מקצועי בהסתדרות וחילוניות. בשנת 1958 גרם ישראל בר-יהודה, שר הפנים מטעם המפלגה, למשבר ממשלתי בשל סירובו להגדיר את הזהות היהודית על בסיס ההלכה.

ההתרוקנות האידיאולוגית לצד משבר ארגוני רציף, שנבע מכשלון המפלגה להקים מנגנון אפקטיבי שינהל אותה, באו לידי ביטוי בבחירות לכנסת בשנת 1959. רבים מחברי המפלגה החלו לפקפק בצורך בהמשך קיומה העצמאי של 'אחדות העבודה'. הדיון הציבורי הן בתוך המפלגה והן מחוצה לה נפתח עם פרסום מאמרו של יצחק בן-אהרון 'עוז לתמורה בטרם הפורענות' שראה אור בינואר 1963. המאמר קרא להקמת ברית בין כל מפלגות הפועלים ושותפות במסגרת אחת. המאמר ראה אור בתקופה שבה הגיע המשבר במפא"י לשיאו על רקע המחלוקות הפנימיות שהתנהלו בתוכה בנושא 'פרשת לבון' (פרשת הריגול במצרים שכונתה גם 'עסק הביש'). ביוני 1963 התפטר דוד בן גוריון מתפקיד ראש הממשלה. ויכוח נקודתי הפך למאבק בין הנהגת מפא"י הוותיקה לבין בן גוריון ותומכיו מבין צעירי מפא"י. הנהגת מפא"י הוותיקה נטתה לאיחוד עם 'אחדות העבודה' כמשקל נגד לבן-גוריון ולתומכיו. למרות תמיכה רחבה בסניפי 'אחדות העבודה' ברעיון האיחוד עם מפא"י, שללה ההנהגה הוותיקה של 'אחדות העבודה' בראשות יצחק טבנקין את רעיון האיחוד ודרשה כי איחוד שכזה יתבצע רק בכפוף לאיחוד עם מפ"ם. סוגיית האיחוד הצפוי עם מפא"י פילגה את צמרת 'אחדות העבודה' בין קבוצת יצחק טבנקין (שהציבה תנאים מוקדמים לאיחוד) לבין קבוצה בראשות ישראל גלילי ויגאל אלון שנטתה לאחוד עם מפא"י לאלתר.

בשנת 1965, במקביל להקמת רפ"י ופרישת אנשיה ממפא"י, הקימו 'אחדות העבודה-פועלי ציון' ומפא"י את 'המערך לאחדות פועלי ארץ-ישראל' ('המערך הקטן'), שהשתתף באותה שנה בבחירות לכנסת הששית, לרשויות המקומיות ולהסתדרות. בשנת 1968 התאחדו 'המערך הקטן' ורפ"י במסגרת מפלגת העבודה הישראלית.