ההסתדרות הוקמה על רקע התנאים המיוחדים ששררו בארץ ישראל באותה תקופה: מלחמת העולם הראשונה הותירה את הישוב היהודי מוכה וחבול; הפיצול הפוליטי בקרב ציבור הפועלים פגע באינטרסים המשותפים ובקליטתם של עולי העליה השלישית; הצהרת בלפור והעברתה של ארץ ישראל לשליטה בריטית עוררו תקוות להשגת פתרון ממשי לעם היהודי; ההסתדרות הציונית לא היתה ערוכה עדיין לביצוען של המשימות הלאומיות וגם של המעשה היומיומי בארץ ישראל. בישוב שררה הרגשה כי העם היהודי עלול להחמיץ הזדמנות היסטורית.
הנסיון שצברה תנועת הפועלים הארצישראלית מאז ימי העליה השניה והמסגרות הפוליטיות, הארגוניות והכלכליות שהקימו חבריה נראו אז כבסיס המעשי היחיד להגשמת הציונות. גבר הלחץ בתוך תנועת הפועלים להתגבר על חילוקי הדיעות הרעיוניים ועל הבדלנות המפלגתית ולהקים מסגרת כוללנית שתפעל לקידום האינטרסים הלאומיים והמעמדיים. שתי המפלגות הגדולות, 'אחדות העבודה' ו'הפועל הצעיר' החליטו לערוך ועידה משותפת של כל פועלי ארץ ישראל במטרה לקבוע את דרכי הפעולה המשותפות וליצור את הכלים הנדרשים לכך.
לקראת הוועידה נערכו בחירות שבהן השתתפו 4,433 פועלים ופועלות. בבחירות אלה נקבע הרכב המשתתפים בוועידה: 'אחדות העבודה' - 37 צירים; 'הפועל הצעיר' - 26 ; 'רשימת העולים החדשים' (כללה גם את 'החלוץ' ו'השומר הצעיר' - 16 ; מפס"ע - 6 ; רשימה בלתי מפלגתית - 2.
הוועידה התכנסה בטכניון בחיפה בימים כ"ג-כ"ח בכסלו תרפ"א (9-4 בדצמבר 1920) בהשתתפות 87 הצירים ובנוכחות קהל של כאלף פועלים מכל רחבי הארץ. יוסף ברץ נשא דברי פתיחה קצרים, שבהם הדגיש את האחריות הרובצת על צירי הוועידה, ואמר כי 'בתוצאותיה של ועידה זו תלוי גורלנו בארץ' ו'מן הוועידה הזאת לא נצא בלי אחדות הפועלים'. ברל כצנלסון שנאם אחריו הדגיש גם הם את חשיבות המעמד עבור ציבור הפועלים באמרו: 'עיני ארבעת אלפים פועלים נשואות אלינו ומצוות עלינו: התגברו! זוהי פקודה, אותה חשים כולנו - ולה נשמע!'.
הוועידה נמשכה חמישה ימים שבמהלכם התנהלו דיונים סוערים על רקע חילוקי הדיעות והיריבות בין שתי המפלגות הגדולות. 'אחדות העבודה' ביקשה להרחיב את תחומי הפעולה של הארגון החדש ואת סמכויותיו, ואילו 'הפועל הצעיר' ביקשה לצמצמם. 'אחדות העבודה' שאפה לאחד את פעילות המפלגות במסגרת ההסתדרות, בעוד ש'הפועל הצעיר' ביקשה להמשיך לשמור על קיומה העצמאי. 'אחדות העבודה' ביקשה להעביר את עניני התרבות לאחריותה של ההסתדרות וליסד עיתון יומי ואילו 'הפועל הצעיר' התנגדה לכך. בסופו של התגברו המפלגות על חילוקי הדיעות, גיבשו פשרות והגיעו להחלטה מוסכמת. תרמו לכך צירי רשימת העולים החדשים, אשר היוו 'לשון מאזניים' בוועידה ואשר פעלו לאחדות ולליכוד השורות. ההחלטות של הוועידה בנוגע למהותה של ההסתדרות ולתפקידיה הלאומיים והמעמדיים היוו בסיס לחוקת היסוד של ההסתדרות. להלן הנוסח המלא של ההחלטות שהתקבלו בוועידה:
החלטות ועידת היסוד של ההסתדרות הכללית (1920)
ההסתדרות הכללית
ועידת פועלי ארץ ישראל יוצרת הסתדרות כללית של העובדים העברים בארץ ישראל.
חוקת ההסתדרות
א) ההסתדרות הכללית מאחדת את כל הפועלים והעובדים בארץ, החיים על יגיעם מבלי לנצל את עבודת זולתם, לשם סידור כל הענינים הישוביים הכלכליים וגם התרבותיים של כלל העובדים בארץ, לבנין חברת העבודה העברית בארץ ישראל.
ב) ההסתדרות מורכבת מאגודות מקצועיות, המאחדות את החברים לפי משלח ידם.
ג) חוג פעולתה של ההסתדרות הכללית:
1) סידור ופיתוח משקים חקלאיים וענפי עבודה בכפר ובעיר, סידור גדודי עבודה, קבוצות לחקלאות ולחרושת.
2) קבלת עבודה וסידורה.
3) ארגון הפועלים בהסתדרויות מקצועיות כלליות, המקיפות את כל העובדים למקצועותיהם על בסיס בלתי מפלגתי.
4) השבחת תנאי העבודה והרמת פריונה.
5) חינוך עבודה והשתלמות מקצועית.
6) הספקה קואופרטיבית.
7) עזרה הדדית.
8) ארגון שמירה והגנה.
9) קבלת העולים לארץ וסידורם בעבודה.
10) סידור העליה של העובדים בחוץ לארץ.
11) הנחלת הלשון העברית לעובדים.
12) יצירת מוסדות לעבודה תרבותית לשם השכלה חקלאית ומקצועית; סידור ספריות ושיעורים מדעיים שימושיים; ספרות מקצועית.
13) עיתונות מקצועית וביוליטין ההסתדרות הכללית.
ד) ההסתדרות באה בקשר עם כל המוסדות, ההסתדרויות והמפלגות העבריות והבלתי עבריות בין אלו שבארץ ובין אלו שבחוץ לארץ, לשם ביצור העובד העברי בארץ ובנין ארץ ישראל העובדת. הקשר הוא רק מעשי.
ה) ההסתדרות באה בקשר מעשי והסתדרותי עם כל הסתדרויות החלוצים והמתכוננים לעליה שבחוץ לארץ למען התאם את פעולתם וחינוכם לצרכי העבודה בארץ.
ו)ההסתדרות פונה אל כל הסתדרויות העובדים העברים בארצות הגולה, המכירים בארץ ישראל העובדת, בדבר הצורך המוחלט ליצור מוסד כללי בין מפלגתי לשם עבודה מעשית לבנין חברת העובדים בארץ ישראל.
ז) ההסתדרות שולחת את באי כוחה למוסדות ההתיישבות, כגון: הנהלת הקרן הקיימת לישראל וכו'.
ח) ההסתדרות הכללית היא היחידה העוסקת בכל הענינים הנכנסים לחוג פעולתה, והיא גם באת הכוח היחידה של כל העובדים בארץ, כלפי פנים וכלפי חוץ, בכל אותם הענינים.
החלטות שונות
1) הוועידה בוחרת מקרבה מועצה בת 23 חברים. משאירים במועצה שני מקומות לבאי כוח הפועלים התימנים ושנים לנבחרות הסתדרות הפועלות. למועצה נמסר יפוי כוח לנהל ולסדר את כל ענייני ההסתדרות עד הוועידה הבאה, לבחור את מרכזה ואת הנהלת כל המוסדות המרכזיים (משרד העבודה, משרד העליה, קופת חולים, ועדת תרבות וכו').
2) כל המוסדות המטפלים בעניינים הנכנסים לחוג פעולת ההסתדרות, הקיימים עכשיו ברשותן של המפלגות בארץ, עוברים לרשותה של ההסתדרות הכללית.
3) הפעולה הראשונה של ההסתדרות היא לסדר ולארגן את הסתדרות הפועלים החקלאים הכללית.
4) הוועידה מחייבת את המועצה ליצור במשך שבועיים את משרד העבודה הציבורית המאוחד.
5) הוועידה מחליטה לגשת מייד ליצירת בנק הפועלים ומחייבת את כל הפועלים העובדים להשתתף במעשה יצירה זו. לשם כך נבחרת ועדה בת שלושה חברים: א. בלומנפלד, נ. טברסקי, ב. כצנלסון.
6) הוועידה מחליטה לקיים את ארבע נקודות העבודה: קלנדיה, תלפיות (סביב ירושלים), כרמל, הר כנרת, שהמשלחת הציונית גזרה עליהן ביטול באמצע שנת העבודה.