במלחמת העולם הראשונה שירת בצבא הרוסי, נפצע בקרב, וקיבל עיטור גבורה. בשנת 1917 התוודע ליוסף טרומפלדור, הושפע ממנו ומרעיונותיו על הקמת כח צבאי יהודי והתקרב לציונות. בשנת 1918 התגייס לצבא האדום ושירת כמפקד פלוגה. בתום המלחמה החל ללמוד פילוסופיה ופילולוגיה באוניברסיטת סימפרופול שבקרים. באותה תקופה עסק בספורט (היאבקות והרמת משקולות), פעל כמדריך ספורט בארגונים יהודיים וכתב בעיתון פועלים מקומי. בעקבות פגישה נוספת עם טרומפלדור הצטרף לארגון 'החלוץ בקרים.

בשנת 1920, בעקבות נפילת טרומפלדור בתל חי, עזב את לימודיו ועלה לארץ ישראל בראש קבוצה מחברי 'החלוץ' בקרים. נמנה עם מייסדי "גדוד העבודה וההגנה ע"ש יוסף טרומפלדור" והיה ממנהיגיו. עסק בגדוד בהכשרת עובדים ובהשגת עבודה עבור החברים. יזם את כיבוש עבודת החציבה, שבה התמחה ואליה חזר בהמשך. אחרי פירוקו של הגדוד בשנת 1928 עבד בתחנת הכח בנהריים ואחרי כן ניהל מחצבות בעתלית ובירושלים. התבלט בכושרו הגופני גבוה והיה ממייסדי אגודת הספורט 'הפועל' .

לאחר עליתו ארצה הצטרף לארגון ה'הגנה'. בתקופת מאורעות 1921 השתתף בהגנה על תל-אביב וירושלים. שימש כנציג 'גדוד העבודה' בוועד ה'הגנה' ופיקד על קורס המפקדים הראשון של הארגון שנערך בכפר גלעדי. במאורעות 1929 פיקד על עמדות מפתח באזור חיפה ואחר כך מונה למפקד ה'הגנה' בצפת. בתקופת מאורעות 1939-1936 החל להתבלט כמפקד אמיץ ובעל תושיה שהנהיג חידושים בשיטות הלחימה של ה'הגנה'. כשהחלו המאורעות, בשנת 1936, מונה למפקד אזור הר-טוב והקים את 'הנודדת', פלוגה שביצעה פעילות התקפית במרחב. היתה זו תחילתה של טקטיקת 'היציאה מהגדר': הפעלת כוחות קטנים וניידים במשימות התקפיות, שהרחיקו את זירת הלחימה מהיישובים העבריים אל כפרי האויב. בעקבות הצלחתה של 'הנודדת', הקים בקיץ 1937 את פלוגות השדה (פו"ש), שפעלו ברחבי הארץ בהתאם לגישה ההתקפית והניידת ופיקד על פעולותיהן, בהן העליה לחניתה. בתום המאורעות ופירוק יחידות הפו"ש עבר לפקד בשנים 1940-1939 על הפו"ם, היחידות למשימות מיוחדות.

בתקופת מלחמת העולם השנייה, בשנים 1945-1941, הקים את הפלמ"ח ופיקד עליו. מלבד גיבוש אירגוני וצבאי של הכוח, השקיע רבות גם בחינוך רוחני של ובהקנית אידאלים של ציונות, שיתוף ורעות. בפיקודו הפך הפלמ"ח מיחידה קטנה לכוח צבאי מוביל של ה'הגנה'. בתקופה זו זכה לכינוי החיבה 'הזקן' מצד פקודיו. לשיטות האימון, טקטיקות הלחימה והאסטרטגיה שהקנה לפקודיו היתה השפעה רבה על ה'הגנה' ועל צה"ל בהמשך. במסגרת הפלמ"ח חינך שדה דורות של מפקדים ושימש להם מופת.

בשנת 1941 תכנן את 'מצדה על הכרמל', תוכנית הגנה כוללת של היישוב למקרה של פלישה גרמנית. משנת 1945 שימש כרמטכ"ל בפועל של 'ה'הגנה', והיה אחראי על כל פעולות הלחימה של הארגון. פיקד על תנועת המרי העברי בתקופת פעילותה (אוקטובר 1945-אוגוסט 1946). בקיץ 1947 הורחק מתפקידו בשל דרישתו לנקיטת קו אקטיביסטי יותר כלפי הבריטים.

בראשית מלחמת העצמאות מונה לראש שירות המשוריינים (שמ"ש) של ה'הגנה'. באפריל 1948 פיקד על הקרבות במשמר העמק ועל מבצע 'יבוסי' בירושלים ובסביבתה. כשהוקם צה"ל קיבל דרגת אלוף ומונה למפקד חטיבת השריון (חטיבה 7). השתתף בראש החטיבה במבצע 'דני' לכיבוש לוד ורמלה, בכיבוש משטרת עיראק סווידאן במסגרת 'מבצע יואב' , ובמבצעי 'אסף' ו'חורב' לשחרור הנגב. בתום מלחמת העצמאות פרש מהשירות הצבאי בשל יחסיו המעורערים עם דוד בן-גוריון ובשל זיהויו כאיש מפ"ם. אחרי כן חזר לעסוק בחציבה, שימש נציג מפ"ם בעירית תל-אביב ועסק בכתיבת סיפורים קצרים, מאמרים, מחזות ופרקי זיכרונות. נפטר בשנת 1952 לאחר מחלה קשה.