קיבל חינוך מסורתי-עברי וציוני. בשנת 1905, בתקופת הפרעות ברוסיה, היה ממארגני ההגנה העצמית בפולטבה. באותה שנה הקים יחד עם ידידו דב בר ברוכוב את מפלגת 'פועלי ציון'. בעקבות גילוי מחסן נשק בבית משפחתו נמלט לווילנה, והמשיך לפעול שם במסגרת המפלגה.
בשנת 1907 עלה ארצה, התיישב בירושלים והשתלב בהנהגת 'פועלי ציון' בארץ. השתתף באותה שנה בקונגרס הציוני בהאג ובוועידת היסוד של הברית העולמית של פועלי ציון. בשנת 1910 היה ממייסדיו של בטאון המפלגה, 'האחדות', והשתתף בעריכתו. בשנת 1907 נמנה עם עשרת המייסדים של אגודת השמירה 'בר גיורא'. בשנת 1909 היה ממייסדי ארגון 'השומר'. בשנת 1909 הקים יחד עם רחל ינאית את הגימנסיה העברית בירושלים ונמנה עם המורים הראשונים במוסד. בשנת 1912 יצא עם חבריו להנהגת המפלגה, דוד בן-גוריון וישראל שוחט, ללמוד משפטים בקושטא, כדי להכשיר עצמו לפעילות פוליטית באימפריה העות'מאנית.
עם פרוץ מלחמת העולם הראשונה בשנת 1914 חזרו בן-צבי ובן-גוריון לארץ. הם הטיפו להתעת'מנות של התושבים היהודים, כדי למנוע את גירושם, ואף ניסו להקים מיליציה יהודית שתסייע לתורכים. למרות פעילות זאת הוגלו מהארץ בשנת 1915, נסעו לארצות הברית ובשנות שהותם שם עסקו בפעילות ציונית: ייסדו את תנועת 'החלוץ' המקומית וחיברו ספר ביידיש, 'ארץ ישראל בעבר ובהווה'. הם פעלו להקמת הגדודים העבריים, ועם הקמתו של הגדוד האמריקאי, התגייסו אליו ושבו עמו לארץ בשנת 1918. באותה שנה נישא בן-צבי לרחל ינאית בן-צבי.
פעל לאיחוד ציבור הפועלים בארץ. בשנת 1919 השתתף בהקמת 'אחדות העבודה' ונבחר למרכז המפלגה. בשנת 1920 השתתף בהקמת אסיפת הנבחרים וההסתדרות הכללית ונבחר למזכירות הוועד הפועל של ההסתדרות. שימש כנציג הוועד הפועל בירושלים. השתתף בקונגרסים הציוניים, בכנסים בין-לאומיים של מפלגות פועלים ובוועידות בעניני ארץ-ישראל. ממארגני הוועד הלאומי בשנת 1920 ומחברי הנהלתו. היה חבר במועצת עיריית ירושלים משנת 1927 ואילך. בשנות ה-20 היה מראשי ה'הגנה'. בשנת 1930 השתתף באיחוד 'הפועל הצעיר' ו'אחדות העבודה' במסגרת מפא"י.
בשנת 1931 נבחר לתפקיד יושב ראש 'הוועד הלאומי'. בשנים 1948-1944 כיהן כנשיא הוועד הלאומי והיה מראשי הדוברים של הישוב היהודי. בשנת 1948 היה חבר מועצת העם ומועצת המדינה הזמנית ונמנה עם החותמים על מגילת העצמאות. לאחר הקמת המדינה כיהן כחבר כנסת מטעם מפא"י בכנסות הראשונה והשנייה בשנים 1952-1949. בכנסת הראשונה היה חבר בוועדת הפנים. בכנסת השנייה היה חבר בוועדת הכנסת ובוועדת הפנים.
לאחר פטירתו של חיים ויצמן בשנת 1952, נבחר לנשיאה השני של מדינת ישראל. העביר את בית הנשיא לירושלים, ובימי כהונתו היה ביתו פתוח לכל הציבור. בזכות עממיותו, פשטות הליכותיו וצניעותו היה אהוב על העם. נפטר ב-23 באפריל 1963, בתחילת הקדנציה השלישית שלו בתפקיד.
במקביל לפעילותו הציבורית עסק במהלך השנים בחקר תולדות הישוב היהודי בארץ ישראל ובחקר קהילות ישראל במזרח. פרסם ספרים, מחקרים ומאמרים רבים בנושא. על שמו 'יד יצחק בן-צבי' בירושלים, מוסד חינוכי ומחקרי העוסק בחקר תולדות ארץ ישראל, חקר ירושלים וחקר קהילות ישראל במזרח.