סיים לימודים בסמינר למורים. הצטרף לתנועת 'החלוץ' בווארשה וטיפל בעניני הכספים וההכשרות של התנועה. עלה ארצה בשנת 1929, התיישב בכפר סבא וקבע שם את ביתו. עבד בפרדסי השרון והיה ממנהיגי הפועלים ומראשי סניף מפא"י במושבה. השתתף במאבק לכיבוש העבודה העברית בפרדסי כפר סבא ובשנת 1934 נאסר בשל פעילותו. הקים וניהל את מפעל המים של כפר סבא.

בשנת 1935 הזמין אותו לוי אשכול לעבוד עימו, ושיתוף הפעולה ביניהם נמשך כ-35 שנה. בתחילה שימש ספיר כעוזרו של אשכול בחברת 'ניר', ובשנת 1937 היה לעוזרו וסגנו בהנהלת 'חברת המים מקורות'. במהלך שנות ה-40 מונה למנכ"ל 'מקורות'. במסגרת תפקידו טיפל בהקמת מפעלי מים ברחבי הארץ, ביניהם הנחת קו המים הראשון לנגב.

בשנת 1947 היה חבר בוועדת הנגב, שהכינה את יישובי הדרום למלחמה. עם פרוץ מלחמת העצמאות שימש כסגן ראש אגף האפסנאות של ה'הגנה', ובאוגוסט 1948 נשלח לאירופה במטרה לרכז משם את פעילות הרכש. בשנים 1951-1949 כיהן כמנכ"ל משרד הביטחון. בשנים 1953-1951 שימש כממונה על הפיתוח במשרד החקלאות וכנציב המים הראשון. בשנים 1955-1953, בעת כהונתו של אשכול כשר האוצר, שימש כמנכ"ל משרד האוצר. בשנים 1965-1955 כיהן כשר המסחר והתעשייה. במסגרת תפקידו הקדיש מאמצים רבים להקמת מפעלים בישובי פיתוח ולגיוס הון ומשקיעים למטרה זו. בשנת 1959 נבחר לראשונה לכנסת מטעם מפא"י וכיהן ברציפות בכנסות הרביעית עד השמינית, עד לפטירתו בשנת 1975. בתקופת 'פרשת לבון' היה מראשי המתנגדים לבן-גוריון ול'צעירי מפא"י'. בשנת 1965 עמד בראש מטה הבחירות של 'המערך לאחדות ישראל' והוביל את ההתמודדות עם רפ"י.

בשנים 1968-1963 כיהן כשר האוצר בממשלת אשכול, בחלק מהשנים במקביל לכהונתו כשר המסחר והתעשיה. במהלך אותן שנים פעל להקמתם של מאות מוסדות לימוד, בתי ספר, מכללות ואוניברסיטאות, ותרם לבניית התשתית האקדמית מחקרית בישראל. בשנים 1969-1968 שימש כשר בלי תיק וכמזכ"ל מפלגת העבודה. מבחינה מדינית השתייך לאגף 'היוני' במפלגה, התנגד להמשך השליטה בשטחים ולהקמת התנחלויות. בשנים 1974-1969 שימש שוב כשר האוצר בממשלת גולדה מאיר, ובשנים 1972-1970 כיהן במקביל גם כשר המסחר והתעשייה. אחרי התפטרותה של מאיר מראשות הממשלה בשנת 1974, נחשב למועמד לתפקיד, אך בחר לפרוש מהממשלה. התמנה ליו"ר ההנהלה הציונית והסוכנות היהודית וכיהן בתפקיד עד לפטירתו באוגוסט 1975.

ספיר הוא ממעצביה של כלכלת ישראל ומאבות פיתוח התעשייה. ספיר נודע כאיש ארגון בעל מרץ רב, חריצות ודבקות במטרה. הוא פעל לגיוס הון פרטי וציבורי ויזם הקמת מפעלים באזורי פיתוח במטרה להרחיב את אפשרויות התעסוקה. מתנגדיו מבקרים את סגנון הניהול הריכוזי שלו, שהתבטא ב'פנקס השחור' שבאמצעותו ניהל את עניני המדינה, ואת תמיכתו ביזמים כלכליים שהביאה להתעשרותם, בניגוד לאידיאלים הסוציאליסטיים של מפלגתו. הצניעות והפשטות של אורח חייו מעידות שבראש מעייניו ניצבו תמיד טובת החברה והכלכלה הישראלית.