למד במכון הטכנולוגי בפטרבורג, והוסמך כמהנדס. הצטרף לחוגים מהפכניים והשתתף במהפכת 1905. לאחר שהמהפכה דוכאה נמלט לאיטליה, שם עבד כמהנדס ועסק בהקמת מפעלים הידרו-אלקטריים, גשרים וסכרים. באותה תקופה התקרב ליהדות ולציונות. לאחר פרוץ מלחמת העולם הראשונה היה מיוזמי הגדודים העבריים ויחד עם זאב ז'בוטינסקי נסע לארצות הברית במטרה לקדם את הרעיון. עם פרוץ המהפכה הרוסית בשנת 1917 שב לרוסיה ומילא תפקיד בממשלה בראשות אלכסנדר קרנסקי. לאחר מהפכת אוקטובר נאסר על ידי הבולשביקים. לאחר ששה חודשים שוחרר, נימלט לאוקראינה העצמאית ומשם עבר לאודיסה שהיתה בשלטון 'הלבנים'.

בשנת 1919, נואש מהמהפכה הרוסית ועלה לארץ ישראל. לאחר עליתו ערך סקר של מקורות המים בארץ והכין תוכניות לפיתוח מפעלי מים ותחנות כוח שיפיקו חשמל באמצעות מי נהרות. בשנת 1920 אירגן יחד עם זאב ז'בוטינסקי את ההגנה של יהודי ירושלים. בשנת 1921 היה מפקד ארגון ה'הגנה' בתל אביב. באותה שנה קיבל מהממשלה הבריטית זיכיונות להפקת חשמל בארץ ישראל. לאחר קבלת הזכיון עסק בגיוס ההון הנדרש מגורמים שונים, בהם קפא"י, וכן התמודד עם ההתנגדות לתוכניותיו מצד גורמים שונים בפרלמנט הבריטי, בממשלת המנדט, בקרב ערביי ארץ ישראל ובהסתדרות הציונית. ב-29 במארס 1923 הקים רוטנברג את חברת החשמל הארצישראלית. ב-10 ביוני 1923 נחנכה תחנת הכח הראשונה של החברה בתל-אביב. בשנת 1925 נחנכו שתי תחנות נוספות בחיפה ובטבריה.

במרס 1926 קיבל רוטנברג זיכיון להקמת תחנות כח הידרואלקטריות שיופעלו באמצעות מי נהרות הירדן והירמוך. בשנים 1932-1927 הוקמה תחנת הכח בנהריים במפגש הנהרות הירדן והירמוך. אחרי הפעלת התחנה בנהרים ביוני 1932 נפרסה לראשונה רשת חשמל ארצית ואליה חוברו כל תחנות הכח. בשנים הבאות הרחיב רוטנברג את רשת החשמל הארצית, והקים תחנות כח חדשות שנועדו לענות על צרכיו של היישוב היהודי שגדל במהירות. תנאי העבודה שהנהיג בחברת החשמל היו מהטובים בארץ והיוו מודל לחיקוי.

רוטנברג השקיע את עיקר זמנו ומרצו בהקמתה ובפיתוחה של חברת החשמל. עם זאת, בזכות אישיותו התקיפה וכושרו הארגוני, הוא נחשב בעיני רבים, בעיקר בקרב החוגים האזרחיים, מועמד להנהגת הישוב ואולי גם התנועה הציונית. בתקופת מאורעות 1929 התמנה לראש הוועד הלאומי. בשנות ה-30, בזכות מעמדו כאישיות על-מפלגתית, שימש כמתווך בין המחנות היריבים - ההסתדרותי והרוויזיוניסטי. בתיווכו נפגשו בשנת 1934 בלונדון דוד בן-גוריון וזאב ז'בוטינסקי וחתמו על הסכם לונדון להסדרת היחסים בין תנועת הפועלים לתנועה הרוויזיוניסטית. בשנת 1936 כחלק מקבוצת החמישה (יחד עם י"ל מאגנס, משה נובומייסקי, משה סמילנסקי, גד פרומקין) השתתף בנסיונות הידברות עם המנהיגות הערבית. וכן עמד בקשר עם האמיר עבדאללה בניסיון להביא להסדר בין העמים. לאחר פרוץ מלחמת העולם השנייה, בשנת 1940, התמנה שוב לראש הוועד הלאומי, השקיע מאמצים באיחוד המחנות בישוב, אך בשנת 1941 נאלץ לפרוש מהתפקיד עקב מחלתו.