למד משפטים ופילוסופיה באוניברסיטאות היידלברג, מרבורג וברלין בגרמניה. קיבל תואר דוקטור למשפטים באוניברסיטת היידלברג בנת 1920. מנעוריו היה פעיל בתנועה הציונית בגרמניה. במלחמת העולם הראשונה עבד במחלקה היהודית של משרד החוץ הגרמני וניסה להשיג את תמיכת השלטון בגרמניה בתנועה הציונית. בשנת 1920 הקים בברלין את הוצאת הספרים 'אשכול' שהוציאה לאור בשנים 1933-1925 את האנציקלופדיה 'יודאיקה', שפירסומה  נפסק בעקבות עליית הנאצים לשלטון בגרמניה. (בהמשך לכך, בשנות השישים יזם גולדמן את הוצאתה לאור של האנציקלופדיה יודאיקה באנגלית). בשנים 1933-1926 היה חבר הוועד הפועל של ההסתדרות הציונית בגרמניה. בשנות ה-20 היה מראשי הסיעה הרדיקלית בהסתדרות הציונית וממתנגדיו של של וייצמן. הוא התנגד לנסיונו של ויצמן להפוך את 'הסוכנות היהודית' לגוף הייצוגי של העם היהודי, לתמיכתו של וייצמן בתנועת הפועלים ולהתרכזותו של וייצמן בפעילות בארץ ישראל והזנחת הפעילות בגולה. משנת 1929 היה גולדמן חבר הוועד הפועל הציוני ומשנת 1934 חבר ההנהלה הציונית. שימש כנציג הסוכנות היהודית בחבר הלאומים בז'נבה בשנים 1940-1934.  בשנות ה-30 התקרב לוייצמן ולמדיניותו. היה מיוזמיו וממייסדיו של הקונגרס היהודי העולמי בשנת 1936, והתמנה ליו"ר חבר המנהלים. בעקבות עליית הנאצים לשלטון נשללה אזרחותו הגרמנית והוא עבר לניו יורק. עם תחילת מלחמת העולם השנייה הקים את 'ועד החירום הציוני' ושימש כנציג הההנהלה הציונית בניו-יורק. הוא השתתף במאמצים המדיניים להקמתה מדינה יהודית בארץ ישראל. בשנת 1947 יחד עם וייצמן ובן גוריון תמך בתכנית החלוקה בטענה שהישרדות חשובה מטריטוריה.

לאחר הקמת המדינה היה לדמות מרכזית בהסתדרות הציונית העולמית והיה מדובריה החשובים בקרב מנהיגי העולם. הוא כיהן כנשיא הקונגרס היהודי העולמי בשנים 1978-1953 ונשיא ההסתדרות הציונית העולמית בשנים 1968-1956. במסגרת תפקידיו עסק בנושאים יהודיים ולא רק בנושאים ציוניים. הוא האמין שמדינה יהודית לא תפתור את כל בעיות העם היהודי ושגולה חזקה הכרחית ואף רצויה. הוא סבר שתמיכת יהודי הגולה נחוצה לקיומה של מדינת ישראל ושיש להתחשב בדעת הקהל בעולם. דיעותיו עוררו ביקורת והיו שהאשימו אותו בתפישת עולם גלותית.  וגררו עימותים עם רבים ממנהיגי מדינת ישראל.

לאחר קום המדינה היה השתתף במשא ומתן עם גרמניה על הסכם השילומים. הוא הקים את ועד הארגונים היהודיים (COJO) ופעל למען יהדות רוסיה, ולמען הפצת חינוך יהודי ותרבות יהודית. גולדמן ראה בהתבוללות איום על המשך קיומה של יהדות העולם ועל כן ייחס חשיבות רבה להקמת מוסדות יהודיים פעילים ומלאי חיים בגולה.

גולדמן קיבל אזרחות ישראלית בשנת 1962, אולם לא השתקע בארץ אלא חילק את זמנו בין ישראל לשווייץ. הוא ביקר את 'שיכרון הכוח' של החברה הישראלית בעקבות הניצחון במלחמת ששת הימים והטיף לגישה פייסנית יותר כלפי הערבים ולנסיגה מהשטחים הכבושים.  

בשנת 1978 הוקם בקמפוס אוניברסיטת תל אביב בית התפוצות על שם נחום גולדמן, שהציע את הרעיון להקים מוזיאון לפזורה היהודית.