נולד ב-14 ביוני 1910 ביפו למשפחה חסידית שעלתה לארץ ישראל מרומניה. התחנך בגן העברי ביפו, ואחרי כן החל ללמוד בבית הספר 'תחכמוני' בנווה צדק. בתקופת מלחמת העולם הראשונה גורשה משפחתו לזכרון יעקב, ושם למד בבית הספר בו לימד הסופר י"ח ברנר. עם כיבוש ארץ ישראל בידי הבריטים, חזרה משפחתו לתל אביב, שם סיים את לימודיו בבית הספר העממי לבנים. אחרי כן הצטרף לתנועת 'הנוער העובד', שנוסדה באותה תקופה, והחל לעבוד, בתחילה ביישור החולות ובבניין, אחרי כן קיבל עבודה קבועה יותר בבית הדפוס 'אחדות'. אחרי כך עבר לעבוד כחשמלאי. 

בילדותו לא זכה דוד זהבי לקבל חינוך מוזיקלי מסודר, בשל חוסר ענין של הוריו ובשל חוסר אמצעים. עם זאת נחשף לסגנונות מוזיקליים שונים: צלילי זמירות של שבת ויום טוב ששמע בביתו ובבית הכנסת וצלילי בתי הקפה הערביים שבקרבת ביתו ביפו. בגיל שמונה  למד בכוחות עצמו לנגן בחליל. מאוחר יותר נתנה לו אחותו כינור ושלחה אותו לקבל שעורי נגינה ראשונים. במהרה עבר ללמוד נגינה בפסנתר, אשר קסם לו יותר ועושר צליליו דיבר אל לבו יותר. בגיל 17 הלחין את שירו הראשון 'אורחה במדבר', שהיה לאחד המפורסמים שבשיריו. כחבר הסתדרות 'הנוער עובד' בחר בתחילת דרכו להלחין שירים הקשורים לתנועה, לעבודה ולמצוקת העובד. כך נוצרו השירים  'שיר המחנה' (שנחשב להמנון 'הנוער העובד'), 'מפוחית בין השיניים', 'שירו שיר תודה לברכת העבודה' ועוד.

בשלהי שנות ה-20 שררו בארץ ישראל משבר גדול ואבטלה, ובתנועת 'הנוער העובד' הוחלט להפנות את הנוער להכשרה חקלאית ולהתיישבות. דוד זהבי הצטרף לקבוצה הראשונה של  'הנוער העובד' שיצאה לעבוד במושבות יהודה ולאחר מכן התגבשה לגרעין התיישבותי. בשנת 1930 הקימו חברי הקבוצה, ובהם דוד זהבי,  את קיבוץ נען. בתקופה זאת שינה דוד זהבי את שם משפחתו המקורי 'גולדיס' ל'זהבי'. מלבד עבודתו בקיבוץ כחשמלאי, ארגן מקהלה ואירועי מוזיקה במסגרתם גם החל להלחין. הפסנתר ששימש אותו בימיה הראשונים של נען, נרכש בזכותו של דוד כהן, ממייסדי 'הנוער העובד', אשר דאג לגיוס כספים למטרה זו. אט אט החל לחניו של זהבי להתפרסם בכל הארץ והוא הפך לאחד המלחינים הידועים בזמנו.

הנוף הכפרי והעבודה בחיק הטבע השפיעו על יצירתו של דוד זהבי והביאו להלחנת שירים כגון: 'מלאו אסמינו בר', 'שיר השדה', 'ישושום מדבר וציה', 'החליל' ועוד. הוא הרבה להלחין משיריהם של משוררים מן ההתיישבות העובדת, כגון: זרובבל גלעד מעין חרוד, פניה ברגשטיין ויהושע רבינוב מגבת, רחל מכנרת, חנה סנש משדות ים, משה בסוק מאשדות יעקב, חנן שדמי מכפר בלום ועוד.

בתקופת המאבק בשלטון הבריטי ובימי מלחמת העצמאות הלחין זהבי שירים שהיו לקלאסיקה כגון: 'המנון הפלמ"ח', 'הן אפשר', 'שיר אפור' ו'יצאנו אט' (למילותיו של חיים חפר), 'הליכה לקיסריה' ו'אשרי הגפרור' (למילותיה של חנה סנש), 'זמר לספינה' ואחרים. בסך הכל הלחין במהלך השנים כ-400 שירים, מתוכם פורסמו בדפוס כ-200. זהבי עצמו תרם להפצת הזמר העממי באמצעות ערבי  שירה בציבור שערך בישובי ההתיישבות העובדת בכל הארץ. בשנת 1961 זכה זהבי בפרס אלקוני (במסגרת פרס אנגל) מטעם עירית תל-אביב 'על יצירותיו, על נעימות עם ושירי ילדים שנתחברו במשך שנים רבות ונעשו לשירי עם'.

דוד זהבי סבר שיצירתו צריכה היתה לענות על צרכים רבים של מסכת חיים מתהווה, של חיי חג, מועד ושבת וכן של יום העמל האפור. לכן לצד הלחנת השירים חיבר גם מוזיקה למקהלה ולתזמורת. את היסודות לחיבור מוזיקלי רציני רכש ממורים כמו מנשה רבינא, יצחק אדל ואריה אבילאה (תיאוריה והרמוניה), וא"א בוסקוביץ (קומפוזיציה). הוא חיבר 5 קנטטות למקהלה, סולו ותזמורת שליוו והעשירו את חוויות החג בקיבוץ, ואלו הן:
א. שירת הברכה - לפי מילים מן התנ"ך.
ב. קנטטת הבנים - מחזורי הבנים המצטרפים לחברות במשק.
ג. קנטטה כפרית - על נושאי חג האסיף.
ד. קנטטת ההצטרפות - אף היא לדור הבנים הממשיכים בקיבוץ.
ה. קול החיים - ההשתרשות והצמיחה מדור למשנהו.

דוד זהבי נחשב למלחין הצבר הראשון ולאחד מגדולי המלחינים של הזמר הארצישראלי (יחד עם זעירא, נרדי, לוי-תנאי, וילנסקי וארגוב). רבים משיריו היו לנכסי צאן ברזל של הזמר העברי. שיריו הם במסורת הזמר העברי החדש: מיזוג בין מסורת השיר האירופית, שירי-עם מזרח-אירופאים וניגונים חסידיים. זהבי הלחין שירים בסגנונות שונים ויצר כמה מן השירים הנודעים ביותר בתולדות הזמר העברי. במרכז יצירתו היו שירי הטבע והעבודה כמו 'ישושום מדבר וציה', 'בשדה' או' מלאו אסמינו בר'. לצידם יצר שירי לכת חזקים כמו 'שיר הפלמ"ח"  ו'אנחנו שרים לך, מולדת ואמא' ו'לא תנותק השלשלת'. שירים שכתב למלים של חיים חפר כמו 'יצאנו אט' ו'הן אפשר' הם מפסגות הזמר הרומנטי-הרואי של תקופת הקמת המדינה. התחום היחודי לזהבי הם שירי הכיסופים הגדולים: 'הליכה לקיסריה' (למלים של חנה סנש), 'ירדה השבת' (יהושע רבינוב), 'ניגונים' (פניה ברגשטיין) ו'החליל' (לאה גולדברג), הנחשבים מאבני היסוד של הזמר העברי.

דוד זהבי תיאר את תהליך היצירה כך: 

ב-27 באוקטובר 1977 נפטר דוד זהבי בנען. בשנת 1981 התפרסם אוסף משיריו בספר 'שלא יגמר לעולם: מבחר מנגינות'.