נולד בשנת 1905 בברזניצה שבווהלין, אוקראינה. למד בילדותו בחדר, בישיבה ובבית ספר רוסי ממשלתי. עם  פטירת אביו בשנת 1917 עבר לגור אצל אחותו בסרני הסמוכה, שם המשיך בלימודיו ונמנה עם מארגני אגודת 'קדימה' ועם מייסדי 'השומר הצעיר'. בשנת 1921 ארגן את תנועת 'החלוץ' באזור, עמד בראשה והחל  לארגן את בני הנוער ולהכשירם לקראת עליה לארץ. בתחילת 1924 ארגן את קיבוץ ההכשרה הראשון של החלוצים במחוז ווהלין, 'קיבוץ חוצבי אבנים קלוסובה'. מרכז ההכשרה שהוקם בקלוסובה סיפק הכשרה בהמשך לאלפי  חלוצים נוספים. עד לעלייתו ארצה עמד אבן-זהר בראש הקיבוץ. באותה תקופה היה גם חבר מפלגת צ"ס, חבר במשרד הארצישראלי המחוזי של ווהלין ופעיל למען קרן הקיימת וקרן היסוד.

במארס 1925 עלה אבן-זהר לארץ ישראל וניסה להמשיך בעבודתו כחוצב אבנים בירושלים. מאחר ולא מצא עבודה הצטרף לקבוצת פינסק, שהיתה אז בהכשרה בתלפיות ליד ירושלים. יחד עם חברי הקבוצה עבד בבניה, עד שנפצע בתאונת עבודה ונאלץ לעזוב את הקבוצה. הוא עבר לתל-אביב, שם החל לעבוד כפועל בנין, אך חלה  ולאחר שיחרורו מבית החולים נאסרה עליו עבודה גופנית.

בספטמבר 1925 התקבל אבן-זהר לעבודה בוועד הפועל של ההסתדרות, שעבר אז מירושלים לתל-אביב. עם התרחבותה של ההסתדרות התמנה למנהל כללי של המשרדים ואחר כך למזכיר הוועד הפועל והוועדה המרכזת. עבד שם במשך 45 שנה עד צאתו לגימלאות. היה חבר במפלגת 'אחדות העבודה', ומשנת 1930 במפא"י. היה חבר בארגון 'הפועל', ארגן את המשלחת שיצאה לאולימפיאדה הבינלאומית של הפועלים באנטוורפן בשנת 1937  ועמד בראש המשלחת.

עם פרוץ מלחמת העולם השניה ביקש להתגייס לצבא, אולם הוועד הפועל סירב לשחררו. בתקופת המלחמה היה פעיל ב'וועד למען קרן האמבולנסים' של עיריית תל-אביב שאספה תרומות עבור רכישת אמבולנסים לצבא הבריטי. היה חבר ועד בקרן בריטית לעזרת נפגעי המלחמה וסייע בגיוס הכספים. לאחר היבחרו לסגן יו"ר הקרן בתל-אביב דאג להעברת כספים לוועד למען החייל היהודי, אשר דאג לרווחת החיילים היהודים. היה חבר בוועד המיוחד לעזרה לשוטר העברי בתל-אביב. שנים רבות היה חבר המועצה של 'בנק קופת מלווה וחיסכון לעובדים'.

עם גל המאסרים הגדול בשנת 1946 ביקר אצל אסירי רפיח ולטרון וסייע לאסירים כנציג הוועד הלאומי וההסתדרות. בתחילת 1947 התמנה ליו"ר 'לאסירינו', האגודה לעזרת האסיר והעציר היהודי, שהוקמה על ידי הוועד הלאומי. פעל לסיוע לאסירים ולבני משפחותיהם תוך שיתוף פעולה עם כל הזרמים ביישוב.

עם עלייתו לארץ הצטרף לארגון ה'הגנה'. באפריל 1937 התמנה לראש מחלקת הקשר הארצית במטה ה'הגנה'. שימש בתפקיד עד שנת 1941. במסגרת תפקידו סייע באמצעות הקשר האלחוטי לעליה הבלתי ליגאלית. בשנת 1938 התבקש על ידי ראש המפקדה הארצית של ה'הגנה' לשמש כמזכיר כללי לארגון העבודה האדמיניסטרטיבית והמשרדית. בנוסף לתפקידיו בשרות הקשר ובהסתדרות הניח את היסודות לעבודה משרדית מסודרת ב'הגנה', דאג להבטחת סליקים ולשמירת החומר הארכיוני, דאג להבטחת הקשר עם כל נקודות הישוב המרוחקות וארגן את תחנות השידור הראשונות והבלתי חוקיות של 'קול ישראל'. 

מאז שנת 1942 היה אבן-זהר פעיל בחוג ידידי האופרה בישראל ופעל רבות לביסוסה של האופרה הארצישראלית העממית. בשנת 1947 הוקמה האופרה הישראלית על ידי רעייתו השניה, הזמרת אדיס דה-פיליפ. הוא התמנה למנכ"ל האופרה וכיהן בתפקיד במשך 35 שנה, עד להפסקת פעילותה בשנת 1982.