נולד ב-3 במאי 1896 בעיר לודז' בפולין. למד בחדר, בבית הספר התיכון וכן לימודי חינוך. שירת בצבא הפולני, אחרי כן היה מורה ומנהל בבית ספר עברי בלודז'. בנעוריו הצטרף לתנועת 'השומר הצעיר'. היה חבר בתנועת 'צעירי ציון' וראש קן 'השומר הצעיר' בעירו. היה ממייסדי קבוצת ההכשרה חקלאית 'סיגניובקה', במסגרת תנועת 'החלוץ' בגליציה, שהתרכזה ליד לבוב, והיה חבר בהנהגתה הראשית.

ב-19 ביולי 1920, בתקופת העליה השלישית, עלה לארץ ישראל יחד עם חבריו להכשרה. בשנותיו הראשונות בארץ היה חלוץ, עבד בסלילת כביש חיפה-ג'דה, בהכנת התשתית למושבה בנימינה, בקבוצת גן שמואל ובחקלאות באום-אל-עלק (ליד זכרון יעקב) במסגרת קבוצת ההכשרה 'סיגניובקה' שאותה הנהיג. במקביל כתב בקובץ 'קהיליתנו' על הסופר יוסף חיים ברנר, ועל נושאי חינוך ותרבות בכתב העת 'הפועל הצעיר'.

השתלב במפלגת 'הפועל הצעיר', ואחר כך במפא"י. בשורות המפלגה, מילא שורה ארוכה של תפקידים בתחומי התרבות והחינוך. היה ציר בוועידת היסוד של ההסתדרות ונבחר למועצת ההסתדרות הראשונה, לוועד הפועל ולמזכירות הראשונה בראשותו של דוד בן גוריון. בתפקידו היה מזכיר ועדת התרבות המרכזית ועבד במחלקה הערבית שלה. בשנת 1924 נשלח על ידי הסתדרות העובדים לברלין לשמש כמזכיר 'הוועד למען ארץ ישראל העובדת'. שם החל ללמוד ערבית ומזרחנות במכון למדעי המזרחי של האוניברסיטה והשתלם בידיעת השפה הערבית וספרותה.

ראשית התעניינותו של מיכאל אסף בשפה הערבית הייתה עוד בעירו לודז' בפולין. מאז שעלה לארץ ישראל הירבה לעסוק בחקר הערבים בארץ ישראל ובהערכת מגמות בחברה הערבית במדינת ישראל. מאז חזרתו מברלין לארץ בשנת 1927 התרכזה רוב עבודתו בעיתונות הערבית-ישראלית, מתוך אמונה בכוחה של העיתונות לשמש גשר תרבותי וחברתי בין ערבים ליהודים בארץ ישראל.

עם שובו לארץ, התקבל מיכאל אסף לעבודה בעיתון 'דבר' ובמשך שנים רבות ניהל את המדור הערבי. בשנים 1960-1937 ערך את השבועון הערבי של ההסתדרות  'חקיקת אל אמר', ובשנים 1960-1949 את העיתון הערבי היומי 'אל-יום'.  הוא כתב מאמרים רבים בעברית ובערבית, חלקם תורגם לשפות נוספות. המאמרים התפרסמו בעתונים יומיים, שבועונים, ירחונים וקבצים שונים בארץ ובחו''ל. אסף הרצה בצבור וברדיו בעניני הערבים והיה חבר בוועד אגודת 'קדם', בחברה המזרחית הישראלית ובמחלקה הערבית של ההסתדרות.

במהלך השנים פירסם מיכאל אסף ספרים על תולדות היחסים בין יהודים וערבים בארץ ישראל בשנים 1948-1860, תולדות הערבים בארץ ישראל, ארץ ישראל תחת שלטון הערבים, הצלבנים הממלוכים והטורקים, לורנס איש ערב ועוד. פרסם גם ספרים בערבית: 'מאת השנים האחרונות בתולדות היהודים' ו'האוטוביוגרפיה של פינסקר - מבוא'. מעבודתו המחקרית הסיק כי התנועה הלאומית הערבית לא תשלים עם המפעל הציוני אלא לאחר תקופה ארוכה של התחזקות והתבצרות של מדינת ישראל כמדינה יהודית-ציונית. לשם כך, האמין בחזון הפשרה הטריטוריאלי, בדומה ל'תכנית אלון', ושלל את רעיון ארץ ישראל השלמה.

מיכאל אסף שימש כיו"ר אגודת העיתונאים בתל אביב. בשנת 1962 עם הקמת האיגוד הארצי של עיתונאי ישראל  נבחר ליו"ר הראשון שלו וכיהן בתפקיד זה כעשור. בשנת 1933 זכה בפרס ביאליק על סיפרו 'תולדות השילטון הערבי בארץ ישראל'. בשנת 1981 זכה בפרס סוקולוב לעיתונאות מטעם עיריית תל אביב. בשנת 1983 קיבל את אות יקיר העיר תל אביב וכן נערך לכבודו סימפוזיון על 'המגמות הערביות כלפי ישראל' מטעם אוניברסיטת תל אביב והעיתון 'דבר' בהשתתפות נשיא המדינה יצחק נבון.

ב-1 בינואר 1984 נפטר בעקבות פגיעה בתאונת דרכים בחצותו את הרחוב ליד בית האבות ברמת-אביב שבו התגורר בשנותיו האחרונות.