נולד ב-16 בספטמבר 1898 בכפר סידרוביצ'י, פלך קייב, האימפריה הרוסית (כיום - אוקראינה). אביו היה סוכן מכירות של עצים. אמו נפטרה כשהיה כבן שש וסבתו גידלה אותו. קיבל חינוך דתי. בתקופת מלחמת העולם הראשונה נדד ברחבי רוסיה  ולמד לימודי חול בקייב, חרקוב ומוסקבה. בימי המהפכה הסובייטית עבד במוסקבה בעיתון 'העם'. בשנת 1918 התפרסמה בעיתון 'השילוח' באודסה רשימה ראשונה פרי עטו, 'כבוא השמש'. כעבור שנה נדפס ב'השילוח' שירו 'על המשמר' שהוקדש לשאול טשרניחובסקי.

בשנת 1920 עזב את רוסיה והגיע לאיסטנבול, שם שהה כשנה וחצי בקרב חלוצים שעברו הכשרה לקראת עלייה לארץ ישראל ולימד אותם עברית. בשנת 1921, נסע לברלין וכעבור זמן קצר עבר לפריז, התפרנס מעבודות ספרותיות בהוצאת 'שטיבל' ובמקביל עסק בכתיבה. בשנת 1924 פירסם בביטאון 'התקופה' בווארשה שלושה סיפורים שכתב על המהפכה הרוסית והפואמה 'חתן דמים'. בקיץ 1928 ביקר בברלין, שם היה עד לצמיחת התנועה הנאצית, חש באסון המתקרב והגה את הרעיון למחזה 'בקץ הימים'. בשנת 1930 יצא לאור הרומאן הראשון שלו 'בישוב של יער' וכן החלו להתפרסם סיפורים שלו בכתבי עת ארצישראליים כגון: 'אחדות העבודה' 'מאזניים' ו'דבר'. יצירותיו באותה תקופה עסקו בחיי היהודים בעיירה יהודית ובחייהם של פליטי המהפכה הרוסית.

באביב 1931 עלה לארץ ישראל, והתיישב בירושלים. חי בדוחק, עבר מספר דירות ולמד להכיר את עדות ישראל השונות. מאז עלייתו לארץ עבר לכתוב על חיי החלוצים, על הפליטים שברחו ארצה מאימת המשטר הנאצי ועל המציאות במדינת ישראל בשנים שלאחר הקמתה. בעקבות המפגש עם בני עדות המזרח, חש הזדהות מיוחדת עם בני העדה התימנית וכתב יצירות העוסקות בחייהם בארץ ובתימן ('היושבת בגנים', 'יעיש' ועוד). הנושא המרכזי ברוב יצירותיו הוא המתח בין חדש לישן, בין גולה לגאולה, בין חזון למציאות בארץ ישראל, בין ההסטוריה היהודית בגולה להסטוריה של היהודי החדש בארץ ישראל. 

במלחמת העצמאות נפל בקרבות להגנת ירושלים נחום (זוזיק) הזז, בנו היחיד, שנולד לו ולמשוררת יוכבד בת-מרים.

חיים הזז נחשב לאחד מבכירי כותבי הפרוזה העבריים. הוא זכה להערכה ולפרסים רבים. יצירתו רבת הפנים משקפת את חיי היהודים במזרח אירופה בתקופת המהפכה, את הכיסופים לגאולה ואת האכזבה החוזרת ונשנית ממנה, ואת פסיפס העדות בארץ ישראל. הזז כתב בסגנון יחודי ועשיר בשפה המשלבת תימנית, ארמית ויידיש, לשון חז"ל ולשון הקבלה, לשון הספרות הרבנית ועברית ארצישראלית חלוצית. במהלך השנים פירסם רומאנים, קבצי סיפורים ואת המחזה 'בקץ הימים' העוסק בימי שבתי צבי. יצירותיו קובצו באסופות שונות ובמהדורות רבות. בשנת 1977 הופיעה המהדורה האחרונה של כל כתביו בארבעה עשר כרכים, כולל יצירות מן העזבון. חלק מיצירותיו תורגמו ללשונות שונות.

בשנת 1942 זכה ספרו של הזז 'ריחיים שבורים' בפרס ביאליק. בשנת 1950 זכה הנוסח השני של המחזה 'בקץ הדמים' בפרס אוסישקין. בשנת 1953 זכה בפרס ישראל לספרות עברית. בשנת 1966 זכה בפרס על שם ישראל ובלהה ניומן לסופרים עבריים מטעם אוניברסיטת ניו יורק. בשנת 1970 זכה בשנית בפרס ביאליק.  הוא קיבל תוארי דוקטור לשם כבוד מן הסמינר התאולוגי היהודי בניו יורק, מדרופסי קולג' בפילדלפיה ומהאוניברסיטה העברית בירושלים.

חיים הזז נמנה עם מייסדי האקדמיה ללשון העברית ומשנת 1961 היה חבר כבוד בה. הוא כיהן גם כנשיא אגודת הסופרים העבריים. נמנה עם חברי 'התנועה למען ארץ-ישראל השלמה'.

חיים הזז נפטר בירושלים ב-24 במארס 1973 ונטמן בהר הזיתים. בבית בשכונת קוממיות (טלביה) שבו התגורר משנת 1961 ועד לפטירתו הוקמה העמותה 'יד למורשת חיים הזז'. העמותה פועלת להנצחתו של הסופר, להנחלת המורשת שלו ולהוצאה לאור של כתבי היד שנותרו בעזבונו.