2月1日，日本浪人又闖入東方圖書館縱火，“晨八時許，東方圖書館及編譯所又復起火。頓時火勢燎原，紙灰飛揚，煙火沖天，遙望可見。直至傍晚，此巍峨璀燦之五層大樓方焚毀一空”（《上海商務印書館被毀記》，第16頁）。至此，張先生精心收集庋藏的大批珍本古籍與其他中外圖書計四十余萬冊，高棟連云，一夕化為灰燼。時紙片隨大火沖天而起，飄滿上海天空，有的被東北大風吹向滬西地區，飄落到極司菲爾路先生寓所花園。張先生面對滿天紙灰，悲憤異常，對夫人嘆曰：“工廠機器、設備都可重修，唯獨我數十年辛勤搜集所得的幾十萬冊書籍，今日毀于敵人炮火，是無從復得，從此在地球上消失了。”“這也可算是我的罪過。如果我不將這五十多萬冊搜購起來，集中保存在圖書館中，讓它仍散存在全國各地，豈不可避免這場浩劫！”（張樹年《我與商務印書館》，載《商務印書館九十五年》，第290頁）

2月5日，“商務”編譯所同人為東方圖書館被日寇炸毀發表宣言，云：“夫東方圖書館已有三十五載之歷史，其收藏之富，在遠東尤為罕見，圖書總額在六十萬冊以上。其中中國書籍，尤為珍秘難得，有中國最古之南北宋版本圖書百余種，有木刻之重要著名書本二萬余冊，所藏中國省府縣志，為中國最大之史地書庫，至元明清之精刻書本重要者，更難屈指以數；又歐文書籍，歷年亦設備甚多，足與著名之馬利遜文庫相匹敵，此包羅重要文獻、珍貴無比之寶藏，今乃無故被毀于日機狂暴轟炸之下，此種人類文化之損失，寧有恢復之可能？”（《張元濟年譜長編》下冊，第891頁）

也是在這一天，張先生在復吳其信的信中述及東方圖書館被毀情況，云：“事前運出者為數極少，中外圖書約得五十萬冊，其他精校名抄，總有二三萬冊，全國方志約三千種，其中明志亦在百種以上。一剎那間化為灰燼，絳云之后，可為巨劫。蒙以重聚相勖，非特無此資材，即歲月亦不我與，其何以副我故人之望耶！”（《張元濟年譜長編》下冊，第893頁）3月17日，張先生致傅增湘信又云：“《太平御覽》、《冊府元龜》、黃善夫《史記》底片據報均已事前攜出，然弟尚未見。至初印樣本則已均化劫灰矣。《衲史》校本多存敝處，幸未失去，惟底版則盡已被焚。此固尚可重照，獨蜀本《周書》涵芬樓存有黃、白紙各一部，白紙本僅缺五卷，兩種印本精湛，與所謂邋遢本絕不相同，可謂海內孤本，正在照相，故盡被六丁攝去。日后重印此書，正不知如何著手，愿兄有以教之。”

昔人謂奇書秘籍，在處有神物護持。故不幸中之萬幸的是存放于金城銀行的善本書毫發無損，張先生《書錄》序云：金城銀行保管庫中之書部署甫竟，而倭寇遽至。“一·二八閘北之役遂肇興于此時，大難未臨，余何幸乃能為思患之預防，不使此數十年辛勤所積之精華同歸于盡，可不謂天之所佑乎！”

4月16日，張先生致劉寶書信云：“東方圖書館成立數年，于社會教育不無裨益，今亦盡付劫灰。宋元舊本事前僅攜出五千余冊，即宋槧元刊兩類，已毀去三千余冊，恐此后不可復得，最為可惜。”6月22日，張先生復羅家倫信又云：“商務被毀，固屬可惜，最可痛者為東方圖書館，五十萬本之圖書及涵芬樓所藏之古本（原存三萬五千余冊，事前取出寄存銀行者僅五千三百余冊）。此恐無復興之望，每一念及，為之心痛。”據當時張元濟的記錄，涵芬樓善本寄存金城銀行庫中及臨時取出者，凡宋本九十二種，元本百零五種，明本同校本八十一種，抄本百四十七種，稿本十種，總共五千余冊。