1939年，投靠日本的汉奸特务李士群、丁默邨在上海极司菲尔路76号成立了特工总部，在租界内掀起了白色恐怖。中共特科成员袁殊决心消灭这个魔窟，便组织了一批工人，准备挖地道安放炸药，却没想到叛徒出卖，袁殊随后就被“76号”逮捕，并准备将他处决。

危急时刻，袁殊的妻子马景星想到了日本人岩井英一。

自“七七事变”后，日本侵吞中国的野心日渐暴露，为了能够迅速占领中国，日本外务部门迫切需要有一个针对重庆国民政府的情报机关，于是，“特别调查所”应运而生。而岩井英一就是“特别调查所”的负责人，因此，“特别调查所”也被称为“岩井公馆”。

袁殊在1929年留学过日本，专攻新闻学，回国后担任了上海新声通讯社、《华美晚报》社记者等工作，也就是在这一段时期，袁殊与岩井英一结识。

听说袁殊被捕，岩井英一当即答应了马景星的要求，并亲自赶到“76号”要人，李士群、丁默邨只好把袁殊放走。

事后，岩井英一亲自给袁殊设宴压惊，并在席上说出了想请袁殊主持岩井公馆的想法。袁殊没有立刻答应，只是说要考虑考虑，但没过几天，袁殊便找上岩井英一说：“可以。”

岩井英一让袁殊主持岩井公馆有两大原因。一是自己还有领事馆的其他工作要做，不可能只围着岩井公馆转；二则他认为，日本要想将中国一口吞入腹中，就要培养一批“忠实”的中国人收集情报，再三筛选下，他选定了袁殊。

但岩井英一不知道的是，袁殊是一名中共特科人员，他之所以在国民党的部门工作，是为了探清情报，而马景星找他帮忙，也是中共特科人员潘汉年指示的。岩井英一笼络袁殊，正好让袁殊有了打入日本特务机关的理由。

在日本人眼皮底下从事抗日活动可谓是危险重重，必须要有一批绝对可靠的共产党员做帮手。潘汉年随即请示李克农，李克农便将共产党员翁从六合到上海，协助袁殊抗日。不久，共产党员挥逸群也被派来上海，并顺利地进入岩井公馆工作。

人员到齐后，几人在一家高级饭店分配地下工作，袁殊说：“岩井公馆对内对外由我负责，老翁负责人事和经理部门，老挥负责文化、教育事业，总之我们三个人是一辆三驾马车，一定要紧密团结。我们对外是‘汉奸’，但我们都在潘汉年的领导下，完成党交给我们的任务。”

此后，袁殊几人共同负责着“岩井公馆”，他们配合紧密，岩井英一竟毫无察觉，还在为公馆的事业日益兴旺而沾沾自喜。日本人根本不会知道，他们引以为傲的特务机构，早已掌握在了中共的手中，各部门的负责人几乎都是共产党员。

有了岩井公馆这个“保护壳”，袁殊打探日军情报更加容易，他每天抄收延安、重庆的广播，抄写一份给日本人，一份给潘汉年。地下党有什么重要情报要发往延安，也经常由岩井公馆的秘密电台在深夜偷偷拍发。

因此，在日本人眼皮底下，他们的重要情报一份份发送到了延安。

1945年，日本的投降，但国民党却试图利用“汉奸”的罪名来加害袁殊等科特人员。党组织立即安排他们到解放区去，至此，岩井公馆最终步入了历史。