1906年，留学日本的鲁迅在东京的旧书店购买了几十册德文杂志，其中包括选登了《小约翰》第五章的半月刊《文学的反响》(1899年8月第1卷第21期)，作者运用象征与写实结合、以童话表达严肃主题的创作手法，让鲁迅产生了浓厚的兴趣。几天后，鲁迅跑到南江堂、丸善书店寻购该书，但都未果，于是委托书店向德国定购，3个月后，收到了从德国邮购的德文单行本。鲁迅一直计划着翻译这部著作，因为这是一本“自己爱看，又愿意别人也看的书”，但一是因为忙，“总被别的事情岔开”，二是“大原因仍在很有不懂的处所”，以致一拖再拖，20年过去仍没有完成翻译。

1926年，鲁迅将离开北京赴厦门大学任教，他重新找出德文版《小约翰》，决定抓紧将它翻译出来，不这样的话，“觉得仿佛对于作者和读者，负着一宗很大的债了”。然而，翻译《小约翰》颇不容易，用鲁迅自己的话来说，此书“看去似乎已经懂，一到拔出笔来要译的时候，却又疑惑起来了”，“动植物的名字也使我感到不少的困难”，甚至坦言自己“外国语的实力不充足”。鲁迅便约请老同事、老朋友齐宗颐（寿山）与自己合作。

两人从1926年7月6日开始，每天下午到中央公园（今中山公园）的“来今雨轩”对译《小约翰》，到8月中旬基本完成。1927年5月底，经修正、誊清后，1928年1月由北京未名社列为《未名丛书》之一出版，鲁迅20多年来的翻译心愿，终于得以了却。

从当年购买《小约翰》德文版，到出版该书中文版，前前后后的时间跨度逾20年，一波三折，几度起伏，尽管鲁迅自谦地表示“译力不足”，然而他蓄心储力，厚积薄发，由此可以充分看出鲁迅先生对文学翻译的高度重视和由衷敬畏，以及严谨认真的译著态度。