岡谷市出身の童画家、武井武雄の心温まる童画・版画・刊本作品など多彩な作品を展示しています。「イルフ」は「古い（フルイ）」の逆さ言葉で新しいという意味。「子供の心にふれる絵」の創造を目指して「童画の世界」を確立しました。
1階「はらっぱ」では約2,000冊の絵本が無料で読めます。
2階は武井武雄の作品の展示や、期間限定の企画展を随時開催。また映画「かいじゅうたちのいるところ」の原作者、モーリス・センダックの原画を日本で一番多く収蔵し常時展示しています。