岸田首相、泉市長との対話に消極姿勢「子育て政策で意見交換を」、国会で問われ「チャンスあれば」