江戸は海に近く埋立地も多かったため、井戸を掘っても塩分の含まれた水しか出ない。徳川幕府は開府にあたり上水の確保に乗り出した。17世紀の初めには現在の井の頭池を水源とする神田上水を建設。また赤坂溜池の水も利用されていた。1609年の江戸の人口はまだ15万人ほど。しかしその後三代将軍家光の時、参勤交代が確立すると各地の大名の家臣、家族が江戸に住むようになり人口が増え始めた。1733年までには、人口が100万人に達したといわれる。
そこで、1652年、幕府は多摩川の水を江戸に引き入れる計画を立て、庄右衛門、清右衛門兄弟に6000両(1両15万円とすると9億円)を渡し工事を頼んだ。1653年4月4日工事開始。多摩川の取水地点の設定に苦労しながら2度の失敗を経て、1653年11月15日羽村(はむら)の取水堰(しゅすいせき)から四谷大木戸(よつやおおきど)まで43kmを8カ月(この年は閏年で6月が2回あったため)で完成させた。兄弟はこの功績を幕府に認められ後に「玉川」の名字を賜った。ついに江戸城まで配水管が敷設されたのは翌年1654年6月のことであった。
これにより四谷、麹町、赤坂、芝、京橋方面に至る市内の南西部一帯に給水を行った。