一般にニューヨークのネイティブは"downtown"と”uptown"をどのように考えているのか、Tripadvisorのページから拾ってみました。
原文のページはこちらです。

What do you think "Uptown" and "Downtown" in New  York?
ニューヨークの「アップタウン」、「ダウンタウン」って何だと思いますか？

イリノイのリタイヤ―の旅人さん

I'm sure this is going to sound silly, but I was confused on my one-and-only trip to NYC. We kept getting on the MTC, often going in the wrong direction. Luckily, we had passes so we didn't incur all kinds of expense. 
We couldn't get straight what was uptown, and what was downtown. Perhaps we were not reading signs very well, or is there some 'trick' we're missing? We've not had trouble in places like DC or Boston, but NY got us confused. 
Any suggestions, or do I need to simply be more careful looking before I get on MTA?

絶対コレ馬鹿みたいに聞こえると思うけど、１回だけニューヨークに行って混乱したよ。地下鉄を乗り回してたんだけど、よく違う方向に行っちゃった。幸運なことに、パス持ってたんで、お金を無駄にすることはなかったけどね。
何がアップタウンで、何がダウンタウンなのか分かんなかった。多分しっかり掲示を読んでなかったんだろうね。それかなんか知らない「コツ」があるのかなあ。ワシントンDCやボストンではこんなことなかったんだけどね。なんでニューヨークで分かんなくなるかなあ。何かいい方法ある？ただ地下鉄に乗る前にちゃんと調べてさえいればよかっただけ？

rdgレディーさん 
NYC在住イスラエル出身

Uptown trains are going north ( and may go to the Bronx) Downtown trains are going South and may end up in Brooklyn. When in Manhattan trains to Queens may either be uptown trains OR downtown trains depending upon where in Manhattan you are.
I suggest you look at a map to see which direction you need to go. ( if you are on 34th Street and need to go to 54th street you need to go North, uptown. AND, of course, the opposite is true.

アップタウントレインは北に行きます。（ブロンクス行ということになるでしょうね。）ダウンタウントレインは南に行きます。ブルックリンに行くことになるでしょう。マンハッタンではクイーンズ行の電車はアップタウントレイン、あるいはダウンタウントレインのどちらかということになります。それは本人がマンハッタンのどこにいるかによります。
まずどちらの方面に行くのか地図を見ましょう。（もし34丁目にいて、54丁目に行く必要があるのなら、北行、つまりアップタウン行に乗ります。そしてもちろん逆方向ならその反対です。）

SINYトラベラーさん 
スタテンアイランド在住

As already noted, Downtown is the southern part of Manhattan. I think a lot of people get confused because in other cities "Downtown" is the heart of the town, where things are happening. In Manhattan, "Downtown" is a direction, not necessarily a location.
Now if someone can explain what "b/d" on the MTA alerts means, I would be a happy person!

すでに書かれているように
ダウンタウンはマンハッタンの南部のことです。僕が思うに、、多くの人は混乱してますね。他の都市で「ダウンタウン」っていったら、街の中心で、色々なことが起こっているところだから。マンハッタンでは、「ダウンタウン」というのは、方向を表しているんです。地区のこととは限らないんです。だから、もし地下鉄の警告についてる"b/d"がどういう意味なのか説明できる人がいたら、うれしいんだけど。

モドコニオンさん
オクラホマ市在住.

Generally, when going uptown, the street numbers increase, and when going downtown the street numbers decrease.
So if you are near 42nd Street and want to go to a spot near 89th street you go uptown.
If you are near 42nd street and want to go to a spot near 10th street you go downtown.
Crosstown is something else entirely. ;)

一般的には、アップタウンに行くと、ストリート番号が大きくなり、ダウンタウンに行くとストリート番号は小さくなっていきます。
だから、もし42丁目近くにいて、89丁目近くに行きたいなら、アップタウンに行くことになります。もし42丁目近くにいて、10丁目近くに行きたいならダウンタウンに行くことになります。
東西方向は全く別ですが。

地下鉄では、”Downtown"と"Uptown"の表示は、ストリート番号が下がっていく電車と上がっていく電車と思うのが一番簡単！
その上で、観光や不動産などでいう「地域」の区分けは、”Downtown"は「商業地区」のイメージ、"Uptown"は「住宅街」のイメージでとらえておけば、ま、いいかなってところに落ち着くことにしました。。。。

Downtown & Uptown のブログの締めくくりに、”New York City Big Bus Tour Uptown & Downtown BEST OF!"という動画を載せました。ちょっと長いけど、すごくよく撮れてる。これでNew Yorkの街をめぐった気分になれます。（MiｓTyは地下鉄に乗って、歩き回るほうがいいけど。。。）

New York City Big Bus Tour Uptown & Downtown BEST OF!

MisTy
Englishラボには、ホームページがあります。