GitHub

公式にわかりやすいガイドがあるので従えばOK。
TortoiseGitを使う場合は、sshの選択でOpenSSHを選ぶことに注意。

sshの鍵パスワード入力の省略

win-ssh-agentでできるらしい。未検証。
cygwinにOpenSSHのインストールが必要?
http://d.hatena.ne.jp/ganaware/20111102/1320222616