Lektor のサイト(https://www.getlektor.com/docs/deployment/)では以下のコマンドを記載しているが
lektor build && s3cmd --region=ap-northeast-1 sync "$(lektor project-info --output-path)" "s3://bucketname"
以下のように
lektor build && s3cmd --region=ap-northeast-1 sync "$(lektor project-info --output-path)"/* "s3://bucketname"
として、$(lektor project-info --output-path) の後ろにアスタリスク("*")をつけないとサイトが格納されているディレクトリ自体がアップロードされてしまい思った通りにできなかった。
なおlektor-s3プラグインはregionを指定する方法がわからず使用を断念。