Best Reviewer Award のもらい方（？）

0. 私は誰？これは何？

この文章は「日本音響学会 学生・若手フォーラム Advent Calendar 2023」17日目 (12/17) の記事です。私は、東京の渋谷にある Google DeepMind の Senior Research Scientist です。詳細情報は以下にあります。 sites.google.com

光栄にも、今年は Interspeech 2023 から Outstanding Reviewer Award を、ASRU2023 Best Reviewer Award をいただくことができ、旧Twitter で自己顕示欲を満たしていたら

（元）日本音響学会の学生・若手フォーラムの方から、 とコメントをいただきました。

近年、音系国際会議の投稿数が爆増しており、査読者を集めること＆すべての論文に規定数の査読者を割り当てることすら難しくなっています。そこで、皆さんが「国際会議の査読者になって賞をもらいたい！」と思っていただけるよう、僭越ながら記事を書かせていただこうと思った次第です。

1. はじめに

視聴数を稼ぐために、偉そうなタイトルをつけてみたのですが、正直、どうやったら Best Reviewer Award を受賞できるかは、正直、全くわかりません。がっかりされた方、早速タブを閉じてください :)

この理由は、Reviewer Award が、他の学会賞とはだいぶ毛色が違うのではないか？と感じるからです。 （これは自慢ですが）私は2012年に学部4年生で研究を始めてから、ほぼ毎年、なんらかの学会賞を頂いています。 音響学会の「独創研究奨励賞 板倉記念」や、公益財団法人 電気通信普及財団の「テレコムシステム技術賞」をはじめとする、大きな賞も複数頂くことができました。 これらの賞は歴史が長く、「良い研究＆応募書類」の定義が固まってきていると思います。 ゆえに、沢山の方々に分かり易い論文や応募書類の書き方をご指導をいただいたおかげで、私はこの賞を頂くことができました（これは機会があれば、また別記事で書こうかな...と思います）。

一方で Reviewer Awards は、少なくとも音系の会議では、ここ数年で始まったものかと思います。 また（私は選考に関わったことがないので全くわかりませんが）各会議の Technical Program Chairs (TPCs) が、Area Chairs からの推薦に基づいて決めているのではないかと思います。ご存知の通り、ここ数年、音系国際会議の投稿数が爆増しています。したがって、上記の学会賞の選考過程のように、Area Chairs が全ての査読（＝応募書類）に目を通しているとは考えにくいです。ゆえに、最も優れた査読を行なった査読者に賞を授与しているとは考えにくいです。

したがって、Reviewer Awards は、TPCs （学会運営者）が「あぁ、この人が査読者プールにいてくれて本当に助かった。今後も査読者プールに残ってほしい。」と思えるような人に授与しているのではないかと思います。 つまり、「選考基≠いい査読をした≠著者に貢献できた」だと思っています。 ゆえにこの記事では、私が 「査読者としてこうありたいと思っていること」（＝学会に貢献するという観点） と 「査読コメントを書く際に意識していること」（＝著者に貢献するという観点） の2つに分けて執筆します。

2. 査読者としてこうありたいと思っていること

私は可能な限り、親切な人であろうと心がけています。これは、2020年の DCASE Workshop で Technical Program Chair を務めた経験から来ています。当時 DCASE はそれほど大規模な Workshop ではなく、投稿数も150件程度であったと記憶しています。TPC members も3人いました。 しかし、この規模の Workshop でさえ、TPC の仕事は本当に大変でした。

最も大変だったことは、crash review への対応（＝査読者が期日までに査読を行なってくれず、最終的にはブッチし、緊急で新しい査読者を探さなくてはならない）です。 TPC がそれらを査読できればいいのですが、自分の専門外の分野の論文には、いい査読を返すことはほぼ不可能です。 そうなると、査読者プールの中から、その分野の専門家に追加の査読をお願いすることになるのですが「ごめん、クラッシュしたから3日で査読して！」なんて言って「OKだよ！」なんて軽々しく返ってくるはずもありません。みんな忙しいのです。 そうなるとTPC としては、crash review をOKしてくれて、しかもその査読を期日までに返してくれて、さらには「まだ困っているなら、X本までなら協力するぜ！」とか言ってくれる人が救世主にしか見えなくなるのです。

また、最近の音系の国際会議でも Rebuttal が付いてくるようになりました。 TPC も全ての分野に精通しているわけではないので、公平性のために、査読スコアで足切りするしかありません。 しかし、一発勝負の査読ではどうしても誤解があり、そのせいで良い論文がリジェクトされてしまうこともあります。 そこで、著者に反論の機会を持っていただき、複数の査読者で「あれ、キミの review なんかおかしくない？」みたいな議論をしてほしいはずです。 ただ、最近論文を投稿した多くの方は「Rebuttal って本当に読まれているのか...？」思っているでしょう。 査読者側から見ていると、残念ながら、全員が rebuttal discussion に参加しているとは思えません。みんな忙しいのです。 そんな中で、評価が真っ二つに割れた論文で、ポジティブ側とネガティブ側が、著者の意見を読んだ上で議論してくれると大変助かるわけです。 ゆえにrebuttal の議論に積極的に参加してくれる査読者もまた、救世主に見えるでしょう。

と、下心満載な感じで書きましたが、メッセージとしては、可能な限り学会運営の方々に協力しよう。そうすると賞がもらえるかもです。 私たちの音の分野は、AIの発展のおかげで技術進歩が凄まじく、人がどんどん増えています。 ゆえにこれまでの査読システムでは追いつかない面が多くあります。 みんな忙しいのはTPCもわかっています。私も全部の会議で親切な人であることは不可能です。 ただ皆さんに、ほんのちょっとだけ、査読プロセスに協力的になっていただければ、世界は平和になるかもしれないと思う次第です。

3. 査読コメントを書く際に意識していること

多くの査読者は、良いレビューを書きたい、と思っているはずです。

ですが、良いレビューの定義は、とても曖昧なのではないかと思います。 「strong accept をつけてくれる review が最高だ！」というのは著者としては当たり前ですが、 "Good paper, well done." とだけ返ってくる査読は「頑張って書いたのに...がっくし...」とも思います。 はっきり言って、フラフラになりながら頑張って書いた論文も、Attention Is All You Need のような本当に限られた論文を除き、 ちゃんと読んでくれるのはせいぜい100人くらいでしょう。 ですから3人の査読者くらいには、ちゃんと読んでいただき、率直なご意見をいただきたいものです。

しかし、みんな忙しいのです。 年に何回もある国際会議の査読イベントで、毎回10本近く回ってきたら、全部をちゃんと読んでる時間などありません。 ですので、これが正しいフォーマットなのかは全くわかりませんが、私は以下のフォーマットで査読を返すようにしています。 フォーマットが決まっていれば、読みながら査読コメントを書けるからです。 また、自分がクソ雑魚研究者で、著者がガチプロなんだ、と思うように心がけて査読します。そうしないと、「うっ、これはちょっと...」と思う論文をぶん投げて、crash review させてしまうかもしれないからです。

以下は私のフォーマットです。賛否両論あると思いますが、ご参考程度に。 （また、このフォーマットが書きやすいように論文を書いてもらえると、通りやすのかもしれません。）

  1. 論文の要約。何の問題を解こうとしていて、どこが従来と違って、何の観点で、どう良くなったのか、Abstract とは異なる言い回しで書こうとします。これが合ってれば、「ああこの査読者ちゃんと読んでくれたんだな」と思えますし、違うなら rebuttal で反論できます。
  2. 論文を褒める。「うっ、これはちょっと...」という論文でも、良い点はあるはずなのでめっちゃ探します。例えば、ただの technical report でも、実験設定が網羅的とか、よく練られている、とかこの観点は新しい、とかです。頑張ったことが同業者に認められれば、その次の批判も受け入れやすくなるかな、と思うからです。
  3. リジェクトを推奨するなら、一番「うっ、これはちょっと...」と思ったところを簡潔に述べる。
  4. 「うっ、これはちょっと...」と思ったところを改善案付きで指摘。どれだけ建設的にコメントしても、著者はリジェクト査読をもらって3日くらいは、画面を叩き割りたくなるくらい悲しい気持ちになるものです。私を含め、皆さん何度もこの気持ちになったはずです。でも悲しんでいても仕方ないので、数日後に再度、査読メールを読むわけですが、その時に、否定的なコメントに思考停止して「じゃあどうすりゃいいんだよ！」と突っぱねられてもお互いに悲しいだけです。その時に、こう解決すればいいよ、と書いてあるだけで（それもまた思考停止ですが）その通りに修正できたり、そこから思考を膨らませてより良い論文になるかもしれません。

アクセプトする論文のコメントを書くより、リジェクトする論文のコメントを書く方が労力を使います。 近年の査読では、3. のパートを書く量がどんどん増えている気がします。 しかしここを頑張って書くことで、今後の音分野の論文の質が上がり、査読者の労力が減り、結果的に crash review が減って学会運営が楽になり、みんながハッピーになれるアカデミアになればいいなと思っています。

4.おわりに

Reviewer Award は、学会運営者が、将来の査読者を育てたり、この賞のために査読プロセスに協力的になってもらうために作ったものなのだろうと、個人的に理解しています。 これにただ乗っかるのは、斜に構えた私たちには癪に障るかもしれませんが、結果的には私たちのいる世界が幸せになるいい仕組みだと思います。 皆さん、世界平和のために、ほんのちょっとだけ、学会運営に協力的になってみませんか？