Kaggle Days xZ by HP World Championship Final Event出場レポート

2022年10月28日-29日(現地時間)に事前のお知らせとしてあげていたKaggle Days x Z by HP World Championship(以下、Kaggle Days Championship)のFinal Eventに出場していたKaggle Grandmaster大越とKaggle Master二階堂がイベントを終え、無事帰国いたしました。二人の声も混じえながら、出場レポートの掲載をしたいと思います。

Kaggle Days Championship Final Evnet

先日のお知らせでもあった通り、2021年11月〜2022年4月までの間に12のLocal MeetUpのオンライン予選が開催され、いずれかの予選で3位以内に入るとスペイン・バルセロナで行われるFinal Eventに出場が可能になります。大越はニューデリーのLocal MeetUpにて3位、二階堂は東京のLocal MeetUpにて優勝し、Final Eventへの出場を決めておりました。
予選参加者は合計で5321人であり、本戦であるFinal Eventの参加はそのうち77人、24チームとなりました。大越、二階堂はそれぞれ別チームでの参加です。

二階堂のチーム

イベントは2日間行われ、1日目は学会のような形でKaggle Grandmasterを中心にプレゼンテーションやワークショップが行われました。他の参加者からの今までの予選の解法紹介など、それぞれの専門分野に関する貴重な話がありました。2日目は11時間の中で2つのコンペで競い合うという斬新な形のものでした。コンペ終了後、結果発表が行われ、パーティーが開かれました。

1日目

大越はKaggle Grandmasterとして1日目にもプレゼンテーション、パネルディスカッションに登壇、インタビューの対応も行いました。

主催者撮影

大越:今回はObject DetectionとOSS活動について話しました。特にOSSの活動については、多くのKagglerから共感をもらうことができ、「自分もやってみるよ!」と言ってもらえたので、プレゼンして良かったと感じています。

2日目

コンペ概要

2日目はコンペティションが開催されました。11時間の間で2種類の異なるコンペが同時並行で行われるという新鮮な形式でした。2つのコンペはそれぞれ異なる特徴を持ち、1つは「Starry Starry Night!」textが含まれた欠損の多いテーブルデータのコンペティション。2つ目は「Time isn’t the main thing, it’s the only thing」というNLPのコンペティションでKaggleのnotebookのデータが与えられ、実行時間を予測するというタスクでした。
この2つのコンペティションの順位に基づいたスコアがチームに与えられ、各コンペティションのスコアの合計で最終順位を競い合います。同時並行で行われるため、チーム内で誰がどちらに取り組んで行くかなどの戦略も重要でした。上位3チームにはGPU A6000が、更に優勝チームにはモバイルワークステーションが授与されます。

コンペ結果・コンペの感想

大越:「Starry Starry Night!」はpublic12位、private10位でした。「Time isn’t the main thing, it’s the only thing」はpublic1位、private17位と大きくshake downしました。
自分は「Time isn’t the main thing, it’s the only thing」に取り組みました。通常のNLPとは異なり、入力がpythonのコードであること、1つのnotebookに含まれる文字数が膨大であることなどから、技術的にとても面白そうなタスクでした。チームの戦略としても、こちらに4人中3人を投入し、より力を入れましたが、結果的にスコアが安定しないコンペだったので、戦略ミスではありました。主に私はTransformerを使った解法を作ることに取り組みました。直近でCode NLPのコンペがあったので、その解法を参照しながら、チームメイトと協力してモデル作成を行いました。PublicではEnsembleすることで、Transformerも精度向上に貢献しましたが、単体としては11時間使ってtfidf+LGBMを超えることができず、非常に苦戦しました。コンペ後、他チームの人と話す中でもTransformerの良いmodelを作ることができなかったと話しており、NLPというよりはテーブルコンペに近い解法が多かったです。Publicの時点では、上位も狙える位置だったので、チームメイトとA6000 Getの夢を見ることができ、最後までとても楽しかったです。

二階堂:私たちのチームは「Starry Starry Night!」が15位、「Time isn’t the main thing, it’s the only thing」が8位で合計15位でした。
私は「Starry Starry Night!」の方を担当しました。11時間という短い時間でデータのどこに着目するか非常に難しかったです。我々は主にデータの中のあらゆるカテゴリ値(場所や、雲の量など)に着目しターゲットエンコーディングを行うことで精度向上を目指しました。上位解法を確認すると、NLPの深層学習モデルからの出力単体では精度が出ないが、特徴量として組み合わせることで精度が向上したようで、着目すべき点を見誤ってしまった感が否めません。しかし、オンサイトで協力して短時間のコンペを戦ったことは非常に楽しく、良い経験となりました。

イベント全体について

大越:コロナの影響もあり、久しぶりのオフラインイベントで、非常に盛り上がりました。1日目のプレゼンはたくさん質問があり、その後の雑談の中でも活発に議論することができ、とても刺激になりました。2日目のコンペは、集中した雰囲気に会場が包まれる中、片時も休むことなくコンペに取り組みました。そうした、白熱したコンペを戦ったので、コンペ後は取り組んだ内容やうまくいったこと、いかなかったことを参加者同士で議論し、とても盛り上がりました。この熱量は、オフラインコンペならではのいいものだなと感じ、コロナ前に参加していたオフラインコンペを懐かしみながら、また参加しようと思いました。また、プレゼンをしたおかげで認知してもらうことができ、多くの海外のKagglerとも話すことができました。Kaggleのアイコンがイラストなので、アイコンを見せると、お前がtakuokoだったのかと驚かれる場面も多々ありました。(アイコンを顔写真にすればよかったと少し思っています)また、Kaggle Days Tokyoの際のチームメイトで、現在Kaggle Rank2位のPsiとも再会することができ、Pipelineやリサーチの仕方など教えてもらい、とても参考になりました。運営の方は毎年開きたいと言っていたので、もし次回があればまた参加したいと思える、とても素晴らしいイベントでした。

二階堂:イベントは非常に活気がありました。一日目は軽食やドリンクが置いてあるスペースがあり、プレゼンの合間などで参加者やスタッフが集まるため、あらゆるところで自己紹介や議論などのコミュニケーションが発生していました。私自身も、ネット上でしかやり取りしたことのない方々に挨拶ができました。二日目はとても広いオープンスペースでのコンペだったため、ソファや普通の椅子に座り気分転換しながらコンペに挑むことができました。しかし、11時間という時間は短いようでとても長く、かなり疲れました。その後のパーティは正直あまり覚えていません。(シラフですが)総じて、オフラインイベントの魅力がたくさん詰まった、とても楽しいイベントでした。参加できて本当に良かったです。

イベント以外でのスペインの思い出

大越:イベント後は、チームメイトとバルセロナの観光に行きました。特にサグラダファミリアをはじめとした、ガウディの建築は、彫刻やガラス窓から入ってくる光の色味、屋上の空間の使い方など、どれも素晴らしく、つい長時間かけて見てしまいました。また、地中海のビーチの賑やかさや公園での路上パフォーマンス、それを見る人たちを見ながら、スペインの空気感を感じることができました。日本とは全く違う建物から作られる街並みも、とても素晴らしく、街中を歩いてたくさん写真を撮りました。日本も好きですが、こういった普段とは違う景色が見られるのは、旅行の醍醐味です。食事もとても良く、パエリアはもちろんのこと、タコやムール貝などのシーフード、生ハム、ワイン、どれも美味しくて、日本に戻ってもスペイン料理屋さんに行きたいと思うほどでした。特にアンチョビにハマってしまい、毎食のように食べていました。バルセロナから少し離れたモンセラットまで足を運びましたが、大自然を満喫し、展望台からの景色に圧倒されました。イベントはもちろんですが、観光、料理と全てにおいて満喫しました!

二階堂:私たちはchampionshipに出場したチームで移動していました。バルセロナではサグラダファミリアのスケール感、そしてそれが街中に突如現れたことが印象に残っています。イベント後はマドリードにも観光に行き、バルセロナとは違うスペインの雰囲気を味わうことができました。また、トレドの街並みを一望できる展望台からの景色も素敵でした。そして、どこのレストランで食べたものも非常に美味しかったことも記憶に残っています。私は初めての海外渡航だったのですが、イベントもイベント以外の観光もとても楽しい旅となり、再びヨーロッパへ訪問したいと思える一週間となりました。イベント、観光どちらも非常に頼りになったチームメイトに感謝したいです。

大越:Ristのサポートは、とても手厚く、感謝しています。金銭面では、国内での空港までの移動の経費や、バルセロナでの延泊の費用を始め、多くのサポートをしていただいたおかげで、思う存分バルセロナを満喫することができました。また、Kaggle制度で支援していただいているサーバーも、もちろんフル稼働で活用させていただきました。コンペのTransformerの学習に使用し、実際に多くの実験を回すことができました。また、イベントへの参加を業務扱いにしてくださったおかげで、その後の観光に有休を回すことができました。Ristから参加したメンバーは、こういったサポートのおかげで、イベントにも全力で取り組むことができましたし、その後の観光も思う存分満喫することができたと思います。

二階堂:会社からのサポートに関してですが、かなり手厚くサポートしていただきました。イベント参加をかなり肯定的に考えてくださり、海外へ渡航する上でかかる費用のかなりの部分を補助していただきました。また、イベント自体を業務扱いにしてくださったほか、追加の延泊費用に関しても補助をいただきました。おかげ様で、イベントや、追加の観光全て含めて思う存分楽しむことができました。

最後に

Ristは今後も社員の積極的なKaggleコンペティション参加を応援します。そして、そこで培った技術、発想をお客様にも還元していきます。
最後になりましたが、今回のイベントの参加者の皆様、運営の皆様、本当にお疲れ様でした。