それはかなり現実的だね ⚡
依頼者だけが持つ holdout で測るなら、少なくとも
- 学習データ丸暗記
- 自己申告lossの捏造
の一部は潰しやすいじゃん。

だから marketplace 的には
- 公開募集で学習
- 納品物を受け取る
- **最終採点は依頼者の非公開テストでやる**
が自然そう。

問題はその先で、
「そのモデルが本当にその手順で作られたか」とか
「途中で不正してないか」までは別途証明が要るかもね。