皆さんこんにちは！OFF TIME Sandboxの管理人です！
今回はいつもと趣向を変えて、このブログで使っている独自の評価指標「Sandbox Index」そのものについて解説していきます。個別の製品レビューではなく、その土台にある考え方の話です。
はじめに
ガジェットを買おうとして、レビュー記事や動画を延々と見続けた経験、ありませんか。自分は何度もあります。そして厄介なことに、読めば読むほど決められなくなる。当たり前ですが、人によってその商品に求めている要素が異なるためです。レビューを書いた人と自分とで、そもそも重視しているものが違うからです。
「軽くて取り回しが良い」と書かれていても、自分にとって軽さが最優先とは限りません。「コスパが良い」と言われても、多少高くても小さい方が嬉しい人もいます。軽さと価格のどちらを優先すべきかという問いに、万人共通の答えは存在しません。
星評価も同じです。星4.5と書かれていたとして、その4.5が「持ち運びやすさを高く評価した結果」なのか「価格の安さを評価した結果」なのかは分かりません。持ち運び重視の人がつけた4.5と、価格重視の人がつけた4.5は、まったく別のものを指しているはずなのに、表示上はどちらも同じ4.5です。もちろん平均的な評価はわかりますが….。
つまり、レビュアーが優先順位を決めてしまっている限り、優先順位の違う読者にとっては参考にならないということです。
結論：重み付けを、読者が決められるようにした
この問題に対する自分なりの答えが、Sandbox Indexです。
設計思想としてより一般的な消費者が考慮する要素を考慮するというのはさることながら、レビュアーである自分が、重み付けを決めないというのも重要です。
重みづけに関しては、代わりに指標の中に \(\alpha\)（アルファ）という数字を用意しました。これは「あなたは何を重視しますか」という問いに対する、読者自身の答えを入れる場所です。
– \(\alpha = 0.2\)：価格を重視する
– \(\alpha = 0.5\)：バランス重視
– \(\alpha = 0.8\)：小型・高性能を重視する
同じ製品でも、このαを変えるとスコアが変わり、順位も入れ替わります。実際、モバイルバッテリーを比較した記事では、αの設定次第で1位が変わるという結果になりました。
このブログの指標が出力しているのは「この製品が良い」ではなく、「あなたがこう考えるなら、この製品が良い」です。もちろん何と何をトレードオフとするかは人それぞれですが、できる限り多くの観点を加えたつもりです。
なぜ星評価では足りないのか
もう少しだけ、星評価の何が問題なのかを掘り下げさせてください。
星評価の本質的な問題は、複数の異なる軸を、一つの数値に潰してしまうことにあります。
軽さ、出力、価格、サイズ。これらはトレードオフの関係にあります。小さくすれば容量は減り、高出力にすれば価格は上がる。本来こうした要素は、一本の数直線の上に並べられるものではありません。本来であればそのスコアを付けた人それぞれの中で、重さや出力など、様々な指標に対して重みをかけることで総合的に何点なのかという結果があると思うのです。
それでも無理に一つの数値に潰すと、「どの軸をどれだけ重視したか」という情報が、その瞬間に失われます。失われた情報は読者側から復元できません。だから星評価は、読者の優先順位がレビュアーとたまたま一致していたときにだけ機能します。
Sandbox Indexはこの要素をできる限り圧縮しないことを目指しました。できる限り多くの方がそのカテゴリーのアイテムに対して求めるものを指標に入れ、2つの軸を式の中に残したまま、その間の重み付けだけを読者に委ねるという方法を取っています。
普段は応用数学の研究をしているのですが、この発想はそちらの影響が強いと思います。機械学習の分野では、条件Aと条件Bを同時に小さくしなければならないが、どちらも小さくなることはないという問題を扱うことがあります。この場合、それぞれの条件に対する重みづけを適切に行うことで非常にうまく解くことができるようになります。
Sandbox Indexの共通構造
ここからが本題です。
このブログではこれまでに3つの指標を作ってきました。モバイルバッテリー用、AC充電器用、据え置き電源ハブ用。対象が違うので、式もそれぞれ設計し直しています。
ところが、改めて3つを並べてみたところ、面白いことに気づきました。全部が同じ骨格をしているのです。
$$S = \alpha \times (\text{物理的コストあたりの性能}) + (1-\alpha) \times (\text{金銭的コストあたりの性能})$$
言い換えると、性能を「何で割るか」が2種類あるということです。体積・重量・厚みといった物理量で割るか、価格というお金で割るか。
– 第1項が大きい ＝ 小さくて軽いのに高性能
– 第2項が大きい ＝ 安いのに高性能
そしてこの2つは、基本的に両立しません。小型化・軽量化には技術的なコストがかかり、それは価格に跳ね返るからです。だから必ずトレードオフになり、αはそのどちら側に立つかを決めるツマミとして働きます。
実際の3つの式がこちらです。
| 対象 | 第一項(物理) | 第二項(金銭) |
| モバイルバッテリー | 容量/重量 × 出力/体積 × 1/厚み | 容量あたり価格 |
| AC充電器 | 出力²/(体積×重量) × √ポート数 | 出力/価格 |
| 据え置き電源ハブ | 実効種類数/体積 | 実効種類数/価格 |
対象が変われば、式は作り直します。使い回しはしません。
モバイルバッテリーからAC充電器に移ったときは、「容量」という概念がAC充電器には存在しないので容量の項を丸ごと削除し、代わりに出力とポート数を入れました。さらに据え置き型に移ったときは、持ち運ばない以上、重量を評価する意味がありません。そこで重量と出力を落とし、代わりに「ポートの種類がどれだけバランス良く揃っているか」を評価する項に差し替えました。このとき使ったのが、もともと生態学で「ある地域にどれだけ多様な生物種がバランス良く存在するか」を測るために使われてきた多様性指数です。モバイルバッテリーは厚みを考慮する方が多くいると仮定して、厚み(実際には三辺のうち最小のもの)を考慮に入れる設計になっております。
指標の限界：式に入れなかったものは、評価されない
ここまで指標の話をしてきましたが、万能だとはまったく思っていません。
当たり前のことですが、式に入れなかった要素は、スコアに一切反映されません。そしてこれを忘れると、指標に振り回されることになります。
一番はっきりした例が、据え置き電源ハブの記事です。自分が選んだ製品を自分の指標で測ったところ、すべてのαで最下位という結果が出ました。体積が競合より大きかったことが原因です。
しかしこの指標には、「コンセントから離れた場所に設置できるか」という軸が入っていませんでした。自分がその製品を選んだ決め手は、約1.5mのケーブルによって、それまで電源の無かったデスクの上に初めてコンセントを作れたことでした。この価値は、スコアには一切表れていません。
皆さんが考慮したい指標が何かしら存在する場合、僕の指標におけるトレードオフの要素を変更して自分なりの指標を作って評価するのも面白いかもしれません。
まとめると、指標は判断材料であって、判断そのものではありません。指標が出した順位と、自分にとっての最適解が一致しないことは普通にあります。そのズレが出たときに、指標を守るために事実を曲げるのではなく、ズレたという事実をそのまま書く。それがこのブログのやり方です。
あえて指標を作らない、という判断
また、すべてが数式にできるとも考えていません。定性的評価により豊かになれる場面は多々あります。自身もデスク周りの商品選びで明らかに定量的に正しくない選択をしてきています。
ワイヤレスイヤホンをレビューしたときは、指標を作るのをやめました。音質は感覚への依存があまりに強く、一つの数値にまとめた時点で誠実さを欠くと判断したためです。代わりに「ハードウェアそのものの音質」と「ソフトウェア処理の完成度」という2軸に分解し、さらに自分が普段使っているリスニング環境を先に開示しました。読者が自分の耳と照らし合わせるための基準点を渡す、という方法です。
MagSafe充電器をレビューしたときは、色のみで購入を決断したと記載していますからね…。やっぱりかっこいいものは理屈無しでかっこいいという場面はあると思います。特にカラーについては変わりがない状況が考えられるため、非常に難しいです。
つまりこのブログのルールは、定量化できる対象には定量的に、できない対象にはできないと明示して、というものです。一番不誠実なのは、定量化できないものを定量化したように装うことだと思っています。
ちなみに現在は、自分の手を実測してマウスとの適合度を測る指標に挑戦中です。こちらはまだうまくいっていない部分があり、試行錯誤が続いています。形になったらまた記事にします。
まとめ
– 星評価が自分に当てはまらないのは、レビュアーの優先順位が押し付けられているから
– Sandbox Indexは、重み付け \(\alpha\) を読者に渡すことでこの問題を解こうとしている
– 共通形は「α×(物理的コストあたりの性能) + (1-α)×(金銭的コストあたりの性能)」。対象ごとに式は作り直す
– ただし式に入れなかった要素は評価されないし、そもそも指標化しない方が誠実な対象もある
それぞれの指標を実際に使った検証は、モバイルバッテリー、AC充電器、据え置き電源ハブの各記事で読めます。数式の詳細や、競合製品との比較結果もそちらに載せていますので、興味を持っていただけた方はぜひ覗いてみてください。
このブログがどういう人間によって書かれているかは、プロフィールページにまとめてあります。あわせてどうぞ。
コメント