実践とエビデンスレベル
アジャイルやスクラムでは実践知の共有が活発に行われています。アジャイルでは「メタファーから学ぶ」ことも重要とされています。あらゆる事柄を学びにつなげようとする姿勢がアジャイルの推進力につながっている部分もあるでしょう。他方で、個々の実践の有効性についてはあまり実証されておらず、危険な状態で突き進んでしまうこともあります。本記事では、N=1の実践の捉え方とエビデンスレベルの考え方について触れていきます。
要旨
N=1の捉え方
様々なチームにおける事例の共有は少なくともN=1の実践知です。これは、空想上のものではなく、「少なくとも1事例は存在し、そうであった」と言えるものです。これを参考に自身のチームに適応してみることは有効な手立てです。
ただし、「再現性があるかどうか」は別の問題です。自分のチームに適用してもうまくいかないかもしれませんし、同じような結果が得られないかもしれません。「まずはやってみよう」という心持ちでチームに適用するかどうかを話し合って、何を実験するのかを決めるのもよいと思います。ただし、妄信的に実践を適用し、「他ではうまくいったのに、自分たちだとうまくいかないのはチームが悪い」と、原因をチームに求めるのは危険です。
こうしたときにエビデンスレベルは一つの拠り所にできます。
アジャイル実践エビデンスレベル
一般に、研究においてはエビデンスレベルが意識されます。ある手法の有効性は実験を通じて再現性の確認が求められます。ランダム抽出、継続的な観測、ケーススタディ・・。N=1実践知の共有はケーススタディの共有です。事実を記述したに過ぎず、一般には信頼性の低いものとなります。
アジャイルにおいては「状態とパフォーマンス」の実験・研究と言えるでしょう。
- コミュニケーション機会が多い場合と少ない場合
- 声の大きい人がチームを引っ張っている場合
- スクラムマスターを兼任でやっている場合
- デザイナーや法務がチームにいる場合
など様々な状態を特定し、パフォーマンスにどう寄与しているのかを注意深く観察することでよりよい実践とつながるのではないかと考えられます。では、その実践はどの程度研究されているものでしょうか。
そのときに、情報を発信する側、情報を受け取る側、共通の尺度となるものがエビデンスレベルです。
ここでは、アジャイルに寄せたエビデンスレベルの考え方として、Agile Practice Evidence Level (APEL)とでも呼びます。
| レベル | 手法 | 概要 |
|---|---|---|
| APEL1 | メタアナリシス | ランダム化比較実験の結果を複数集め、解析した結果。有効性、再現性の信頼が最も高い。 |
| APEL2 | ランダム化比較実験 | 2つ以上のチームで平行して、差を知りたい特定の状態のみに着目して異なる手法をとり、それら以外の介入を等しい状態とすることで対照実験を行った結果。事実上、何も実施しないチームが求められるため、実務の中で取り入れることは難しく、研究として独立に実施する必要がある。 |
| APEL3 | コホート研究 | ある特定の状態でチームで遂行した場合を観察し、状態を導く要因と結果の関連性を調べる研究の結果。業界横断や時系列で調査する、などの観察の仕方が考えられる。 |
| APEL4 | 対照実験 | 特定状況下の観察と、その対照としての観察を過去の事例を集めて解析する手法。過去の情報が不正確になりがちな点は注意。 |
| APEL5 | 事例共有 | 少なくともN=1の実践結果報告、専門家個人の意見、施策前後での比較、記録として残る事実など |
自身が発信している情報/自身が受け取った情報がどのエビデンスレベルなのか、事例を適用する場合に意識してみてください。情報発信の際に添えてみるのもよいと思います。
N=1の力
ここで、重要な視点を取り戻しましょう。エビデンスレベルは実践知を共有する上で重要な指標になり得ますが、あなたが研究者でない限りは、求めているものは自分たちのチームにとって有効な手立てです。これはN=1にフィットすればよいことを示しています。常に自分たちで実践し、有効性を知ることが最も重要ということです。
同じ開発の状況というものは二度と訪れません。自分たちのチームがなぜ今、そのような体制をとっているのか、有効な状態なのか、に気づき、常に考え、実験し、前進していくことが求められます。
そして、時間は有限です。エビデンスレベルの高い手法を採用することで効率的に有効なカイゼンを進めることができるかもしれません。
このような相互扶助の気持ちで明日もアジャイルな世界が発展していけるとよいですね。
※N=0の単なるアイデアや伝聞には注意しましょう。