部落格 - 最新消息

EP276|一個席次一年價值五萬四千美元——而這份調查最可信的部分,剛好是最不吸引人的那一段

BNI PODCAST ‧ EP 276

BNI 台南大信白金分會 | 陳韋翔(美之耀)

這一集講的是一份調查。英國默西賽德區委託一家外部顧問公司,調查會籍的實際價值。

數字很驚人:

  • 過去十二個月,平均每位會員從引薦得到的生意:£23,700(約 37,000 美元)
  • 加上第二、三代引薦的延伸效果:再加 £11,300
  • 所以「一個席次的真實價值」:每年 £35,000(約 54,720 美元)
  • 待滿七年的會員,累計創造 £245,000(約 383,000 美元)
  • 整個區域一年 £1,600 萬
  • 這個區域造就了六位百萬富翁(英鎊,不是美元)
  • 有參加訓練的會員,業績成長比沒參加的多 58%

我打算認真對待這份調查——包括它做得好的地方,以及它救不了的地方。

先講它做對的部分,而且那些是真的

這份調查有幾個地方比多數商業調查嚴謹得多,值得肯定:

一、由外部獨立公司執行。不是組織自己發問卷、自己統計。

二、回收率 83%。這個數字非常高。多數商業問卷的回收率是個位數到二十幾個百分比,而低回收率會帶來嚴重的自我選擇偏誤。83% 大幅降低了那個問題。

三、有前測可以對照。同一個區域在二〇〇二年做過一次,二〇一二年再做一次。

四、他們把完整報告交給報社查核之後,報社才刊登。

這四點都是真的優點。而我要先講清楚:我接下來的批評,不是說這份調查是假的,也不是說那些數字是編的。

我要說的是:那些數字測量的東西,跟多數人以為它測量的東西,不是同一件事。

而最大的問題,提高回收率救不了

這份調查的對象,是「目前還在會的人」。

而那些加入之後沒有成效、覺得不划算、然後退出的人——他們不在樣本裡。

就算回收率是 100%,這個問題也不會消失。因為它不是回收率的問題,是母體本身就被篩選過了。

劉潤在《底層邏輯2》裡把商業上最常見的三個統計謬誤列出來:「這三個統計謬誤是基本比率謬誤、辛普森悖論和倖存者偏見。」(P259)

而這裡是第三個。

而這個偏誤最明顯的後果,就在 Misner 特別強調的那一段:

「那家獨立公司發現的其中一件事是:你待在 BNI 越久,投資報酬越大……前幾年要花時間建立那種關係。而到了第三、四、五、六、七年,數字會大幅跳升到一個高得多的數字,六位數。」

這條曲線是真的。但它有兩種讀法:

  • 讀法一:你待得越久,賺得越多。(這是節目採用的讀法)
  • 讀法二:賺到錢的人才會待久。沒賺到的第二年就走了。

而這份調查無法區分這兩種讀法——因為第二年就走的那些人,根本不在資料裡。

所以「待滿七年的人平均創造了 £245,000」這句話,跟「你待滿七年就會創造 £245,000」之間,隔著一個非常大的邏輯跳躍。

要區分這兩者,你需要追蹤所有入會的人(包括退出的),看他們各自的軌跡。而這份調查沒有做,多數這類調查也不會做——因為退出的人不會回你的問卷。

第二個問題:那些金額是自己回想出來的

會員被問的是:「過去十二個月,你從引薦得到多少生意?」

而那是憑印象回答的,沒有查核。

這種問法有兩個穩定的偏誤方向:

一、人記得成的,忘記沒成的。一筆成交會被記住,而三次無疾而終的接觸不會。

二、在一個你認同的組織的問卷上,人會傾向給出正面的數字。這不是說謊,是回想時的天平會偏。

而第二、三代那個數字,Misner 自己的描述最清楚:

「當會員被問到他們還收到哪些後續的訂單……他們平均能想到額外的 £11,300。」

「能想到」(were able to think of)——那是一次回想練習,不是一筆帳。

而這正是我在 Ep321 拆解過的那個問題:往回追溯二代、三代的歸因,會讓幾乎所有東西都歸給起點。因為往回追夠遠,每一條線都會通到某個源頭。

第三個問題,是最容易修正、卻沒有人修正的

£35,000 是成交金額,不是報酬。

而 ROI 的分子,應該是你因此多賺的淨利,不是營業額。

簡單換算一下:

  • 一個毛利率 20% 的行業,£35,000 的營業額 ≈ £7,000 的毛利。
  • 再扣掉服務這些客戶的直接成本、時間、以及可能的呆帳。

而分母呢?我在 Ep321 算過完整的版本:年費 +(每週時數 × 50 週 × 你的實際時薪)。而對多數經營者來說,時間成本是會費的好幾倍。

所以那個「一個席次值 £35,000」的數字,跟真正的投資報酬率之間,隔著兩層換算——而兩層都沒有做。

這一點跟我在 Ep277 指出的問題是同一個:那份儀表板叫做 ROI,但它沒有分母。

而關於報社那一段,我要做一個重要的更正

Misner 講了一段我認為會被誤讀的話:

「他們把這個統計分享給當地一家主要報紙,而報社說:我們要看到證據才會刊登。

在拿到研究公司的完整報告之後,報社認為這份研究夠紮實,可以刊登。

媒體如果聞到問題,你就完了。他們的『唬爛偵測器』很強。如果他們看到不買單的東西,他們不會登——事實上他們通常會反過來修理你。」

我認為這一段需要一個更正,而且它很重要:

報社查核的是「這份調查有沒有真的被做出來」,不是「這份調查的方法對不對」。

報社確認的是:有一家真實存在的顧問公司、做了一份真實的問卷、得到了那些數字。

這些全部是真的。

而報社幾乎確定沒有評估倖存者偏誤、沒有檢查自陳金額的可靠度、也沒有分辨營業額與利潤——那不是新聞查核會做的事,也不是記者的專業。

所以:

「報社願意刊登」不能被當成方法論的背書。

而這是一個非常普遍的誤讀,值得記住它的形式:

查證「存在」,不等於查證「有效」。

同樣的形式到處都是:某個產品「通過檢驗」(檢驗的是重金屬含量,不是效果)、某篇研究「發表在期刊上」(審查的是方法完整性,不是結論正確)、某個數字「有第三方統計」(統計的是回報值,不是真值)。

那個 58% 的訓練效果,有最清楚的干擾因素

「有參加訓練的會員,業績成長比沒參加的多 58%。」

而 Misner 的結論是:「這真的印證了好的訓練能讓會員達到更多成功。」

我認為這個比較有一個非常明顯的問題:

「會去參加訓練」本身,就是一次篩選。

會在週六早上跑去上課的人,跟不會去的人,在幾件事上本來就不同:

  • 投入程度。
  • 時間彈性(他的事業允許他離開半天)。
  • 事業的企圖心。
  • 對「學習」這件事的態度。

這些差異本身就會造成業績差異,就算他們沒有去上那堂課。

所以比較準確的說法是:

「積極的人業績比較好。而積極的人也比較會去上課。」

而不是「上課讓你的業績多成長 58%」。

要證明後者,你需要隨機分派——把會員隨機分成兩組,一組上課一組不上,然後比較。而那當然做不到(也不該做)。

但講清楚這件事很重要,因為它改變了你該做什麼:

  • 如果是訓練造成的 → 那就想辦法把所有人推去上課。
  • 如果是投入程度造成的 → 那推人去上課不會有太大效果。你該處理的是投入程度本身。

而我的判斷是:兩者都有,但後者的成分比較大。

所以如果你是幹部,比起想辦法讓那些不來的人來上課——先去弄清楚他們為什麼不投入(我在 Ep311 寫過怎麼問這件事)。

而 Misner 自己講了整集最誠實的一段

在那些大數字之後,他說了兩句話,而我認為它們才是這一集真正可信的部分:

「如果你加入 BNI,而且想要那 £54,700 的生意——第一年不會發生。平均來說不會。」

以及:

「BNI 不是一夜致富的方案。它需要時間和努力才能得到這種結果。」

我想指出這兩句話跟前面那些數字之間的張力:

那些數字被用來吸引人。而這兩句話在提醒不要期待。

而如果要我把整份調查濃縮成一個結論,我會說:

這份調查最可信的部分,剛好是最不吸引人的那一段——時間很長、報酬遞延、要持續投入、而且第一年幾乎沒有東西。

而最吸引人的那些部分(六位百萬富翁、一個席次五萬四千美元),剛好是最不可信的。

這個規律我認為適用於幾乎所有的成功數據:越讓你想加入的數字,越需要打折;越讓你猶豫的提醒,越接近真相。

那該怎麼辦?自己算,而且用會低估的算法

我不認為結論應該是「所以這個沒用」。

結論應該是:不要用別人的調查決定自己划不划算。自己算,而且只算你自己驗得了的那一層。

具體怎麼做:

分子:只算第一代引薦的實際成交毛利。

  • 只算你拿得出單據的那些。
  • 不要算第二三代——不是因為它們不存在,是因為它們的歸因不可靠,而不可靠的數字會污染整個計算。
  • 毛利,不要用營業額。

分母:年費 +(每週投入時數 × 50 × 你的實際時薪)。

實際時薪=你的年度營業利益 ÷ 你的年工時。不是你付給員工的薪水。

然後——接受這個數字一定會被低估。

因為你確實漏掉了一些長尾:那些說不清楚來源的客戶、那些你省下的搜尋成本(Ep283)、那些能力上的成長(Ep297)。

而這正是重點:

用一個會低估的算法得到的正面結論,比用一個會高估的算法得到的正面結論可靠得多。

如果連打了對折的算法都告訴你划算——那個結論就很穩,你可以放心繼續。

而如果連續兩年,連最寬鬆的算法都算不出正數——那也是一個誠實的答案,而你需要知道它。

最後

我想公平地說:這份調查比多數組織拿出來的東西嚴謹得多。83% 的回收率、外部執行、有前測——這些都是認真做事的表現。

而我花了這麼多篇幅拆它,理由不是它特別糟,恰恰相反:

因為它已經是這一類數據裡做得比較好的了。而如果連它都有這些問題,那麼你日常看到的那些「某某課程學員平均成長 X%」「某某系統客戶業績提升 Y 倍」,問題只會更大。

劉潤有一句話,我覺得是這篇文章最好的收尾:

「沒有統計的『眼睛』,你的世界無時無刻不在向你『撒謊』。」(《底層邏輯2》P258)

而那雙眼睛不需要很專業。它只需要在看到任何一個漂亮數字的時候,問三句:

誰沒有被算進去?這個數字是誰報的?分母在哪裡?

「沒有統計的『眼睛』,你的世界無時無刻不在向你『撒謊』。」
——《底層邏輯2》劉潤,P258

本週行動

1. 看到任何漂亮數字,先問三句:誰沒有被算進去?這個數字是誰報的?分母在哪裡?

2. 自己算一次:只用第一代引薦的成交毛利當分子,年費加時間成本當分母。

3. 刻意用會低估的算法。低估版還是正的,結論才站得住。

4. 分不清「有第三方查核」和「方法正確」的時候,記住:查證存在,不等於查證有效。

🎧 本文整理自 The Official BNI Podcast Ep 276《Why BNI?》(2012-10-03;主持人:Priscilla Rice;主講:Dr. Ivan Misner;文中所述調查由默西賽德區委託 Murray Consulting 執行,數據依原節目口述整理,未查閱原始報告),相關主題另見 Ep 277、Ep 297、Ep 306、Ep 312、Ep 321,由陳韋翔(美之耀)改寫為分會教育版本。本集錄於 2012 年,所引數據為當時之調查結果,且金額換算依原節目所述之匯率。文中對倖存者偏誤、自陳金額偏誤、營業額與利潤之混淆、「查證存在不等於查證有效」之區分、以及訓練效果 58% 之自我選擇干擾等分析,均為改寫者依一般統計方法所作之檢討,非指控該調查造假或任何一方不誠實;改寫者未取得該調查之原始報告,相關批評係針對節目中所述之方法與呈現方式。文中建議之自行計算方式亦為改寫者之觀點,非原講者所述。文中書籍引文出自劉潤《底層邏輯2》,頁碼為書上印刷頁碼。原始集數連結:bnipodcast.com