<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.0 Transitional//EN">
<HTML><HEAD>
<META http-equiv=Content-Type content="text/html; charset=us-ascii">
<META content="MSHTML 6.00.6000.16544" name=GENERATOR>
<STYLE></STYLE>
</HEAD>
<BODY bgColor=#ffffff>
<DIV dir=ltr align=left><SPAN class=289190020-19102007><FONT face=Arial 
color=#0000ff size=2>If you used standard high/low discards then with a 5 judge 
panel - 2 judges scores will be discarded on every maneuver.&nbsp; Is that 
fair?&nbsp; That is 40% of judges scores being discarded... how would you feel 
about judging if your scores were being discarded on a regular basis like 
that?&nbsp; With TBL the probability is over 90% of judges scores will be kept 
(on a 5 judge panel) - that makes the judge feel a little more appreciated, 
don't you think?</FONT></SPAN></DIV>
<DIV dir=ltr align=left><SPAN class=289190020-19102007><FONT face=Arial 
color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
<DIV dir=ltr align=left><SPAN class=289190020-19102007><FONT face=Arial 
color=#0000ff size=2>Any judge that plays it "safe" is doing themselves a 
disservice as well as the pilots they are judging.</FONT></SPAN></DIV><BR>
<DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
<HR tabIndex=-1>
<FONT face=Tahoma size=2><B>From:</B> nsrca-discussion-bounces@lists.nsrca.org 
[mailto:nsrca-discussion-bounces@lists.nsrca.org] <B>On Behalf Of </B>Del K. 
Rykert<BR><B>Sent:</B> Friday, October 19, 2007 11:22 AM<BR><B>To:</B> NSRCA 
Mailing List<BR><B>Subject:</B> Re: [NSRCA-discussion] 
Judging<BR></FONT><BR></DIV>
<DIV></DIV>
<DIV><FONT face=Arial color=#0000ff size=2>I feel the same way Jerry..&nbsp; 
Having nailed someone for a top hat down upright, 2 spins for 3 turn, extra half 
roll..&nbsp; not doing next proper maneuver.etc.. etc.. Have zeroed 3 maneuvers 
in row before pilot gets back in proper sequence.&nbsp; We all know the 
drill.&nbsp; But the judge that catches them who is also doing it right is the 
one who is penalized.. Sure makes one want to man the judges chair doesn't 
it..&nbsp; If all your work and effort to do the job right is just going to be 
thrown out because someone feels the judge who scored low is wrong is not 
sending the right message to those who try to be honest and accountable 
judges.&nbsp; What is promoted is the old play it safe and throw out a 7 or 8 
and all are happy. Well except for the pilot who cares...&nbsp; &lt;tic agn&gt; 
</FONT></DIV>
<DIV><FONT face=Arial color=#0000ff size=2></FONT>&nbsp;</DIV>
<DIV><FONT face=Arial color=#0000ff size=2>&nbsp;&nbsp;&nbsp;&nbsp; 
Del</FONT></DIV>
<BLOCKQUOTE 
style="PADDING-RIGHT: 0px; PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #0000ff 2px solid; MARGIN-RIGHT: 0px">
  <DIV style="FONT: 10pt arial">----- Original Message ----- </DIV>
  <DIV 
  style="BACKGROUND: #e4e4e4; FONT: 10pt arial; font-color: black"><B>From:</B> 
  <A title=JAStebbins@worldnet.att.net 
  href="mailto:JAStebbins@worldnet.att.net">Jerry Stebbins</A> </DIV>
  <DIV style="FONT: 10pt arial"><B>To:</B> <A 
  title=nsrca-discussion@lists.nsrca.org 
  href="mailto:nsrca-discussion@lists.nsrca.org">Discussion -NSRCA</A> </DIV>
  <DIV style="FONT: 10pt arial"><B>Sent:</B> Friday, October 19, 2007 1:03 
  PM</DIV>
  <DIV style="FONT: 10pt arial"><B>Subject:</B> [NSRCA-discussion] Judging</DIV>
  <DIV><BR></DIV>
  <DIV><FONT face=Arial size=2>
  <DIV><FONT face=Arial size=2>Derek, I followed your summary pretty well until 
  the first sentence in the third paragraph. "system works very well and in the 
  end the correct order of finish is picked- which is what we want" 
</FONT></DIV>
  <DIV><FONT face=Arial size=2>Where is "correct " quantified? </FONT></DIV>
  <DIV><FONT face=Arial size=2>Who says what is "correct"? </FONT></DIV>
  <DIV><FONT face=Arial size=2>What says that one judge being low on a maneuver 
  is "wrong"/</FONT></DIV>
  <DIV><FONT face=Arial size=2>Sounds more like the scenario previously 
  mentioned as the "7 to 9 syndrome" is the safe way to score.</FONT></DIV>
  <DIV><FONT face=Arial size=2>How many times have you scored a zero and others 
  gave a score-in error- because the pilot rolled the wrong way? By the way 
  throwing out the old requirement that the judges confer on zeros has only 
  helped get us in this "perceived" problem.</FONT></DIV>
  <DIV><FONT face=Arial size=2>Sure sounds like a "dry lab" approach to me! Easy 
  to massage data and the algorithms</FONT><FONT face=Arial size=2>&nbsp;to 
  "prove" the result desired. </FONT></DIV>
  <DIV><FONT face=Arial size=2>I went through the dataseveral years ago, that 
  was available-and it was not all-on the "Judges ratings", and&nbsp;got the 
  same&nbsp;gut feeling.</FONT></DIV>
  <DIV><FONT face=Arial size=2>What the pilot sees/flies, and his caller sees, 
  and what each judge sees are seldom the same for a multitude of reasons. 
  </FONT></DIV>
  <DIV><FONT face=Arial size=2>Also as a judge, have you ever had a "watcher" 
  come up after a flight and say how great the flight was- and you had just 
  given several zeros/low scores. Amazing how they change their perspective when 
  you point out the obvious errors. That is assuming your memory hasn't blanked 
  out the past pilot yet, and now&nbsp;you are getting ready for the 
  next.</FONT></DIV>
  <DIV><FONT face=Arial size=2>Jerry</FONT>&nbsp;</DIV>
  <BLOCKQUOTE 
  style="PADDING-RIGHT: 0px; PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #000000 2px solid; MARGIN-RIGHT: 0px">
    <DIV style="FONT: 10pt arial">----- Original Message ----- </DIV>
    <DIV 
    style="BACKGROUND: #e4e4e4; FONT: 10pt arial; font-color: black"><B>From:</B> 
    <A title=derekkoopowitz@gmail.com href="">Derek Koopowitz</A> </DIV>
    <DIV style="FONT: 10pt arial"><B>To:</B> <A 
    title=nsrca-discussion@lists.nsrca.org href="">'NSRCA Mailing List'</A> 
    </DIV>
    <DIV style="FONT: 10pt arial"><B>Sent:</B> Thursday, October 18, 2007 11:25 
    PM</DIV>
    <DIV style="FONT: 10pt arial"><B>Subject:</B> Re: [NSRCA-discussion] D3 
    Championship - Scoring SystemOverhaul-LONG</DIV>
    <DIV><BR></DIV>
    <DIV dir=ltr align=left><SPAN class=156491504-19102007><FONT face=Arial 
    color=#0000ff size=2>TBL - scores go back to the pilots as is... raw.&nbsp; 
    TBL is only factored once a round is finished and the results 
    calculated.&nbsp; With TBL scores are adjusted to the whole score and result 
    in whole numbers.&nbsp; Remember, the entire score isn't thrown out - just a 
    maneuver score.&nbsp; When a score is dropped then TBL is run on the entire 
    set of scores again to recalculate the mean and std. deviation - it is an 
    iterative process until all scores fall within the range that are calculated 
    for the pilots/judges.</FONT></SPAN></DIV>
    <DIV dir=ltr align=left><SPAN class=156491504-19102007><FONT face=Arial 
    color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
    <DIV dir=ltr align=left><SPAN class=156491504-19102007><FONT face=Arial 
    color=#0000ff size=2>TBL was used at the TOC for all years starting in 1999 
    onwards.&nbsp; It has been used at the WC since 2001 (I 
    think).</FONT></SPAN></DIV>
    <DIV dir=ltr align=left><SPAN class=156491504-19102007><FONT face=Arial 
    color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
    <DIV dir=ltr align=left><SPAN class=156491504-19102007><FONT face=Arial 
    color=#0000ff size=2>Bottom line - the system works very well and in the end 
    the correct order of finish&nbsp;is picked - which is what we want.&nbsp; In 
    all the years of scoring with TBL at the TOC I saw very few judges scores 
    discarded which probably says more about the quality of judging than 
    anything else.&nbsp; I'd be very curious what the results have been at the 
    F3A WC's since it was implemented.</FONT></SPAN></DIV>
    <DIV dir=ltr align=left><SPAN class=156491504-19102007><FONT face=Arial 
    color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
    <DIV dir=ltr align=left><SPAN class=156491504-19102007><FONT face=Arial 
    color=#0000ff size=2>I would love to see TBL in use at the Nats for the 
    Finals in both classes - we certainly have enough judges to support its 
    use.</FONT></SPAN></DIV><BR>
    <DIV class=OutlookMessageHeader lang=en-us dir=ltr align=left>
    <HR tabIndex=-1>
    <FONT face=Tahoma size=2><B>From:</B> 
    nsrca-discussion-bounces@lists.nsrca.org 
    [mailto:nsrca-discussion-bounces@lists.nsrca.org] <B>On Behalf Of 
    </B>rcmaster199@aol.com<BR><B>Sent:</B> Thursday, October 18, 2007 8:51 
    PM<BR><B>To:</B> nsrca-discussion@lists.nsrca.org<BR><B>Subject:</B> Re: 
    [NSRCA-discussion] D3 Championship - Scoring System 
    Overhaul-LONG<BR></FONT><BR></DIV>
    <DIV></DIV>
    <DIV><SPAN contentEditable=false 
    style="DISPLAY: inline-block"></SPAN>Earl,</DIV>
    <DIV>&nbsp;</DIV>
    <DIV>If I remember correctly, some of the results from the Judge Evaluation 
    have been presented either in the KF or the website&nbsp;in past&nbsp;years. 
    But I haven't seen any results posted lately. Perhaps you are 
    right...posting might serve a purpose.</DIV>
    <DIV>&nbsp;</DIV>
    <DIV>Curious...in the TBL method, do the adjustments to a judge's scores 
    come in whole or fractional numbers? How are the scoresheets that are given 
    back to the pilots handled.....I mean, do they show adjusted scores or as 
    judged? Or both?</DIV>
    <DIV>&nbsp;</DIV>
    <DIV>Koop, was TBL used in the TOC? </DIV>
    <DIV>&nbsp;</DIV>
    <DIV>If we have access to the algorithm, I wouldn't mind taking a peek of 
    how the 2007 F3A Nats Final could turn out. I would bet that it wouldn't 
    make much difference on&nbsp;where the pilots placed.</DIV>
    <DIV>&nbsp;</DIV>
    <DIV>Matt</DIV>
    <DIV><BR></DIV>
    <DIV><BR></DIV>-----Original Message-----<BR>From: Earl Haury 
    &lt;ejhaury@comcast.net&gt;<BR>To: NSRCA Mailing List 
    &lt;nsrca-discussion@lists.nsrca.org&gt;<BR>Sent: Thu, Oct 18 10:24 
    PM<BR>Subject: Re: [NSRCA-discussion] D3 Championship - Scoring System 
    Overhaul -LONG<BR><BR>
    <DIV id=AOLMsgPart_3_850a6352-9570-4af6-a752-5bdc9529c253>
    <DIV><FONT face=Arial>We miss an opportunity for judges to&nbsp;evaluate 
    their&nbsp;performance by not distributing the results of the analysis of 
    that performance (at major meets). I, for one, would like the judges 
    performance data to be published in the K-Factor (after all - the pilots 
    scores are published). However, realizing that some are squeamish about 
    this, I think that we should still provide each judge with the analysis of 
    his / her specific performance. At least, each judge would then have an 
    indication of their current skills and any variation over the 
    years.</FONT></DIV>
    <DIV><FONT face=Arial></FONT>&nbsp;</DIV>
    <DIV><FONT face=Arial>Earl</FONT></DIV>
    <BLOCKQUOTE 
    style="PADDING-RIGHT: 0px; PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #000000 2px solid; MARGIN-RIGHT: 0px">
      <DIV style="FONT: 10pt arial">----- Original Message ----- </DIV>
      <DIV 
      style="BACKGROUND: #e4e4e4; FONT: 10pt arial; font-color: black"><B>From:</B> 
      <A title=derekkoopowitz@gmail.com href="">Derek Koopowitz</A> </DIV>
      <DIV style="FONT: 10pt arial"><B>To:</B> <A 
      title=nsrca-discussion@lists.nsrca.org href="">'NSRCA Mailing List'</A> 
      </DIV>
      <DIV style="FONT: 10pt arial"><B>Sent:</B> Thursday, October 18, 2007 7:53 
      PM</DIV>
      <DIV style="FONT: 10pt arial"><B>Subject:</B> Re: [NSRCA-discussion] D3 
      Championship - Scoring System Overhaul -LONG</DIV>
      <DIV><BR></DIV>
      <DIV dir=ltr align=left><SPAN class=296224900-19102007><FONT face=Arial 
      color=#0000ff size=2>I'll post my dissertation on TBL again since this 
      issue seems to crop up time and time again...</FONT></SPAN></DIV>
      <DIV dir=ltr align=left><SPAN class=296224900-19102007><FONT face=Arial 
      color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
      <DIV dir=ltr align=left><SPAN class=296224900-19102007>
      <DIV 
      style="mso-element: dropcap-dropped; mso-element-frame-hspace: 3.0pt; mso-element-wrap: auto; mso-element-anchor-vertical: paragraph; mso-element-anchor-horizontal: column; mso-height-rule: exactly; mso-element-linespan: 3"><FONT 
      face=Garamond><SPAN class=296224900-19102007>T</SPAN>he Tarasov-Bauer-Long 
      (TBL) Scoring method has been around since the 1970&#8217;s.<SPAN 
      style="mso-spacerun: yes">&nbsp; </SPAN>It has been used in the full size 
      arena since 1978 and has been used at every full size IAC World 
      Championship since 1980.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>The 
      TBL method applies proven statistical probability theory to the judge&#8217;s 
      scores to resolve style differences and bias, and to avoid the inclusion 
      of potential faulty judgements in contest results.<SPAN 
      style="mso-spacerun: yes">&nbsp; </SPAN>To understand just why we need 
      TBL, and how it works, is if considerable importance to us all.<SPAN 
      style="mso-spacerun: yes">&nbsp; </SPAN>It is important to the pilots 
      because it is there to reduce the prospect of unsatisfactory judgements 
      affecting their results, and it is important for judges because it will 
      introduce a completely new dimension of scrutiny into the sequence totals, 
      and it will also discreetly engage the attention of the Chief Judge, or 
      Contest Director, if the judges conclusions differ sufficiently from all 
      those other judges on the same panel.</FONT></DIV>
      <DIV class=MsoBodyText style="MARGIN: 0in 0in 12pt; TEXT-ALIGN: left" 
      align=left><FONT face=Garamond>When people get together to judge how well 
      a pre-defined competitive task is being tackled, the range of opinions is 
      often diverse.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>This is 
      entirely natural among humans where the critique of any display of skill 
      relies on the interpretation of rapidly changing visual cues.<SPAN 
      style="mso-spacerun: yes">&nbsp; </SPAN>In order to minimize the prospect 
      of any &#8220;way out opinions&#8221; having too much effect on the result, it is 
      usual to average the accumulated scores to arrive at a final assessment, 
      which takes everybody&#8217;s opinion into account.<SPAN 
      style="mso-spacerun: yes">&nbsp; </SPAN>Unfortunately this averaging 
      approach can achieve the opposite of what we really want, which is to 
      identify, and where needed, remove those &#8220;way out opinions&#8221; because they 
      are the ones most likely to be ill-judged and therefore should be 
      discarded, leaving the rest to determine the more appropriate 
      result.</FONT></DIV>
      <DIV class=MsoBodyText style="MARGIN: 0in 0in 12pt; TEXT-ALIGN: left" 
      align=left><FONT face=Garamond>In aerobatics the process of judging 
      according to the rulebook normally leads to a series of generally similar 
      personal views.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>However, one 
      judge&#8217;s downgrading may be harsher or more lenient than the next, their 
      personal feelings toward each competitor or aircraft type may predispose 
      toward favor or dislike (bias), and they will almost certainly miss or see 
      things that other judges do not.<SPAN style="mso-spacerun: yes">&nbsp; 
      </SPAN>How then can we &#8220;judge&#8221; the judges and so reach a conclusion, which 
      has good probability of acceptance by all the concerned 
      parties?</FONT></DIV>
      <DIV class=MsoBodyText style="MARGIN: 0in 0in 12pt; TEXT-ALIGN: left" 
      align=left><FONT face=Garamond>The key word is <B 
      style="mso-bidi-font-weight: normal"><I 
      style="mso-bidi-font-style: normal">probability</I></B>, the concept of a 
      perceived level of confidence in collectively viewed judgements has 
      entered the frame.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>What we 
      really mean is that we must be confident that opinions pitched outside 
      some pre-defined level of reasonable acceptability will be identified as 
      such and will not be used.<SPAN style="mso-spacerun: yes">&nbsp; 
      </SPAN>This sort of situation is the daily bread and butter of well 
      established probability theory which, when suitably applied, can produce a 
      very clear cut analysis of numerically expressed opinions provided that 
      the appropriate criteria have been carefully established 
      beforehand.</FONT></DIV>
      <DIV class=MsoBodyText style="MARGIN: 0in 0in 12pt; TEXT-ALIGN: left" 
      align=left><FONT face=Garamond>What has been developed through several 
      previous editions is some arithmetic which addresses the judge&#8217;s raw 
      scores in such a way that any which are probably unfair are discarded with 
      an established level of confidence.<SPAN style="mso-spacerun: yes">&nbsp; 
      </SPAN>To understand the process you need only accept some quite simple 
      arithmetic procedures, which are central to what is called &#8220;statistical 
      probability&#8221;.</FONT></DIV>
      <DIV class=MsoBodyText style="MARGIN: 0in 0in 12pt; TEXT-ALIGN: left" 
      align=left><FONT face=Garamond>The TBL scoring system in effect does the 
      following:</FONT></DIV>
      <DIV class=MsoListBullet2 
      style="MARGIN: 0in 0.25in 12pt 0.75in; TEXT-INDENT: -0.25in; TEXT-ALIGN: left; mso-list: l0 level1 lfo1" 
      align=left><SPAN 
      style="FONT-SIZE: 14pt; FONT-FAMILY: Symbol; mso-bidi-font-size: 10.0pt; mso-fareast-font-family: Symbol; mso-bidi-font-family: Symbol"><SPAN 
      style="mso-list: Ignore">&middot;<SPAN 
      style="FONT: 7pt 'Times New Roman'">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      </SPAN></SPAN></SPAN><FONT face=Garamond>Commonizes the judging 
      styles.</FONT></DIV>
      <DIV class=MsoListBullet2 
      style="MARGIN: 0in 0.25in 12pt 0.75in; TEXT-INDENT: -0.25in; TEXT-ALIGN: left; mso-list: l0 level1 lfo1" 
      align=left><SPAN 
      style="FONT-SIZE: 14pt; FONT-FAMILY: Symbol; mso-bidi-font-size: 10.0pt; mso-fareast-font-family: Symbol; mso-bidi-font-family: Symbol"><SPAN 
      style="mso-list: Ignore">&middot;<SPAN 
      style="FONT: 7pt 'Times New Roman'">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      </SPAN></SPAN></SPAN><FONT face=Garamond>Computes TBL scores</FONT></DIV>
      <DIV class=MsoListBullet2 
      style="MARGIN: 0in 0.25in 12pt 0.75in; TEXT-INDENT: -0.25in; TEXT-ALIGN: left; mso-list: l0 level1 lfo1" 
      align=left><SPAN 
      style="FONT-SIZE: 14pt; FONT-FAMILY: Symbol; mso-bidi-font-size: 10.0pt; mso-fareast-font-family: Symbol; mso-bidi-font-family: Symbol"><SPAN 
      style="mso-list: Ignore">&middot;<SPAN 
      style="FONT: 7pt 'Times New Roman'">&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 
      </SPAN></SPAN></SPAN><FONT face=Garamond>Publishes results</FONT></DIV>
      <DIV class=MsoBodyText style="MARGIN: 0in 0in 12pt; TEXT-ALIGN: left" 
      align=left><FONT face=Garamond></FONT>&nbsp;</DIV>
      <DIV class=MsoBodyText style="MARGIN: 0in 0in 12pt; TEXT-ALIGN: left" 
      align=left><FONT face=Garamond>Commonizing the judging styles involves 
      remodeling the scores to bring all the judging styles to a common format 
      and removing any natural bias between panel members.<SPAN 
      style="mso-spacerun: yes">&nbsp; </SPAN>Following some calculations, each 
      judge&#8217;s set of scores are squeezed or stretched and moved en-bloc up or 
      down so that the sets all show the same overall spread and have identical 
      averages (bias).<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>Within each 
      set the pilot order and score progression must remain unaltered, but now 
      valid score comparisons are possible between all the panel judges on 
      behalf of each pilot.</FONT></DIV>
      <DIV class=MsoBodyText style="MARGIN: 0in 0in 12pt; TEXT-ALIGN: left" 
      align=left><FONT face=Garamond>Computing the TBL score involves looking at 
      the high and low scores in each pilot&#8217;s set and throws out any that are 
      too &#8220;far out&#8221; to be fair.<SPAN style="mso-spacerun: yes">&nbsp; 
      </SPAN>This is done by subtracting the average for the set from each one 
      and dividing the result by the &#8220;sample standard deviation&#8221; - if the result 
      of this sum is greater than 1.645 then according to statistical 
      probability theory we can be at least 90% confident that it is unfair, so 
      the score is discarded.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>This 
      calculation and the mathematically derived 1.645 criteria is the key to 
      the correctness of the TBL process, and is based on many years of 
      experience by the full size aerobatics organization with contest scores at 
      all levels.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>The discarding of 
      any scores of course changes for a pilot the average and standard 
      deviation of their remaining results, and so the whole process is 
      repeated.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>After several 
      cycles any &#8220;unfair&#8221; scores will have gone, and those that remain will all 
      satisfy the essential 90% confidence criteria.</FONT></DIV>
      <DIV class=MsoBodyText style="MARGIN: 0in 0in 12pt; TEXT-ALIGN: left" 
      align=left><FONT face=Garamond>Publishing the results is derived by 
      averaging each pilot&#8217;s scores.<SPAN style="mso-spacerun: yes">&nbsp; 
      </SPAN>The final TBL iteration therefore has any appropriate penalty/bonus 
      values applied and the results are then sorted in order of descent of the 
      total scores to rank the pilots first to last.<SPAN 
      style="mso-spacerun: yes">&nbsp; </SPAN>These final scores may, or may 
      not, be normalized to 1000 points, depending on the setting for the 
      selected class.</FONT></DIV>
      <DIV class=MsoBodyText style="MARGIN: 0in 0in 12pt; TEXT-ALIGN: left" 
      align=left><FONT face=Garamond>Educating and improving the judges is a 
      useful by-product of this process in that it provides all the bells and 
      whistles how each judge has performed by comparison with the overall 
      judging panel average and when seen against the 90% level of confidence 
      criteria.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>The TBL system will 
      produce an analysis showing each judge the percentage of scores accepted 
      as &#8220;OK&#8221;, and a comparison with the panel style (spread of score) and bias 
      (average).</FONT></DIV>
      <DIV class=MsoBodyText style="MARGIN: 0in 0in 12pt; TEXT-ALIGN: left" 
      align=left><FONT face=Garamond>Unfortunately TBL, by definition, brings 
      with it a 10% possibility of upsetting an honest judge&#8217;s day.<SPAN 
      style="mso-spacerun: yes">&nbsp; </SPAN>The trade-off is that we expect 
      not only to achieve a set of results with at least 90% confidence that are 
      &#8220;fair&#8221; every time, but that the system also provides us with a wonderful 
      tool to address our judging standards.<SPAN 
      style="mso-spacerun: yes">&nbsp; </SPAN>TBL will ensure that every judge&#8217;s 
      opinion has equal weight, and that each sequence score by each judge is 
      accepted only if it lies within an acceptable margin from the panel 
      average.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>TBL, however, by 
      necessity takes the dominant judging panel view as the &#8220;correct&#8221; one and 
      it can&#8217;t make right scores out of wrong ones.<SPAN 
      style="mso-spacerun: yes">&nbsp; </SPAN>If 6 out of 8 judges are 
      distracted and make a mess out of one pilots efforts, then for TBL this 
      becomes the controlling assessment of that pilots performance, and the 
      other 2 diligent judges who got it right will see their scores 
      unceremoniously zapped.<SPAN style="mso-spacerun: yes">&nbsp; </SPAN>In 
      practice this would be extremely unusual - from the judging line it is 
      almost impossible to deliberately upset the final results without 
      collusion between a majority of the judges, and if that starts to happen 
      then someone is definitely on the wrong planet.</FONT></DIV></SPAN></DIV>
      <DIV dir=ltr align=left><SPAN class=296224900-19102007><FONT face=Arial 
      color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
      <DIV dir=ltr align=left><SPAN class=296224900-19102007><FONT face=Arial 
      color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
      <DIV dir=ltr align=left><SPAN class=296224900-19102007><FONT face=Arial 
      color=#0000ff size=2></FONT></SPAN>&nbsp;</DIV>
      <DIV dir=ltr align=left>
      <HR>
      </DIV>
      <DIV dir=ltr align=left><FONT face=Tahoma size=2><B>From:</B> <A 
      href="">nsrca-discussion-bounces@lists.nsrca.org</A> [<A 
      href="">mailto:nsrca-discussion-bounces@lists.nsrca.org</A>] <B>On Behalf 
      Of </B><A href="">vicenterc@comcast.net</A><BR><B>Sent:</B> Thursday, 
      October 18, 2007 8:11 AM<BR><B>To:</B> NSRCA Mailing 
      List<BR><B>Subject:</B> Re: [NSRCA-discussion] D3 Championship - Scoring 
      System Overhaul<BR></FONT><BR></DIV>
      <DIV></DIV>
      <DIV>Tony,</DIV>
      <DIV>&nbsp;</DIV>
      <DIV>Do you know if the&nbsp;TBL system&nbsp;eliminates the high and low 
      scores?&nbsp; I think that is a good solution but we can not do it in 
      local contests.&nbsp; Probably we could in some contests since we have 
      many Masters vs. F3A.&nbsp; </DIV>
      <DIV>&nbsp;</DIV>
      <DIV>Do you know "link"&nbsp;where we can read about TBL system?</DIV>
      <DIV>&nbsp;</DIV>
      <DIV class=signature id=signature>--<BR>Vicente "Vince" Bortone</DIV>
      <DIV>&nbsp;</DIV>
      <BLOCKQUOTE 
      style="PADDING-LEFT: 5px; MARGIN-LEFT: 5px; BORDER-LEFT: #1010ff 2px solid">-------------- 
        Original message -------------- <BR>From: "Tony" &lt;<A 
        href="">tony@radiosouthrc.com</A>&gt; <BR>
        <STYLE>#AOLMsgPart_3_850a6352-9570-4af6-a752-5bdc9529c253 P.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
#AOLMsgPart_3_850a6352-9570-4af6-a752-5bdc9529c253 LI.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
#AOLMsgPart_3_850a6352-9570-4af6-a752-5bdc9529c253 DIV.MsoNormal {
        FONT-SIZE: 12pt; MARGIN: 0in 0in 0pt; FONT-FAMILY: "Times New Roman"
}
#AOLMsgPart_3_850a6352-9570-4af6-a752-5bdc9529c253 A:link {
        COLOR: blue; TEXT-DECORATION: underline
}
#AOLMsgPart_3_850a6352-9570-4af6-a752-5bdc9529c253 SPAN.MsoHyperlink {
        COLOR: blue; TEXT-DECORATION: underline
}
#AOLMsgPart_3_850a6352-9570-4af6-a752-5bdc9529c253 A:visited {
        COLOR: purple; TEXT-DECORATION: underline
}
#AOLMsgPart_3_850a6352-9570-4af6-a752-5bdc9529c253 SPAN.MsoHyperlinkFollowed {
        COLOR: purple; TEXT-DECORATION: underline
}
#AOLMsgPart_3_850a6352-9570-4af6-a752-5bdc9529c253 SPAN.EmailStyle17 {
        COLOR: navy; FONT-FAMILY: Arial; mso-style-type: personal-reply
}
#AOLMsgPart_3_850a6352-9570-4af6-a752-5bdc9529c253 DIV.Section1 {
        page: Section1
}
</STYLE>

        <DIV class=Section1>
        <DIV class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
        style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">This TBL will 
        find these problems and is in use at World Champs.&nbsp; The problem is 
        that you need at least 5 judges on a line.</SPAN></FONT></DIV>
        <DIV class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
        style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial"></SPAN></FONT>&nbsp;</DIV>
        <DIV>
        <DIV class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
        style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">Tony Stillman, 
        President</SPAN></FONT><FONT color=navy><SPAN 
        style="COLOR: navy"></SPAN></FONT></DIV>
        <DIV class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
        style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">Radio South, 
        Inc.</SPAN></FONT><FONT color=navy><SPAN 
        style="COLOR: navy"></SPAN></FONT></DIV>
        <DIV class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
        style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">139 Altama 
        Connector, Box 322</SPAN></FONT><FONT color=navy><SPAN 
        style="COLOR: navy"></SPAN></FONT></DIV>
        <DIV class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
        style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">Brunswick</SPAN></FONT><FONT 
        face=Arial color=navy size=2><SPAN 
        style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">, GA&nbsp; 
        31525</SPAN></FONT><FONT color=navy><SPAN 
        style="COLOR: navy"></SPAN></FONT></DIV>
        <DIV class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
        style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial">1-800-962-7802</SPAN></FONT><FONT 
        color=navy><SPAN style="COLOR: navy"></SPAN></FONT></DIV>
        <DIV class=MsoNormal><FONT face=Arial color=navy size=2><SPAN 
        style="FONT-SIZE: 10pt; COLOR: navy; FONT-FAMILY: Arial"><A 
        href="">tony@radiosouthrc.com</A></SPAN></FONT></DIV></DIV>
        <DIV>
        <DIV class=MsoNormal style="TEXT-ALIGN: center" align=center><FONT 
        face="Times New Roman" size=3><SPAN style="FONT-SIZE: 12pt">
        <HR align=center width="100%" SIZE=2>
        </SPAN></FONT></DIV></DIV></DIV></BLOCKQUOTE></BLOCKQUOTE></DIV></BLOCKQUOTE></FONT></DIV>
  <P>
  <HR>

  <P></P>_______________________________________________<BR>NSRCA-discussion 
  mailing 
  list<BR>NSRCA-discussion@lists.nsrca.org<BR>http://lists.nsrca.org/mailman/listinfo/nsrca-discussion</BLOCKQUOTE></BODY></HTML>