Plans and Procedures for the Experimental Testing of the FCC Package Bidding System for the 700 MHz Band Auction: Test #2 Submitted by Cybernomics Inc. under Subcontract FCC-00-003 Plan and Procedures for the Experimental Testing of the FCC Package Bidding System for the 700 MHz Band Auction: Test #2 I. Overview Cybernomics Inc. has designed new experiments and trained new subjects to verify the algorithms and rules of the FCC Package Auction for the 700 MHz Band Auction. As before, the test environment uses human bidders to submit strategic bids into the auction system designed by the FCC and implemented by Computech. The bidders have an incentive to discover and exploit any weaknesses in the system, since they will be paid based on the success of the bids they make in the auction vis-à-vis other participants. In addition, they will be given a monetary bounty for any errors they find in the software implementation of the auction rules. Thus, real people with real incentives will be providing Cybernomics and Computech with feedback on the system operation. We have also developed a backend software system to verify the results found by Computech in the test. The new experimental design has been developed to test the new rule changes that are part of the new Package auction system. The new experiments include budget constrained bidders and system optimum that exacerbate the threshold problem. II. Experimental Procedure As before, the Computech system will be tested in the Economic Science Laboratory (ESL) at the University of Arizona using methods in Experimental Economics. The auctions that will be conducted at ESL will use human subjects who will participate in a series of auctions. The subjects will be motivated to participate by being paid based on the success of the bids they make in the auction. Each subject will be paid the difference between their private values for any license they obtain, minus the cost of winning that license in the auction. The private values of each license to each subject will be induced. That is, each license and several packages of licenses will have monetary values for the subjects. They get these values if they win the licenses. Of course they must pay their bids for the license package they win. In the tables below, we supply the values for 30 bidders in two environments. Values are stated in experimental dollars that can be redeemed in our experiment at a rate of 100,000 experimental dollars equals one US dollar. Thus, in Table 1, subject 9 has a value of 200,000,000 experimental dollars for license 10MHz- Northeast. Table 1 Value Parameters (Values are stated in Millions of Experimental Dollars) Case 1 Subjects ? Licence 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 10-NE 16 26 3 46 48 39 19 16 42 63 25 25 25 25 25 10-MA 3 3 1 36 17 5 30 8 56 15 44 44 44 44 44 10-SE 6 2 10 3 7 8 8 13 8 3 6 6 6 6 6 10-GL 2 14 38 13 14 16 25 14 5 14 19 19 19 19 19 10-CM 11 8 .4 8 3 19 15 6 12 2 10 10 10 10 10 10-P 28 39 25 3 59 5 45 15 17 22 5 5 5 5 5 20 - NE 111 24 52 40 24 54 16 50 2 80 25 25 25 25 25 20-MA 49 93 12 63 51 38 21 3 48 15 35 35 35 35 35 20-SE 16 19 10 24 11 20 5 2 9 12 4 4 4 4 4 20-GL .3 20 37 4 2 29 6 6 10 28 3 3 3 3 3 20-CM 21 16 21 5 15 4 11 20 .3 22 17 17 17 17 17 20-P 40 30 45 39 44 32 29 35 19 42 52 52 52 52 52 20- C 20- P 86 82 NA 82 NA NA NA NA NA NA NA NA NA NA NA 10-NE, MA, SE 105 NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10-GL, CM, P NA 105 NA NA NA NA NA NA NA NA NA NA NA NA NA 20 – MA, CM, P NA NA NA NA NA 160 NA NA NA NA NA NA NA NA NA 10 – NE, MA NA NA NA NA NA 95 NA NA NA NA NA NA NA NA NA 10 – SE, GL NA NA NA NA NA 30 NA NA NA NA NA NA NA NA NA 10 – NE, GL, SE NA NA NA NA NA NA 80 NA 138 NA NA NA NA NA NA 20 – CM, P NA NA NA NA NA NA 86 NA NA NA NA NA NA NA NA 20 – MA, GL NA NA NA NA NA NA 104 NA NA NA NA NA NA NA NA 20 – NE, GL, SE NA NA NA NA NA NA NA 138 NA NA NA NA NA NA 10 – CM, P NA NA NA NA NA NA NA 62 62 NA NA NA NA NA NA 10 – MA, GL NA NA NA NA NA NA NA 65 65 NA NA NA NA NA NA 10 – MA, GL 20 - MA NA NA NA NA NA NA NA NA NA 122 NA NA NA NA NA 20 – CM 10 – SE NA NA NA NA NA NA NA NA NA 38 NA NA NA NA NA 10 – MA 20 - GL NA NA NA NA NA NA NA NA NA 74 NA NA NA NA NA 20 – ALL NA NA 298 NA NA NA NA NA NA NA NA NA NA NA NA 10 - ALL NA NA NA 187 187 NA NA NA NA NA NA NA NA NA NA Licence 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 10-NE 25 25 25 25 25 25 25 25 25 25 25 25 25 25 25 10-MA 44 44 44 44 44 44 44 44 44 44 44 44 44 44 44 10-SE 6 6 6 6 6 6 6 6 6 6 6 6 6 6 6 10-GL 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 10-CM 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10-P 5 5 5 5 5 5 5 5 5 5 5 5 5 5 5 20 - NE 25 25 25 25 25 25 25 25 25 25 25 25 25 25 25 20-MA 35 35 35 35 35 35 35 35 35 35 35 35 35 35 35 20-SE 4 4 4 4 4 4 4 4 4 4 4 4 4 4 4 20-GL 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 20-CM 17 17 17 17 17 17 17 17 17 17 17 17 17 17 17 20-P 52 52 52 52 52 52 52 52 52 52 52 52 52 52 52 20- C 20- P NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10-NE, MA, SE NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10-GL, CM, P NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 20 – MA, CM, P NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 – NE, MA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 – SE, GL NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 – NE, GL, SE NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 20 – CM, P NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 20 – MA, GL NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 20 – NE, GL, SE NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 – CM, P NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 – MA, GL NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 – MA, GL 20 - MA NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 20 – CM 10 – SE NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 – MA 20 - GL NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 20 – ALL NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 - ALL NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA Case 2 Subjects ? Licence 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 10-NE 50 44 50 47 22 36 32 47 4 29 25 3 3 3 3 10-MA 14 36 7 19 26 36 6 18 4 17 24 13 13 13 13 10-SE 12 17 7 18 16 25 6 21 15 18 20 7 7 7 7 10-GL 18 ,8 11 19 18 4 9 20 18 9 6 19 19 19 19 10-CM 11 5 30 2 16 9 20 30 27 12 .5 12 12 12 12 10-P 43 33 2 39 8 47 21 47 24 40 5 42 42 42 42 20-NE 100 49 57 61 70 80 37 91 94 46 53 46 46 46 46 20-MA 82 80 48 90 100 79 10 4 7 6 73 41 41 41 41 20-SE 15 13 50 19 .7 26 21 8 7 34 6 18 18 18 18 20-GL 10 38 5 28 18 40 22 33 11 10 15 18 18 18 18 20-CM 60 33 2 60 8 18 56 60 38 45 8 8 8 8 8 20-P 57 58 18 59 56 17 73 57 58 104 2 10 10 10 10 10 – ALL 217 NA 217 217 NA NA 217 NA NA NA NA NA NA NA NA 20- SE, CM, P 204 NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10-MA, CE, CM NA 111 NA NA NA NA NA NA NA NA NA NA NA NA NA 20 – ALL NA 434 NA NA NA 434 NA 434 NA NA NA NA NA NA NA 10 – SE, CM, P NA NA 157 102 NA 102 NA 102 NA NA NA NA NA NA NA 10 – NE, MA SE NA NA NA NA 120 NA NA NA NA NA NA NA NA NA NA 20 - NE, SE GL NA NA NA NA 190 NA NA NA NA NA NA NA NA NA NA 10 – P 20 – SE, CM NA NA NA NA NA NA 174 NA NA NA NA NA NA NA NA 20 – GL, CM P NA NA NA NA NA NA NA NA 194 NA NA NA NA NA NA 10 NE 20 – NE NA NA NA NA NA NA NA NA 167 NA NA NA NA NA NA 20 – NE, MA SE NA NA NA NA NA NA NA NA NA 240 NA NA NA NA NA 10 – NE, SE, GL NA NA NA NA NA NA NA NA NA 95 NA NA NA NA NA 10 – GL, CM, P NA NA NA NA NA NA NA NA NA NA 97 NA NA NA NA 10 – GL 20 - GL NA NA NA NA NA NA NA NA NA NA 167 NA NA NA NA Licence 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 10-NE 3 3 3 3 3 3 3 3 3 3 3 3 3 3 3 10-MA 13 13 13 13 13 13 13 13 13 13 13 13 13 13 13 10-SE 7 7 7 7 7 7 7 7 7 7 7 7 7 7 7 10-GL 19 19 19 19 19 19 19 19 19 19 19 19 19 19 19 10-CM 12 12 12 12 12 12 12 12 12 12 12 12 12 12 12 10-P 42 42 42 42 42 42 42 42 42 42 42 42 42 42 42 20-NE 46 46 46 46 46 46 46 46 46 46 46 46 46 46 46 20-MA 41 41 41 41 41 41 41 41 41 41 41 41 41 41 41 20-SE 18 18 18 18 18 18 18 18 18 18 18 18 18 18 18 20-GL 18 18 18 18 18 18 18 18 18 18 18 18 18 18 18 20-CM 8 8 8 8 8 8 8 8 8 8 8 8 8 8 8 20-P 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 10 – ALL NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 20- SE, CM, P NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10-MA, CE, CM NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 20 – ALL NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 – SE, CM, P NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 – NE, MA SE NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 20 - NE, SE GL NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 – P 20 – SE, CM NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 20 – GL, CM P NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 NE 20 – NE NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 20 – NE, MA SE NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 – NE, SE, GL NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 – GL, CM, P NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 10 – GL 20 - GL NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA Case 3 Subjects ? Licence 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 10-NE 50 50 28 50 63 50 50 56 50 50 44 11 11 11 11 10-MA 45 58 8 45 6 40 45 45 45 45 35 13 13 13 13 10-SE 25 25 11 30 2 38 30 30 30 30 38 .6 .6 .6 .6 10-GL 20 20 8 47 8 12 47 47 47 47 .6 12 12 12 12 10-CM 43 43 28 30 3 4 30 30 30 30 8 11 11 11 11 10-P 47 47 32 47 60 23 47 47 47 47 6 16 16 16 16 20-NE 100 100 52 100 21 8 100 100 100 100 113 29 29 29 29 20-MA 90 90 16 90 103 42 90 90 90 96 34 65 65 65 65 20-SE 50 50 17 50 35 63 56 50 50 50 3 34 34 34 34 20-GL 40 40 35 40 21 9 40 40 40 40 28 29 29 29 29 20-CM 60 60 43 60 59 4 60 60 66 60 15 39 39 39 39 20-P 94 94 74 100 56 4 94 94 94 94 23 45 45 45 45 10- GL 20- GL NA NA 73 NA NA NA NA NA NA NA NA NA NA NA NA 20- GL, CM, P NA NA 207 NA NA NA NA NA NA NA NA NA NA NA NA 20-SE,P NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA BUDGET 780 47 64 640 49 31 640 640 640 640 110 234 234 234 234 Licence 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 10-NE 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 10-MA 13 13 13 13 13 13 13 13 13 13 13 13 13 13 13 10-SE .6 .6 .6 .6 .6 .6 .6 .6 .6 .6 .6 .6 .6 .6 .6 10-GL 12 12 12 12 12 12 12 12 12 12 12 12 12 12 12 10-CM 11 11 11 11 11 11 11 11 11 11 11 11 11 11 11 10-P 16 16 16 16 16 16 16 16 16 16 16 16 16 16 16 20-NE 29 29 29 29 29 29 29 29 29 29 29 29 29 29 29 20-MA 65 65 65 65 65 65 65 65 65 65 65 65 65 65 65 20-SE 34 34 34 34 34 34 34 34 34 34 34 34 34 34 34 20-GL 29 29 29 29 29 29 29 29 29 29 29 29 29 29 29 20-CM 39 39 39 39 39 39 39 39 39 39 39 39 39 39 39 20-P 45 45 45 45 45 45 45 45 45 45 45 45 45 45 45 10- GL 20- GL NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 20- CL, CM, P NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA 20-SE,P NA NA NA NA NA NA NA NA NA NA NA NA NA NA NA BUDGET 234 234 234 234 234 234 234 234 234 234 234 234 234 234 234 III. Reporting Process Cybernomics will issue a report after each auction day. The report will consist of any anomalies in the results and potential errors discovered by subjects. The report will also consist of remarks by subjects on screen displays and any other hard to understand interfaces. Any rule inconsistencies or potential loopholes will be reported if found. We will also provide a report on the backend check of winners and eligibility.