Homework 1 (Due 8:40pm, Sept 22.  )

1.  Give a real world example of A/B testing.  Describe this example with details (less than 2 pages).  If you are asked to design this A/B testing (your example), please list the important factors you would like to include in your design and explain the reasons.

2.  We would like to measure the weight of eight subjects y1．．．．．y8  by using a scale eight times. We know that there is a error of the scale. Suppose that the error follows a normal distribution with mean 0 and variance σ 2 .  Errors on different weighings are independent. Please design this experiment; give the estimators of these eight subjects and the distribution of these estimators.  You should try to minmize the variances of these estimators.

Homework 2 (Due 8:40pm, Oct 6.  )

1.  Consider the case of two simple proportion with expectations πA  and πB , We wish to plan a study to assess healing with an investigational drug (A) and placebo (B).

(i) Derive the basic expression relating sample size and power for the two-sided test of difference of probabilities of healing between the two groups. Assume that nA  = nβ and nB  = n(1 _ β). (please use asymptotical normality of your test statistics )

(ii) Prior studies suggest that the control healing rate is 30 present.   Investigateors believe that a minimal, clinically meaningful increase in healing on the experimental therapy is 10 present. For 80 present power and 0．05 Type I error, compute the number of patients need, assuming equal allocation (β = 0．5).

(iii) In part (ii), calculate the sample sizes for β = 0．6 and β = 0．8.

(iv) If there are about 20% missing data in the clinical trial, do you need to adjust the sample sizes in (ii) and (iii)? How to adjust the sample sizes?

2. Using each of the following procedures, generate a separate randomization sequence for 50 random allocations to two groups (A and B).

(i) Complete randomization;   (ii) truncated binomial design;

(iii) permuted block design with block size 4;

(iv) permuted block design with block size 6;

(v) Efron’s biased coin with p = 2/3;

(vi) Efron’s biased coin with p = 4/5.

Provide the sequence and a copy of your program (use R) for each of the six proce- dures.

3.  After 10 patients have been randomized, D10  = 2.  Computer the probability that patient 11 will be assigned to treatment a for the following randomization procedures:

(i) Complete randomization;   (ii) truncated binomial design;

(iii) permuted block design with block size 4;

(iv) permuted block design with block size 6;

(v) Efron’s biased coin with p = 2/3;

(vi) Efron’s biased coin with p = 4/5.

4. Numerical study: Based on 1000 replications, for sample size 100 and 200, simulate the imblance (D(n)) and the predictability of a sequence (Ppred ) for the following ran-domization procedures:

(i) Complete randomization;

(ii) truncated binomial design;

(iii) permuted block design with block size 4;

(iv) permuted block design with block size 6;

(v) Efron’s biased coin with p = 2/3;

(vi) Efron’s biased coin with p = 4/5.

Please report their averages and standard deviations in one Table.  Based on your numerical results, compare the six procedures and discuss their advantages and draw- backs.

Homework 3 (Due 8:40pm, Oct 20.  )

1.  Suppose that we have already assigned 15 patients, 9 to A and 6 to B. We have observed success rate of pA  = 7/9 and pB  = 3/6. Computer the probability that patient

16 will be assigned to treatment a for the following randomization procedures:

(i) The randomized play-the-winner rule (2,2) (with 2 A ball and 2 B ball to start);     (ii) The doubly adaptive biased coin design with Hu and Zhang’s allocation function (礻 = 0) and target allocation β = qB /(qA + qB );

(iii) The doubly adaptive biased coin design with Hu and Zhang’s allocation function (礻 = 2) and target allocation β = qB /(qA + qB );

(iv) The doubly adaptive biased coin design with Hu and Zhang’s allocation function (礻 = 0) and target allocation β =^pA /(^pA +^pB );

(v) The doubly adaptive biased coin design with Hu and Zhang’s allocation function

(礻 = 2) and target allocation β =^pA /(^pA +^pB );                                   

(vi) The ERADE with α = 0．5 and target allocation β =^pA /(^pA +^pB );

2. Write a compenhesive report about following A/B testing: We would like to compare treatment A (a new drug) and treatment B (a placeb drug).  Design the experiment based on the following information:  (i) based on provious information pA   = 0．8 and pB  = 0．5; (i) one-side test with level 0．05; and (iii) power 0．8.

(a) Calculate the sample sizes for two situations: (1) β = 1/2 and (2) β = qB /(qA + qB ), by using asymptotical normality (assuming the test statistic is asymptotic normal dis- tributed.).

(b) Based on your sample size of (2) (β = qB /(qA + qB )) and 1000 replications. For the following five randomization procedures:

(i) Complete randomization with probability 0．5;

(ii) The randomized play-the-winner rule (1,1) (with 1 A ball and 1 B ball to start);    (iii) The doubly adaptive biased coin design with Hu and Zhang’s allocation function (礻 = 0) and target allocation β = qB /(qA + qB );

(iv) The doubly adaptive biased coin design with Hu and Zhang’s allocation function (礻 = 2) and target allocation β = qB /(qA + qB );

(v) The ERADE with α = 0．5 and target allocation β = qB /(qA + qB );

(vi) The doubly adaptive biased coin design with Hu and Zhang’s allocation function (礻 = 2) and target allocation β =^pA /(^pA +^pB );

We would like to known the number of patients in treatment A and the power of the tests. Please report their averages (number of patients in treatment A) and its standard deviations, and the power in one Table. Based on your numerical results, compare the six procedures and discuss their advantages and drawbacks.

REFERENCES

[1]  HU, F . and RosENBERcER, W . F . (2003).  Evaluationg response-adaptive randomization pro-

cedures for treatment comparisons.  Journal of the American Statistical Association 98 671–678.

[2]  HU, F . and RosENBERcER, W . F . (2006).  The  Theory  of Response-Adaptive  Randomization

in  Clinical  Trials, John Wiley and Sons, Inc., New York.

[3]  HU, F . and ZnANc, L .-x . (2004). Asymptotic properties of doubly adaptive biased coin designs

for multitreatment clinical trials.  The Annals of Statistics, 32 268–301.

[4]  HU, F ., ZnANc, L .-x . and HE, x . (2009).  Efficient randomized adaptive designs, Annals  of

Statistics. 37, 2543-2560.

a).  We would like to known the balance properties of these four procedures based on 1000 simu- lations.  Please report your results similar to the Tables 3-6 of the Section 5.3.1 in the lecture notes. Based on your numerical results, compare the four procedures and discuss their advantages and draw- backs for three different sample sizes: n = 40, 80,  160. n patients enter the trial sequentially and their covariates are independently simulated from the multinomial distribution in Table 2. We use the same π = 0.85 and block size 4. The weights are specified in the following way:

-  Hu and Hu’s procedure (HH): wo  = ws  = 1/5 and wm,i  = 3/10, i = 1, 2.

-  Pocock and Simon’s procedure (PS): wo  = ws  = 0 and wm,i  = 1/2, i = 1, 2. For the following four randomization procedures:

(i) Complete randomization with probability 0 .5;

(ii) Stratified permuted block randomization with block size 4;

(iii) Pocock and Simon’s procedure;

(iv) Hu and Hu’s procedure.