GOF testing - TEST2

questions concerning analysis/theory using program MARK

GOF testing - TEST2

Postby wijw » Tue Jan 19, 2021 2:59 pm

I have a dataset with 7 occasions, 330 individuals, and two sexes. I am trying to estimate survival using the CJS model. My general model is phi (g*t)p(g*t). I tested GOF using program release and it showed insufficient data for TEST2. Does this mean I cannot go ahead with my analysis?

I also tried the median c-hat method and it said "Every one of your simulated values generated a c-hat less than the observed c-hat value. Logistic regression cannot be performed"

I have included the summary statistics here for each group.

Code: Select all
 Observed Recaptures for Group 1
                                    Group 1

             i   R(i)                     m(i,j)                    r(i)
                        j=  2      3      4      5      6      7
             1     48      39      0      3      1      0      0      43
             2     56             39      6      0      0      0      45
             3     61                    39      3      1      0      43
             4     72                           49      2      1      52
             5     74                                  46      1      47
             6     49                                         23      23

            m(j)           39     39     48     53     49     25
            z(j)            4     10      5      4      2      0

  Observed Recaptures for Group 2
                                    Group 2

             i   R(i)                     m(i,j)                    r(i)
                        j=  2      3      4      5      6      7
             1     64      52      0      2      2      0      0      56
             2     85             66      2      1      0      1      70
             3    101                    77      2      2      1      82
             4    117                           75      6      4      85
             5    110                                  68      4      72
             6     76                                         31      31

            m(j)           52     66     81     80     76     41
            z(j)            4      8      9     14     10      0

                           Sums for the above Groups

            m.       0     91    105    129    133    125     66
            z.       0      8     18     14     18     12      0
            R.     112    141    162    189    184    125
            r.      99    115    125    137    119     54


Thank you.
wijw
 
Posts: 23
Joined: Mon Oct 26, 2020 2:27 pm

Re: GOF testing - TEST2

Postby cooch » Wed Jan 20, 2021 10:24 am

Post the final summary table - I have a suspicion that said table might confirm.
cooch
 
Posts: 1628
Joined: Thu May 15, 2003 4:11 pm
Location: Cornell University

Re: GOF testing - TEST2

Postby wijw » Wed Jan 20, 2021 5:03 pm

I tried to attach it as a screenshot, but it did not work.

Code: Select all
Summary of TEST 1 (Between Groups Test) Results
 
              Component  Chi-square   df   P-level  Sufficient Data
              ---------  ----------  ----  -------  ---------------
              1.R6          0.3064     1    0.5799       Yes
              1.T6          1.5729     1    0.2098       Yes
              1.R5          0.0247     1    0.8752       Yes
              1.T5          1.6599     1    0.1975       Yes
              1.R4          0.0000     1    1.0000       Yes
              1.T4          0.0000     1    1.0000       Yes
              1.R3          2.3381     1    0.1263       Yes
              1.T3          1.6977     1    0.1926       Yes
              1.R2          0.0484     1    0.8259       Yes
              1.T2          0.1241     1    0.7246       Yes
              1.R1          0.0813     1    0.7756       Yes
              TEST 1       7.8535    11    0.7264

Summary of TEST2

Group  Component  Chi-square   df   P-level  Sufficient Data
          -----  ---------  ----------  ----  -------  ---------------
            1    2.C2         10.8267     1    0.0010       No
            1    2.C3          0.0000     1    1.0000       No
            1    2.C4          1.0112     1    0.3146       No
            1    2.C5          2.0512     1    0.1522       No

          Group 1 TEST 2      13.8890     4    0.0077
            2    2.C2         17.3591     1    0.0001       No
            2    2.C3          8.8735     1    0.0028       No
            2    2.C4          4.9650     1    0.0258       No

  Summary of TEST 3 (Goodness of fit) Results
 
          Group  Component  Chi-square   df   P-level  Sufficient Data
          -----  ---------  ----------  ----  -------  ---------------
            1    3.SR2         5.1260     1    0.0236       Yes
            1    3.SR3        13.8429     1    0.0003       Yes
            1    3.SR4        15.4725     1    0.0001       Yes
            1    3.SR5        19.7051     1    0.0000       Yes
            1    3.SR6         0.0000     0    1.0000       No
          Group 1 3.SR        54.1465     4    0.0000
            1    3.Sm2         3.3060     1    0.0690       Yes
            1    3.Sm3         3.8937     1    0.0485       No
            1    3.Sm4         1.3821     1    0.2398       No
            1    3.Sm5         0.0000     1    1.0000       No
          Group 1 3.Sm         8.5818     4    0.0724
          Group 1 TEST 3      62.7283     8    0.0000
            2    3.SR2        11.4526     1    0.0007       Yes
            2    3.SR3        14.1580     1    0.0002       Yes
            2    3.SR4        21.2858     1    0.0000       Yes
            2    3.SR5        24.3118     1    0.0000       Yes
            2    3.SR6         0.0000     0    1.0000       No
          Group 2 3.SR        71.2083     4    0.0000
            2    3.Sm2         2.4604     1    0.1167       No
            2    3.Sm3         3.3283     1    0.0681       Yes
            2    3.Sm4         8.1888     1    0.0042       Yes
            2    3.Sm5         2.2299     1    0.1354       No
          Group 2 3.Sm        16.2075     4    0.0028
          Group 2 TEST 3      87.4157     8    0.0000
          All Groups TEST 3  150.1441    16    0.0000
wijw
 
Posts: 23
Joined: Mon Oct 26, 2020 2:27 pm

Re: GOF testing - TEST2

Postby cooch » Wed Jan 20, 2021 9:26 pm

Failure of TEST 2 is often diagnostic of handling effects, or capture heteroegeneity of some kind. This is disucssed to some degree in Chapter 5. What does the Fletcher c-hat give you? [For CJS models in particular, the Fletcher c-hat is proving quite robust].

Also, what happens if you run RELEASE on each sex seaprately?
cooch
 
Posts: 1628
Joined: Thu May 15, 2003 4:11 pm
Location: Cornell University

Re: GOF testing - TEST2

Postby wijw » Mon Jan 25, 2021 11:31 am

Fletcher chat {Phi(g*t)p(g*t)} = 2.2217910

I also ran the phi(t)p(t) - Female and phi(t)p(t) - Male models, and it still gave me insufficient data for TEST2.

Male only
Summary of TEST 3 (Goodness of fit) Results

Group Component Chi-square df P-level Sufficient Data
----- --------- ---------- ---- ------- ---------------
1 3.SR2 5.1260 1 0.0236 Yes
1 3.SR3 13.8429 1 0.0003 Yes
1 3.SR4 15.4725 1 0.0001 Yes
1 3.SR5 19.7051 1 0.0000 Yes
1 3.SR6 0.0000 0 1.0000 No
Group 1 3.SR 54.1465 4 0.0000
1 3.Sm2 3.3060 1 0.0690 Yes
1 3.Sm3 3.8937 1 0.0485 No
1 3.Sm4 1.3821 1 0.2398 No
1 3.Sm5 0.0000 1 1.0000 No
Group 1 3.Sm 8.5818 4 0.0724
Group 1 TEST 3 62.7283 8 0.0000


Summary of TEST 2 (Goodness of fit) Results

Group Component Chi-square df P-level Sufficient Data
----- --------- ---------- ---- ------- ---------------
1 2.C2 10.8267 1 0.0010 No
1 2.C3 0.0000 1 1.0000 No
1 2.C4 1.0112 1 0.3146 No
1 2.C5 2.0512 1 0.1522 No
Group 1 TEST 2 13.8890 4 0.0077


Goodness of Fit Results (TEST 2 + TEST 3) by Group

Group Chi-square df P-level
----- ---------- ---- -------
1 76.6174 12 0.0000

Female only
Summary of TEST 3 (Goodness of fit) Results

Group Component Chi-square df P-level Sufficient Data
----- --------- ---------- ---- ------- ---------------
1 3.SR2 5.1455 1 0.0234 Yes
1 3.SR3 20.5247 1 0.0000 Yes
1 3.SR4 41.3722 1 0.0000 Yes
1 3.SR5 28.1136 1 0.0000 Yes
1 3.SR6 0.0000 0 1.0000 No
Group 1 3.SR 95.1560 4 0.0000
1 3.Sm2 2.0814 1 0.1491 No
1 3.Sm3 3.5462 1 0.0596 Yes
1 3.Sm4 13.5000 1 0.0003 Yes
1 3.Sm5 2.2813 1 0.1309 No
Group 1 3.Sm 21.4090 4 0.0003
Group 1 TEST 3 116.5649 8 0.0000


Summary of TEST 2 (Goodness of fit) Results

Group Component Chi-square df P-level Sufficient Data
----- --------- ---------- ---- ------- ---------------
1 2.C2 35.6104 1 0.0000 No
1 2.C3 7.5470 1 0.0060 No
1 2.C4 6.0336 1 0.0140 No
1 2.C5 17.8421 1 0.0000 No
Group 1 TEST 2 67.0330 4 0.0000


Goodness of Fit Results (TEST 2 + TEST 3) by Group

Group Chi-square df P-level
----- ---------- ---- -------
1 183.5980 12 0.0000
wijw
 
Posts: 23
Joined: Mon Oct 26, 2020 2:27 pm

Re: GOF testing - TEST2

Postby cooch » Mon Jan 25, 2021 12:10 pm

Basically, you have insufficient data to evaluate the P-value calculated for the individual contingency tables that comprise TEST 2. It happens (even for the infamous dipper data set, for example).

I suppose my suggestion would be to proceed using Fletcher's c-hat value for the quasi-likelihood adjustment. It will make your model selection more conservative, but that is the nature of the game.
cooch
 
Posts: 1628
Joined: Thu May 15, 2003 4:11 pm
Location: Cornell University

Re: GOF testing - TEST2

Postby wijw » Mon Jan 25, 2021 12:47 pm

Thank you for the valuable input! This has been tremendously helpful.
wijw
 
Posts: 23
Joined: Mon Oct 26, 2020 2:27 pm


Return to analysis help

Who is online

Users browsing this forum: No registered users and 17 guests

cron