Get access

New treatments compared to established treatments in randomized trials

  • Review
  • Methodology




The proportion of proposed new treatments that are 'successful' is of ethical, scientific, and public importance. We investigated how often new, experimental treatments evaluated in randomized controlled trials (RCTs) are superior to established treatments.


Our main question was: "On average how often are new treatments more effective, equally effective or less effective than established treatments?" Additionally, we wanted to explain the observed results, i.e. whether the observed distribution of outcomes is consistent with the 'uncertainty requirement' for enrollment in RCTs. We also investigated the effect of choice of comparator (active versus no treatment/placebo) on the observed results.

Search methods

We searched the Cochrane Methodology Register (CMR) 2010, Issue 1 in The Cochrane Library (searched 31 March 2010); MEDLINE Ovid 1950 to March Week 2 2010 (searched 24 March 2010); and EMBASE Ovid 1980 to 2010 Week 11 (searched 24 March 2010).

Selection criteria

Cohorts of studies were eligible for the analysis if they met all of the following criteria: (i) consecutive series of RCTs, (ii) registered at or before study onset, and (iii) compared new against established treatments in humans.

Data collection and analysis

RCTs from four cohorts of RCTs met all inclusion criteria and provided data from 743 RCTs involving 297,744 patients. All four cohorts consisted of publicly funded trials. Two cohorts involved evaluations of new treatments in cancer, one in neurological disorders, and one for mixed types of diseases. We employed kernel density estimation, meta-analysis and meta-regression to assess the probability of new treatments being superior to established treatments in their effect on primary outcomes and overall survival.

Main results

The distribution of effects seen was generally symmetrical in the size of difference between new versus established treatments. Meta-analytic pooling indicated that, on average, new treatments were slightly more favorable both in terms of their effect on reducing the primary outcomes (hazard ratio (HR)/odds ratio (OR) 0.91, 99% confidence interval (CI) 0.88 to 0.95) and improving overall survival (HR 0.95, 99% CI 0.92 to 0.98). No heterogeneity was observed in the analysis based on primary outcomes or overall survival (I2 = 0%). Kernel density analysis was consistent with the meta-analysis, but showed a fairly symmetrical distribution of new versus established treatments indicating unpredictability in the results. This was consistent with the interpretation that new treatments are only slightly superior to established treatments when tested in RCTs. Additionally, meta-regression demonstrated that results have remained stable over time and that the success rate of new treatments has not changed over the last half century of clinical trials. The results were not significantly affected by the choice of comparator (active versus placebo/no therapy).

Authors' conclusions

Society can expect that slightly more than half of new experimental treatments will prove to be better than established treatments when tested in RCTs, but few will be substantially better. This is an important finding for patients (as they contemplate participation in RCTs), researchers (as they plan design of the new trials), and funders (as they assess the 'return on investment'). Although we provide the current best evidence on the question of expected 'success rate' of new versus established treatments consistent with a priori theoretical predictions reflective of 'uncertainty or equipoise hypothesis', it should be noted that our sample represents less than 1% of all available randomized trials; therefore, one should exercise the appropriate caution in interpretation of our findings. In addition, our conclusion applies to publicly funded trials only, as we did not include studies funded by commercial sponsors in our analysis.

Plain language summary

New treatments versus established treatments in randomized trials

Random allocation to different groups to compare the effects of treatments is used in fair tests to find out which among the treatment options is preferable. Random allocation is only ethical, however, if there is genuine uncertainty about which of the treatment options is preferable. If a patient or their healthcare provider is certain which of the treatments being compared is preferable they should not agree to random allocation, because this would involve the risk that they would be assigned to a treatment they believed to be inferior. Decisions about whether to participate in randomized trials are made more difficult because of the widespread belief that new treatments must inevitably be superior to existing (standard) treatments. Indeed, it is understandable that people hope that this will be the case. If this was actually so, however, the ethical precondition of uncertainty would often not apply. This Cochrane methodology review addresses this important question: "What is the likelihood that new treatments being compared to established treatments in randomized trials will be shown to be superior?" Four cohorts of consecutive, publicly funded, randomized trials, which altogether included 743 trials that enrolled 297,744 patients, met our inclusion criteria for this review. We found that, on average, new treatments were very slightly more likely to have favorable results than established treatments, both in terms of the primary outcomes targeted and overall survival. In other words, when new treatments are compared with established treatments in randomized trials we can expect slightly more than half will prove to be better, and slightly less than half will prove to be worse than established treatments. This conclusion applies to publicly funded trials as we did not include studies funded by commercial sponsors in our analysis.The results are consistent with the ethical preconditions for random allocation – when people are enrolled in randomized trials, the results cannot be predicted in advance as there is genuine uncertainty about which of the treatments being compared in randomized trials will prove to be superior. 

எளியமொழிச் சுருக்கம்

சீரற்ற சமவாய்ப்புச் சோதனைகளில் நிறுவப்பட்ட சிகிச்சைகளுக்கு எதிராக புதிய சிகிச்சைகள்

வெவ்வேறு குழுக்களுக்கான சீரற்ற சமவாய்ப்பு ஒதுக்கீடானது, நியாயமான சோதனைகளில் சிகிச்சைகளின் விளைவுகளை ஒப்பிட்டு சிகிச்சை விருப்பங்களின் மத்தியில் விரும்பத்தக்கது எது எனக் கண்டுபிடிக்க பயன்படுத்தப்படுகிறது.சிகிச்சை விருப்பங்களில் எது விரும்பத்தக்கதாக இருக்கிறது என்பது பற்றி உண்மையான நிச்சயமற்ற நிலை இருந்தால் மட்டுமே, சீரற்ற சமவாய்ப்பு ஒதுக்கீடானது நெறிமுறையானதாகும்.ஒரு நோயாளியோ அல்லது அவர்களின் ஆரோக்கிய பராமரிப்பு வழங்குநரோ, ஒப்பிடப்பட்ட சிகிச்சைகளில் எது விரும்பத்தக்கதாக இருக்கிறது என்பது பற்றி நிச்சயமான நிலையில் இருந்தால், அவர்கள் சீரற்ற சமவாய்ப்பு ஒதுக்கீட்டை ஏற்கக் கூடாது. ஏனெனில், அவர்கள் தாழ்வானது என நம்பப்படுகிற ஒரு சிகிச்சைக்கு ஒதுக்கப்படும் ஆபத்தை உள்ளடக்கியது.புதிய சிகிச்சைகள், தற்போதிற்கும் (நிலையான) சிகிச்சைகளை விட உயர்வாக இருக்க வேண்டும் என்ற பரவலான நம்பிக்கை உள்ள காரணத்தினால், சீரற்ற சமவாய்ப்பு சோதனைகளில் பங்கேற்கலாமா என்பதைப் பற்றி தீர்மானங்களை எடுப்பது மிகவும் கடினமாக்கப்பட்டிருக்கிறது. உண்மையில், மக்கள் இது வழக்கில் இருக்கக் கூடியது என்று நம்புகிறார்கள் என்று புரிகிறது. இது உண்மையாக இருந்தால், எப்படியாகிலும், நிச்சயமற்ற நெறிமுறை என்ற முன்னிபந்தனையை அடிக்கடி உபயோகிக்க முடியாது. "புதிய சிகிச்சைகளை நிறுவப்பட்ட சிகிச்சைகளுடன் சீரற்ற சமவாய்ப்பு சோதனைகளில் ஒப்பிடும்போது உயர்வாக காட்டப்பட வேண்டியதற்கான சாத்தியக் கூறுகள் என்ன?" என்கிற இந்த முக்கியமான கேள்வியை இந்த காக்குரேன் ஆராய்ச்சி முறை திறனாய்வானது முகவுரைக்கிறது.இந்த திறனாய்வு சேர்க்கை அடிப்படையை பூர்த்தி செய்த, முற்றிலும் 297,744 நோயாளிகளை பதிவில் கொண்ட 743 சோதனைகளை உள்ளடக்கி பகிரங்கமாக நிதியுதவி பெற்ற நான்கு சீரற்ற சமவாய்ப்பு சோதனைகளின் தொடர்ச்சியான தொகுப்பைக் கொண்டது. சராசரியாக, புதிய சிகிச்சைகள் நிறுவப்பட்ட சிகிச்சைகளை விட, முதன்மை விளைவுகளின் இலக்கு மற்றும் ஒட்டுமொத்த உயிர்வாழ்தல் அடிப்படையில் சாதகமான விளைவுகளைப் பெறுவதற்கு மிகக் குறைந்தளவில் கூடுதல் வாய்ப்பை பெற்றிருக்கிறது என்பதை நாங்கள் கண்டறிந்தோம். வேறுவிதமாக கூறினால், சீரற்ற சமவாய்ப்பு சோதனைகளில் புதிய சிகிச்சைகளை நிறுவப்பட்ட சிகிச்சைகளுடன் ஒப்பிடும் போது, பாதிக்கு மேற்பட்டவை திறன் வாய்ந்ததாகவும், மற்றும் பாதிக்கும் குறைவானவை மோசமானதாகவும் நிரூபிக்கப்படும் என்று எதிர்பார்க்கலாம். நமது பகுப்பாய்வில் வணிக ஆதரவாளர்கள் மூலம் நிதியுதவி பெற்ற ஆய்வுகளை பகுப்பாய்வில் சேர்க்காததன் காரணமாக, இந்த முடிவு பொது நிதியுதவி பெற்ற சோதனைகளுக்குப் பொருந்தும். இம்முடிவுகள் சீரற்ற சமவாய்ப்பு ஒதுக்கீடு பற்றிய நெறிமுறை முன்நிபந்தனைகளுக்கு இசைவானதாக இருக்கிறது. சீரற்ற சோதனைகளில் மக்கள் சேர்க்கப்படும் போது, சீரற்ற சோதனைகளில் ஒப்பிடப்படும் சிகிச்சைகளில் எந்த சிகிச்சை உயர்ந்ததாக நிரூபிக்கும் என்ற உண்மையான நிச்சயமற்ற நிலையின் காரணமாக முன்கூட்டியே முடிவுகளை கணிக்க முடியாது.

மொழிபெயர்ப்பு குறிப்புகள்

மொழி பெயர்ப்பாளர்கள்: தங்கமணி ராமலிங்கம், ப்ளசிங்டா விஜய், சிந்தியா ஸ்வர்ணலதா ஸ்ரீகேசவன், ஸ்ரீகேசவன் சபாபதி.

Laički sažetak

Je li nova terapija uvijek bolja? Nove terapije u usporedbi s već uhodanim terapijama u randomiziranim kontroliranim pokusima

Nasumično razvrstavanje ispitanika (randomizacija) u kliničkim studijama služi za objektivno provjeravanje terapija u medicini te za ispitivanje koja vrsta terapije je bolja. Nasumično razvrstavanje ispitanika je etično jedino ako postoji stvarna dvojba o tome koja terapija je bolja. Ako su pacijent ili zdravstveni radnik sigurni da je jedna od terapija koje se analiziraju bolja, onda ne bi trebali pristati na nasumično razvrstavanje jer bi tada mogli možda biti razvrstani u skupinu koja prima terapiju za koju vjeruju da je lošija. Odluke o tome da li sudjelovati u randomiziranom kontroliranom pokusu još su teže zbog uvjerenja da novije terapije moraju biti bolje u odnosu na postojeće (stanardne, uhodane) terapije. Štoviše, razumljivo je da se ljudi nadaju da će tako biti i da će se pokazati da je nova terapija bolja. Da je to zaista točno, etički uvjeti koji se odnose na dvojbe u medicini često ne bi bili primjenjivi. U ovom Cochrane metodološkom sustavnom pregledu ispitano je sljedeće važno pitanje: "Kolika je vjerojatnost da će nova terapija biti bolja u odnosu na uhodanu, standardnu terapiju u randomiziranim kliničkim pokusima?" U ovaj sustavni pregled uključene su četiri kohorte randomiziranih kontroliranih istraživanja koja su financirana javnim novcem, s ukupno 743 klinička pokusa u kojima je sudjelovalo 297.744 pacijenata. Rezultati analize svih tih dokaza pokazuju da su novije terapije imale samo malo veću vjerojatnost da će se pokazati bojlima u odnosu na uhodane, standardne terapije, i kad su u pitanju glavni rezultati, a isto tako i ukupno preživljenje. Drugim riječima, kad se novija terapija u randomiziranim kontroliranim istraživanjima uspoređuje sa standardnom terapijom, možemo očekivati da će samo malo više od polovice njih dati bolje rezultate, a nešto malo manje od pola njih će se pokazati lošijima nego standardna terapija.  Taj zaključak odnosi se na studije financirane javnim novcem jer u ovaj sustavni pregled nisu uključene studije koje je financirala komercijalna industrija. Ti su rezultati dosljedni s etičkim uvjetima koji se odnose na nasumično razvrstavanje ispitanika - kad se ispitanici uključuju u randomizirane kontrolirane pokuse, rezultati se ne mogu unaprijed predvidjeti jer postoji stvarna dvojba o tome koja od terapija koje se uspoređuju će se zaista pokazati bolja. 

Bilješke prijevoda

Hrvatski Cochrane
Prevela: Livia Puljak
Ovaj sažetak preveden je u okviru volonterskog projekta prevođenja Cochrane sažetaka. Uključite se u projekt i pomozite nam u prevođenju brojnih preostalih Cochrane sažetaka koji su još uvijek dostupni samo na engleskom jeziku. Kontakt: 

Get access to the full text of this article