Informație

Există linii directoare în procesul de evaluare inter pares privind metodologia de evaluare?

Există linii directoare în procesul de evaluare inter pares privind metodologia de evaluare?


We are searching data for your request:

Forums and discussions:
Manuals and reference books:
Data from registers:
Wait the end of the search in all databases.
Upon completion, a link will appear to access the found materials.

De obicei, un articol trece printr-un proces de evaluare inter pares înainte de a fi publicat și, din ceea ce am eu aici, este destul de obișnuit ca recenzenții să „ceară” unele modificări.

  • Există linii directoare pentru evaluatorii inter pares, mai ales în ceea ce privește latura metodologică a lucrurilor?
  • Sunt „specialiști în metodologie” încorporați în proces?

Am impresia că editorii de reviste buni vor primi cel puțin un recenzor care este priceput în metodologia utilizată în lucrare. Importanța acestui rol de recenzor ar varia probabil în funcție de complexitatea statistică sau de altă natură metodologică a lucrării.

Acestea fiind spuse, revizuirea este bine cunoscută ca fiind imperfectă, în special atunci când vine vorba de verificarea tuturor posibilelor erori mai mici care pot fi comise. Erorile din analiza și raportarea statistică sunt răspândite pe scară largă în articolele publicate în psihologie. De exemplu, Bakker și Wicherts (2011) au făcut o trecere în revistă, în care să cităm rezumatul

am verificat consistența statisticilor de testare raportate, gradele de libertate și valorile p într-un eșantion aleatoriu de reviste de psihologie cu impact ridicat și scăzut ... Pe baza a 281 de articole ... [estimăm că] în jur de 18% din rezultatele statistice în literatura psihologică este raportată incorect. Inconsistențele erau mai frecvente în jurnalele cu impact redus decât în ​​jurnalele cu impact ridicat. Mai mult, aproximativ 15% din articole conțineau cel puțin o concluzie statistică care s-a dovedit, la recalculare, a fi incorectă; adică recalcularea a făcut ca rezultatul semnificativ anterior să fie nesemnificativ sau invers.

Referințe

  • Bakker, M. și Wicherts, J. M. (2011). Raportarea (greșită) a rezultatelor statistice în revistele de psihologie. Metode de cercetare a comportamentului, 43 (3), 666-678. TEXT COMPLET

Acest lucru nu răspunde cu adevărat la întrebarea dvs. (deoarece nu tratează în detaliu problemele metodologice), dar există un articol de revistă frumos care tratează problemele procesului de evaluare inter pares, în general, prin evaluarea „marilor lucrări științifice din trecut” din perspectiva științelor sociale actuale:

  • Trafimov, D. și Rice, S. (2009). Ce s-ar întâmpla dacă oamenii de știință sociali ar fi analizat marile lucrări științifice din trecut? Perspective asupra științei psihologice, 4, 65-78. doi: 10.1111 / j.1745-6924.2009.01107.x Disponibil online la http://cda.psych.uiuc.edu/writing_class_material/perspectives_articles/trafimow.pdf

Lista de referință conține câteva articole despre întrebări de metodologie statistică / matematică.


Într-un alt articol interesant, Gerd Gigerenzer arată cum valorile p sunt interpretate greșit în cercetările actuale, iar testarea nulă a ipotezelor este o cerință falsă pentru acceptarea lucrărilor de către revistele majore:

  • Gigerenzer, G., Krauss, S. și Vitouch, O. (2004). Ritualul nul: Ceea ce ai vrut mereu să știi despre testarea semnificației, dar ți-a fost frică să întrebi. În D. Kaplan (Ed.), Manualul înțelept de metodologie cantitativă pentru științele sociale (pp. 391-408). Thousand Oaks, CA: Înțelept. Disponibil online la http://www.sozialpsychologie.uni-frankfurt.de/wp-content/uploads/2010/09/GG_Null_20042.pdf

O căutare pe Google pentru „reguli de evaluare inter pares” aduce multe accesări de la editori și instituții. Poate că unii dintre ei se ocupă mai detaliat de probleme metodologice.


Politicile de evaluare inter pares ale guvernului SUA [editați | editează sursa]

Majoritatea agențiilor federale de reglementare din guvernul Statelor Unite trebuie să respecte cerințele specifice de evaluare inter pares înainte ca agențiile să disemineze public anumite informații științifice. Aceste cerințe au fost publicate într-un Buletin de evaluare inter pares emis de Biroul de gestionare și buget al Casei Albe („OMB”), care stabilește „standarde la nivel guvernamental privind momentul în care este necesară revizuirea inter pares și, dacă este necesar, ce tip de procese de revizuire sunt adecvat. "

Buletinul de evaluare inter pares al OMB impune ca agențiile federale de reglementare din SUA să prezinte toate „informațiile științifice influente” spre evaluare inter pares înainte ca informațiile să fie difuzate public. Buletinul definește „informații științifice” ca:

„date factuale, date, modele, analize, informații tehnice sau evaluări științifice legate de discipline precum științele comportamentale și sociale, sănătatea publică și științele medicale, științele vieții și ale pământului, ingineria sau științele fizice.”

Buletinul OMB peer review definește „informații științifice influente” ca fiind

„informațiile științifice pe care agenția le poate stabili în mod rezonabil vor avea sau vor avea un impact clar și substanțial asupra politicilor publice importante sau asupra deciziilor din sectorul privat. liniile directoare privind calitatea informațiilor și liniile directoare privind calitatea informațiilor ale agenției. "

După cum sa menționat în cotația precedentă, Buletinul de evaluare inter pares trebuie citit împreună cu „liniile directoare OMB privind calitatea informațiilor la nivel guvernamental și liniile directoare privind calitatea informațiilor ale agenției”. Aceste orientări guvernează calitatea tuturor informațiilor diseminate de majoritatea agențiilor de reglementare ale guvernului SUA. Aceste linii directoare sunt cerute de un statut al SUA adoptat în 2001 numit Data Quality Act și cunoscut și sub denumirea de Information Quality Act („IQA”). OMB afirmă că a pregătit Buletinul de evaluare inter pares conform autorității OMB în temeiul DQA.

Buletinul de evaluare inter pares oferă îndrumări detaliate pentru evaluarea inter pares a informațiilor științifice influente. Buletinul aplică cerințe mai stricte de evaluare inter pares la „evaluările științifice extrem de influente”.

„care sunt un subset de informații științifice influente. O evaluare științifică este o evaluare a unui ansamblu de cunoștințe științifice sau tehnice care sintetizează în mod obișnuit multiple date factuale, date, modele, ipoteze și / sau aplică cea mai bună judecată profesională pentru a reduce incertitudinile disponibile informație."

Deși ghidurile specifice ale Buletinului de evaluare inter pares nu vor fi discutate aici în detaliu, ar trebui remarcat faptul că orientările diferă în mai multe privințe de practicile tradiționale de revizuire inter pares din majoritatea jurnalelor. De exemplu, Buletinul impune divulgarea publică a identităților evaluatorilor inter pares atunci când analizează evaluări științifice extrem de influente. Rezumatul Buletinului cu privire la unele dintre aceste cerințe este prezentat mai jos:

„În general, o agenție care efectuează o evaluare inter pares a unei evaluări științifice extrem de influente trebuie să se asigure că procesul de evaluare inter pares este transparent prin punerea la dispoziția publicului a acuzației scrise către evaluatorii inter pares, numele inter paresului, raportul inter paresului (s), și răspunsul agenției la raportul (rapoartele) evaluatorilor. Acest buletin impune agențiilor să adopte sau să adapteze politicile de selecție a comitetelor utilizate de Academia Națională de Științe (NAS). "

Buletinul de evaluare colegială abordează în mod specific efectul publicării într-o revistă științifică arbitrată, precum și variațiile și limitările cu evaluarea colegială:


Tipuri de evaluare inter pares

Single blind

În acest proces, numele autorilor nu sunt cunoscuți de autor (i). Recenzorii știu numele autorului (autorilor).

Dublu orb

Aici, nici recenzenții, nici autorii nu se cunosc numele.

În procesul de revizuire deschisă, atât recenzorii, cât și autorii se cunosc numele celorlalți.

Dar revizuirea editorială?

Jurnalele folosesc, de asemenea, un proces de revizuire editorială. Aceasta este nu la fel ca și evaluarea inter pares. Într-un proces de revizuire editorială, un articol este evaluat pentru orientări de stil și pentru claritate. Recenzorii de aici nu analizează acuratețea tehnică sau erorile în date sau metodologie, ci în schimb analizează gramatica, stilul și dacă un articol este bine scris.


Liniile directoare de bună practică pentru modelarea analitică a deciziilor în evaluarea tehnologiei sănătății: o revizuire și consolidarea evaluării calității

Utilizarea modelării analitice a deciziilor în scopul evaluării tehnologiei sănătății (HTA) a crescut dramatic în ultimii ani. În literatura de specialitate au apărut mai multe orientări pentru cele mai bune practici, cu toate acestea, nu există un standard convenit pentru ceea ce constituie un „model bun” sau modul în care modelele ar trebui evaluate în mod formal. Obiectivul acestei lucrări este de a identifica, revizui și consolida liniile directoare existente cu privire la utilizarea modelării decizionale-analitice în scopul HTA și de a dezvolta un cadru consecvent în raport cu care să poată fi evaluată calitatea modelelor. Revizuirea și cadrul rezultat sunt sintetizate sub cele trei teme cheie ale structurii, datelor și coerenței. Aspectele „structurale” se referă la sfera și structura matematică a modelului, inclusiv strategiile evaluate. Problemele acoperite la rubrica generală „Date” includ metode de identificare a datelor și modul în care ar trebui abordată incertitudinea. „Coerența” se referă la calitatea generală a modelului. Revizuirea ghidurilor existente a arătat că, deși autorii pot oferi un mesaj consecvent cu privire la unele aspecte ale modelării, cum ar fi necesitatea transparenței, acestea sunt contradictorii în alte domenii. Domeniile particulare de dezacord sunt modul în care datele ar trebui încorporate în modele și modul în care ar trebui evaluată incertitudinea. În scopul evaluării, cadrul rezultat este aplicat unui model de decizie-analitică dezvoltat ca parte a unei evaluări pentru Institutul Național pentru Sănătate și Excelență Clinică (NICE) din Marea Britanie. Ca o evaluare suplimentară, revizuirea bazată pe cadru este comparată cu o evaluare furnizată de un modelator independent cu experiență care nu utilizează cadrul. Se speră că cadrul dezvoltat aici poate face parte din procesul de evaluare pentru organismele de evaluare precum NICE și modelele de decizie prezentate jurnalelor de evaluare inter pares. Cu toate acestea, având în vedere viteza cu care avansează metodologia de modelare a deciziilor, este nevoie de actualizarea sa continuă.


Concluzie

O evaluare inter pares este o modalitate importantă de a obține feedback de la membrii echipei dvs. De asemenea, oferă informații utile care pot fi utilizate pentru a stimula în continuare creșterea și dezvoltarea organizațională.

Când efectuați o evaluare inter pares de orice fel, nu uitați să mențineți un nivel ridicat de profesionalism. Puneți întrebări care încurajează feedbackul sincer al angajaților. Nu veveriți și nu puneți întrebări cu răspunsuri prestabilite.

Mai important, utilizați instrumente la locul de muncă care vă ajută să colectați și să procesați feedback în mod eficient. Formplus are numeroase șabloane de formulare pentru colectarea și prelucrarea informațiilor.

De asemenea, puteți crea formulare personalizate pentru organizația dvs. utilizând Formplus Builder.


Care sunt liniile directoare etice pentru evaluatorii inter pares?

Toți evaluatorii colegi trebuie să urmeze aceste linii directoare etice pentru articolele revistei Taylor & amp Francis în revizuire:

  • Recenzorii trebuie să acorde o atenție imparțială fiecărui manuscris trimis. Aceștia ar trebui să judece fiecare pe meritele sale, indiferent de rasă, religie, naționalitate, sex, vechime sau apartenență instituțională a autorului (autorilor).
  • Recenzorii trebuie să declare orice conflict de interese înainte de a accepta revizuirea unui manuscris. Aceasta include orice relație cu autorul care poate influența recenzia lor.
  • Evaluatorii trebuie să păstreze confidențial procesul de evaluare inter pares. Nu trebuie să împărtășească informații sau corespondență despre un manuscris cu nimeni în afara procesului de evaluare inter pares.
  • Evaluatorii ar trebui să furnizeze un raport constructiv, cuprinzător, dovedit și substanțial adecvat de evaluare inter pares.
  • Recenzorii trebuie să evite să facă declarații în raportul lor, care ar putea fi interpretat ca contestând reputația oricărei persoane.
  • Evaluatorii ar trebui să depună toate eforturile rezonabile pentru a-și prezenta raportul și recomandarea la timp. Ar trebui să informeze editorul dacă acest lucru nu este posibil.
  • Recenzorii trebuie să atragă atenția editorului jurnalului asupra oricărei similitudini semnificative între manuscrisul în cauză și orice lucrare publicată sau manuscrise trimise de care sunt conștienți.

Taylor & amp Francis recomandă ca recenzenții să respecte și Ghidul etic COPE pentru evaluatori colegi.

Citiți constatările cheie din cercetarea noastră în cartea albă & # 8211 Evaluarea inter pares: o viziune globală


Îmbunătățirea evaluării inter pares: Ce pot face recenzorii

Robert J. DiDomenico, Pharm.D., BCPS-AQ Cardiology, FCCP, FHFSA, William L. Baker, Pharm.D., FCCP, FACC, FAHA, Stuart T. Haines, Pharm.D., FASHP, FCCP, FAPhA , Îmbunătățirea evaluării inter pares: Ce pot face recenzorii, American Journal of Health-System Pharmacy, Volumul 74, Ediția 24, 15 decembrie 2017, Pagini 2080–2084, https://doi.org/10.2146/ajhp170190

Ca autor, nu există un sentiment mai bun decât să primești corespondență de la un editor de revistă că lucrarea ta a fost acceptată pentru publicare. Cu toate acestea, acest sentiment de exaltare se poate transforma rapid în spaimă dacă autorul trebuie să răspundă la zeci, chiar sute, de comentarii ale unor recenzori. Am observat că calitatea recenziilor inter pares a scăzut în ultimul deceniu, iar accentul lor este adesea greșit, punând accentul pe gramatică și stil pe știință și metodologie. Acest comentariu oferă îndrumări evaluatorilor cu privire la cele mai bune practici pentru efectuarea unei evaluări inter pares pentru revistele biomedicale.

Avantajele de a fi un evaluator inter pares. Voluntariatul pentru a fi un evaluator inter pares este un prim pas important în procesul de evaluare inter pares. Recenzorii sunt de obicei identificați pe baza expertizei lor într-un anumit domeniu. Evaluatorii colegi oferă beneficii autorilor, editorilor și revistelor, oferind îndrumări utile legate de o lucrare științifică, evaluând metodologia și importanța științei și făcând recomandări cu privire la deciziile de publicare. 1, 2 Există și avantaje de a servi ca evaluatori inter pares. Acestea includ să se țină la curent cu cele mai recente evoluții în domeniul lor și să-și îmbunătățească abilitățile pentru a evalua critic lucrările științifice, care ar putea îmbunătăți propriile lor scrieri științifice. În sfârșit, este o onoare și un privilegiu să fii membru al unei profesii. Astfel, există o obligație morală de a da înapoi comunității profesionale și științifice. 3, 4 Din aceste motive, participarea la evaluarea inter pares este o așteptare profesională în multe situații.

Caracteristicile unui bun recenzor. Majoritatea revistelor biomedicale utilizează feedback-ul oferit în timpul procesului de evaluare inter pares pentru a lua decizii editoriale cu privire la manuscrisele trimise spre publicare. De obicei, editorii revistelor revizuite de colegi caută experți în conținut pentru a efectua o analiză critică a manuscrisului și să ofere (1) comentarii specifice cu privire la meritul științific al manuscrisului, (2) recomandări autorilor cu privire la modul de îmbunătățire a manuscrisului și (3) recomandări editorului cu privire la dispunerea manuscrisului. Invitațiile de a servi ca evaluator de la egal la egal sunt adesea însoțite de linkuri web către resursele de evaluare (de exemplu, liniile directoare ale evaluatorilor), dar instruirea formală nu este de obicei oferită și nici necesară.

Caracteristicile unui bun recenzor nu sunt bine definite. În timp ce mai multe studii au încercat să identifice caracteristicile care prezic performanța recenzorului, există o consistență redusă în constatări, iar asociațiile sunt slabe. 5, - 9 Vârsta mai mică a recenzorului este una dintre singurele caracteristici care a fost asociată în mod constant cu recenzii mai puternice de la colegi. 5, - 8 Unii cercetători au găsit o asociere pozitivă între durata timpului petrecut în revizuirea articolului (până la 3 ore) și calitatea revizuirii. 5, 7

Calitatea evaluării inter pares variază foarte mult, poate parțial pentru că puțini profesioniști primesc instruire în acest domeniu. 1, 10 Cu toate acestea, formarea formală singură afectează doar marginal calitatea evaluărilor inter pares. Anchetatorii care au efectuat un studiu de peste 300 de recenzori care au efectuat 2.856 de recenzii pentru Analele Medicinii de Urgență nu a găsit o asociere între mai mult de 10 ore de instruire în abilitățile critice de evaluare și calitatea revizuirii. 6 Cu toate acestea, a BMJ Studiul efectuat pe 609 de recenzori a constatat un beneficiu mic, pe termen scurt (& lt6 luni), asociat cu participarea la un program de formare a evaluatorilor. 9 Cu toate acestea, variația calității evaluărilor inter pares sugerează că evaluatorii inter pares pot beneficia de unele îndrumări.

Ce pot face recenzorii: o abordare pas cu pas. Deși alte abordări sunt acceptabile, recomandăm un proces pas cu pas pentru evaluatorii inter pares (Figura 1). Indiferent de abordarea utilizată, cele mai bune evaluări inter pares sunt sistematice și cuprinzătoare.

Proces pas cu pas pentru efectuarea unei evaluări inter pares. 1, - 4, 10, - 13

Proces pas cu pas pentru efectuarea unei evaluări inter pares. 1, - 4, 10, - 13

Răspuns la invitația de a efectua o evaluare inter pares. Evaluatorii colegi ar trebui să ia în considerare mai multe probleme înainte de a decide să accepte sau să refuze o invitație de a efectua o evaluare colegială. Recenzorii ar trebui să evalueze mai întâi dacă sunt calificați pentru a examina manuscrisul. 2, 10, 11 Recenzorilor li se oferă de obicei un rezumat al manuscrisului cu invitația de recenzie. Recenzorii ar trebui să accepte invitații la recenzie numai dacă au experiență în domeniul de interes al manuscrisului. În unele cazuri, examinatorul poate avea expertiza pentru a revizui o secțiune cheie a manuscrisului (de exemplu, metodologia cercetării, analiza statistică), dar nu și alte secțiuni. În acest caz, examinatorul ar trebui să fie clar cu privire la scopul revizuirii înainte de a accepta invitația. 2, 10

Dacă manuscrisul se află în aria de expertiză a recenzorului, ar trebui luate în considerare conflictele de interese potențiale sau reale. 2, 10, 11 Potențialele conflicte ale recenzorilor pot include relații personale strânse (de ex., Soțul) sau profesionale (de exemplu, mentor-mentorat, coleg instituțional) cu unul sau mai mulți dintre autori. 10, 11 În plus, prezența unor interese conflictuale sau concurente care pot crea potențialul de beneficii personale, financiare, intelectuale, profesionale, politice sau religioase de către recenzent poate fi considerată conflict de interese. 2, 10, 11 Recenzorii ar trebui să își pună această întrebare simplă, dar puternică: Ar crede alții - autorii, editorii sau cititorii - că recenzia mea pozitivă sau negativă a acestei lucrări este motivată în vreun fel de interesul personal? Dacă răspunsul este da, este esențial să discutați cu editorul potențialul conflict înainte de a accepta invitația de revizuire. 2, 10, 11

Actualitatea este extrem de importantă pentru procesul de evaluare inter pares. Pentru a evita întârzierile inutile în procesul de publicare, examinatorul trebuie să ia în considerare capacitatea sa de a respecta termenul limită al jurnalului pentru finalizarea revizuirii înainte de a accepta invitația. 2, 10, 11 O evaluare inter pares de calitate poate dura câteva ore pentru a efectua. 3, 5, 7, 10 Recenzenților li se oferă de obicei 2 săptămâni pentru a finaliza evaluarea inter pares, deși cronologia poate fi la fel de scurtă ca 48 de ore și până la 4 săptămâni.11 Evaluatorii ar trebui să răspundă la invitațiile de evaluare inter pares în timp util, mai ales dacă invitația este refuzată. 2, 12 În unele cazuri, jurnalele își vor anula invitațiile dacă nu se primește un răspuns în timp util (de exemplu, în termen de 3-4 zile). Pe tot parcursul procesului, examinatorii trebuie să păstreze confidențialitatea și nu ar trebui să difuzeze niciodată manuscrisul sau să discute conținutul acestuia cu alții. 1, 12 Dacă recenzenții ar dori să includă alții (de exemplu, stagiari) în procesul de evaluare inter pares, ar trebui să li se solicite permisiunea sau, cel puțin, editorul ar trebui să fie notificat atunci când critica este trimisă. 2, 12

Efectuarea evaluării inter pares. Citire rapidă. Mulți sunt de acord că primul pas în finalizarea unei evaluări inter pares este efectuarea unei citiri rapide. 1, 3, 4, 10, 13 În timpul acestei prime lecturi, recenzorii ar trebui să descompună articolul pentru a obține o înțelegere de bază a conținutului manuscrisului. 13 În timpul lecturii rapide, examinatorii ar trebui să evalueze din nou dacă au experiența necesară pentru a efectua revizuirea și dacă există conflicte de interese reale sau potențiale. Recenzorii ar trebui să anunțe editorul imediat dacă aceste probleme sunt identificate. 4 Recenzorii ar trebui să noteze ambiguitățile și întrebările care apar în timpul citirii rapide și să înceapă să își formeze opinii cu privire la importanța și relevanța lucrării. 3, 10

Un alt motiv important pentru citirea rapidă este identificarea defectelor critice sau „fatale” ale manuscrisului. 1, 4, 10, 13 În general, defectele unui manuscris pot fi clasificate drept minore (nu necesită acțiunea autorului), majore (necesită o rezoluție satisfăcătoare înainte ca publicarea să fie luată în considerare) și fatală (consideră manuscrisul - chiar și cu revizii majore - ireparabil ). 1, 10, 13 Dacă recenzorii identifică un defect fatal în timpul citirii rapide, pot recomanda să respingă manuscrisul în acest moment, renunțând la o citire și o critică scrisă mai detaliate. 1, 4, 10, 13 Exemple obișnuite de defecte manuscrise sunt enumerate în Tabelul 1.

Defecte ale manuscriselor care pot garanta revizuirea sau respingerea în timpul evaluării inter pares 1, 10, 13

Tipul defectului. Caracteristici.
Defecte minore Stilul de scriere este slab, lipsa de claritate, organizarea și fluxul manuscriselor sunt slabe, tabelele sau cifrele dublează informații în text, făcând referire la erori
Defecte majore Metodologia omite analizele care pot afecta rezultatele (de exemplu, controlul pentru variabilele critice), metodele sunt slab descrise, tabele de date neclare sau cifre, date de confirmare care adaugă puțin la înțelegerea actuală în absența unor argumente puternice care justifică repetarea, cercetarea importantă sau relevantă este nu sunt citate, limitările sunt slab recunoscute, concluziile sunt supraevaluate sau contrazise de datele proprii ale autorului
Defecte fatale Consimțământul nu a fost obținut atunci când este necesar, metodele nu sunt etice, metodologia a fost discreditată, metodologia este defectuoasă, ducând la rezultate neconcludente sau inexacte (de exemplu, ignoră un proces cunoscut care influențează puternic subiectul de interes)
Tipul defectului. Caracteristici.
Defecte minore Stilul de scriere este slab, lipsa de claritate, organizarea și fluxul manuscriselor sunt slabe, tabelele sau cifrele dublează informații în text, făcând referire la erori
Defecte majore Metodologia omite analizele care pot afecta rezultatele (de exemplu, controlul pentru variabilele critice), metodele sunt slab descrise, tabele sau cifre de date neclare, date de confirmare care adăugă puțin la înțelegerea actuală în absența unor argumente puternice care justifică repetarea, cercetarea importantă sau relevantă este nu sunt citate, limitările sunt slab recunoscute, concluziile sunt supraevaluate sau contrazise de datele proprii ale autorului
Defecte fatale Consimțământul nu a fost obținut atunci când este necesar, metodele nu sunt etice, metodologia a fost discreditată, metodologia este defectuoasă, ducând la rezultate neconcludente sau inexacte (de exemplu, ignoră un proces cunoscut care influențează puternic subiectul de interes)

Defecte ale manuscriselor care pot garanta revizuirea sau respingerea în timpul evaluării inter pares 1, 10, 13

Tipul defectului. Caracteristici.
Defecte minore Stilul de scriere este slab, lipsa de claritate, organizarea și fluxul manuscriselor sunt slabe, tabelele sau cifrele dublează informații în text, făcând referire la erori
Defecte majore Metodologia omite analizele care pot afecta rezultatele (de exemplu, controlul pentru variabilele critice), metodele sunt slab descrise, tabele de date neclare sau cifre, date de confirmare care adaugă puțin la înțelegerea actuală în absența unor argumente puternice care justifică repetarea, cercetarea importantă sau relevantă este nu sunt citate, limitările sunt slab recunoscute, concluziile sunt supraevaluate sau contrazise de datele proprii ale autorului
Defecte fatale Consimțământul nu a fost obținut atunci când este necesar, metodele nu sunt etice, metodologia a fost discreditată, metodologia este defectuoasă, ducând la rezultate neconcludente sau inexacte (de exemplu, ignoră un proces cunoscut care influențează puternic subiectul de interes)
Tipul defectului. Caracteristici.
Defecte minore Stilul de scriere este slab, lipsa de claritate, organizarea și fluxul manuscriselor sunt slabe, tabelele sau cifrele dublează informații în text, făcând referire la erori
Defecte majore Metodologia omite analizele care pot afecta rezultatele (de exemplu, controlul pentru variabilele critice), metodele sunt slab descrise, tabele de date neclare sau cifre, date de confirmare care adaugă puțin la înțelegerea actuală în absența unor argumente puternice care justifică repetarea, cercetarea importantă sau relevantă este nu sunt citate, limitările sunt slab recunoscute, concluziile sunt supraevaluate sau contrazise de datele proprii ale autorului
Defecte fatale Consimțământul nu a fost obținut atunci când este necesar, metodele nu sunt etice, metodologia a fost discreditată, metodologia este defectuoasă, ducând la rezultate neconcludente sau inexacte (de exemplu, ignoră un proces cunoscut care influențează puternic subiectul de interes)

Citire detaliată. După citirea rapidă, recenzorii ar trebui să efectueze o citire mai detaliată și critică a manuscrisului. 3, 4, 10, 13 Unii cercetători au sugerat că acest lucru se întâmplă cu ore sau zile după prima citire, deoarece acest lucru poate permite recenzorului să se pregătească mai bine pentru o citire mai critică prin revizuirea materialelor auxiliare (de exemplu, instrucțiuni pentru recenzie, figuri, tabele, dosare suplimentare). 2, 3, 13 Scopul principal al citirii detaliate este de a determina meritele științifice și relevanța manuscrisului. 3, 4, 13 Pentru a ajuta la formularea acestei evaluări, examinatorii ar trebui să-și pună 3 întrebări despre manuscris: Îl înțeleg? Cred asta? Imi pasa? 11 Manuscrisele ar trebui să precizeze în mod clar întrebarea de cercetare sau problema clinică și apoi să descrie modul în care s-a desfășurat activitatea științifică. Dacă se utilizează metode valide și concluziile sunt susținute de date, rezultatele ar trebui să fie credibile. În cele din urmă, dacă lucrarea este originală, întrebarea sau problema importantă sau intervenția inovatoare, ar trebui să stimuleze interesul atât pentru recenzent, cât și pentru cititori. De asemenea, examinatorii ar trebui să noteze ambiguitățile și întrebările care apar în timpul examinării detaliate și să ofere sugestii de îmbunătățire. 3, 4, 13 Important, recenzorul nu ar trebui să se concentreze asupra limbajului, stilului de scriere și gramaticii, cu excepția cazului în care acestea afectează claritatea unui anumit punct sau frecvența acestor probleme afectează semnificativ lizibilitatea generală a manuscrisului. 3, 4, 11, 13 În astfel de cazuri, recenzorul nu ar trebui să încerce să rescrie lucrarea pentru autori, ci mai degrabă să sublinieze secțiunile manuscrisului care trebuie abordate.

Citirea detaliată ar trebui să evalueze toate aspectele manuscrisului, inclusiv titlul, cuvintele cheie, rezumatul, introducerea, metodele, rezultatele, discuția, concluzia, graficele, tabelele, cifrele și referințele. Cele mai multe defecte minore și majore (Tabelul 1) sunt identificate în timpul acestei citiri mai critice. Pentru manuscrisele de cercetare, defectele manuscrise sunt frecvent întâlnite în secțiunea metodelor. Revizorii ar trebui să ia în considerare utilizarea unui proces sistematic (de exemplu, R andomizat, A ttrition, Măsurarea de către evaluatori b linded sau măsurători obiective [RAMbo]) sau să urmeze liniile directoare de raportare atunci când evaluează critic studiile clinice randomizate (de exemplu, Standarde consolidate de încercări de raportare [CONSORT] ) sau meta-analize (de exemplu, CALITATEA raportării meta-analizelor [QUORUM]), în special pentru recenzorii cu experiență limitată. 1, 4, 14, - 16 Atunci când evaluează secțiunea de concluzii, examinatorii ar trebui să se asigure că autorii nu exagerează constatările lor și identifică orice afirmații care ar putea fi percepute ca fiind părtinitoare. Deși nu este o listă exhaustivă, Tabelul 2 enumeră caracteristicile manuscriselor de calitate demne de acceptat. Recenzorii nu ar trebui să se teamă să recomande acceptarea sau respingerea condiționată pentru acele manuscrise care cred că au defecte semnificative sau sunt insuficient de unice sau importante.

Caracteristicile manuscriselor de calitate demne de acceptare 1, 3, 4, 10, 11, 14

Secțiunea Manuscrisului. Caracteristici.
Titlu, cuvinte cheie, rezumat Titlul este succint și indică în mod clar natura lucrării științifice, rezumă în mod adecvat și corect rezuma conținutul manuscrisului, nu sunt introduse informații noi
Introducere Rezumă evoluțiile recente din zona de interes evidențiază lacunele existente în cunoștințe clarifică originalitatea, noutatea și importanța lucrării
Metode Urmează standarde acceptabile sau folosește o tehnică nouă care îmbunătățește puterea cercetării, abordările utilizate sunt descrise suficient pentru a permite replicarea lucrării științifice
rezultate si discutii Rezumați datele în mod coerent, semnificația descrisă în contextul cunoștințelor actuale, limitările și lacunele care rămân sunt descrise în mod corespunzător
Concluzie Succes, reflectă asupra scopurilor manuscrisului, în concordanță cu datele
Grafice, tabele, figuri, referințe Completează datele din text, nu repetă și nici nu contrazice datele din text, literatura relevantă citată
Secțiunea Manuscrisului. Caracteristici.
Titlu, cuvinte cheie, rezumat Titlul este succint și indică în mod clar natura lucrării științifice, rezumă în mod adecvat și corect rezuma conținutul manuscrisului, nu sunt introduse informații noi
Introducere Rezumă evoluțiile recente din zona de interes evidențiază lacunele existente în cunoștințe clarifică originalitatea, noutatea și importanța lucrării
Metode Urmează standarde acceptabile sau folosește o tehnică nouă care îmbunătățește puterea cercetării, abordările utilizate sunt descrise suficient pentru a permite replicarea lucrării științifice
rezultate si discutii Rezumați datele în mod coerent, semnificația descrisă în contextul cunoștințelor actuale, limitările și lacunele care rămân sunt descrise în mod corespunzător
Concluzie Succes, reflectă asupra scopurilor manuscrisului, în concordanță cu datele
Grafice, tabele, figuri, referințe Completează datele din text, nu repetă și nici nu contrazice datele din text, literatura relevantă citată

Caracteristicile manuscriselor de calitate demne de acceptare 1, 3, 4, 10, 11, 14

Secțiunea Manuscrisului. Caracteristici.
Titlu, cuvinte cheie, rezumat Titlul este succint și indică în mod clar natura lucrării științifice, rezumă în mod adecvat și corect rezuma conținutul manuscrisului, nu sunt introduse informații noi
Introducere Rezumă evoluțiile recente din zona de interes evidențiază lacunele existente în cunoștințe clarifică originalitatea, noutatea și importanța lucrării
Metode Urmează standarde acceptabile sau folosește o tehnică nouă care îmbunătățește puterea cercetării, abordările utilizate sunt descrise suficient pentru a permite replicarea lucrării științifice
rezultate si discutii Rezumați datele în mod coerent, semnificația descrisă în contextul cunoștințelor actuale, limitările și lacunele care rămân sunt descrise în mod corespunzător
Concluzie Succes, reflectă asupra scopurilor manuscrisului, în concordanță cu datele
Grafice, tabele, figuri, referințe Completează datele din text, nu repetă și nici nu contrazice datele din text, literatura relevantă citată
Secțiunea Manuscrisului. Caracteristici.
Titlu, cuvinte cheie, rezumat Titlul este succint și indică în mod clar natura lucrării științifice, rezumă în mod adecvat și corect rezuma conținutul manuscrisului, nu sunt introduse informații noi
Introducere Rezumă evoluțiile recente din zona de interes evidențiază lacunele existente în cunoștințe clarifică originalitatea, noutatea și importanța lucrării
Metode Urmează standarde acceptabile sau folosește o tehnică nouă care îmbunătățește puterea cercetării, abordările utilizate sunt descrise suficient pentru a permite replicarea lucrării științifice
rezultate si discutii Rezumați datele în mod coerent, semnificația descrisă în contextul cunoștințelor actuale, limitările și lacunele care rămân sunt descrise în mod corespunzător
Concluzie Succes, reflectă asupra scopurilor manuscrisului, în concordanță cu datele
Grafice, tabele, figuri, referințe Completează datele din text, nu repetă și nici nu contrazice datele din text, literatura relevantă citată

Scanare finală. Recenzorii ar trebui să efectueze o scanare finală a manuscrisului, concentrându-se pe organizare, flux și alte probleme care afectează claritatea. 10 Recenzorii ar trebui să țină cont de faptul că evaluarea meritului științific al manuscrisului este mai valoroasă pentru editorii jurnalului decât evaluarea gramaticii și a stilului de scriere. 3, 4, 10, 13 Ultima lectură rapidă oferă, de asemenea, recenzorului posibilitatea de a evidenția defectele minore (Tabelul 1) și de a oferi sugestii de îmbunătățire. 1

Critica scrisă. Recenzorii ar trebui să își pregătească critica scrisă editorilor jurnalului rezumând mai întâi manuscrisul și apoi oferind comentarii specifice legate de defectele identificate. 4, 10, 11, 13 Deși unii recenzori folosesc primul paragraf al criticii scrise pentru a rezuma conținutul și descoperirile manuscrisului, sugerăm ca acest rezumat să se concentreze pe analiza generală a manuscrisului de către recenzent. 4, 10, 11, 13 Atunci când furnizează analiza generală a manuscrisului, recenzorii trebuie să evidențieze punctele forte, să sublinieze defectele semnificative și să comenteze importanța sau semnificația lucrării. 4, 10, 11, 13 Pe tot parcursul criticii, recenzorii ar trebui să fie sinceri și direcți, dar atenți atunci când oferă feedback autorilor. 1, 13 Probleme gramaticale identificate de recenzor care sunt omniprezente (de exemplu, numeroase erori de ortografie) ar trebui rezumate, lăsând revizuirea detaliată a gramaticii, ortografiei și stilului de scriere redactorilor și personalului tehnic al revistei. 4, 10, 11, 13 Rezumatul trebuie să echilibreze atât feedbackul pozitiv, cât și feedbackul constructiv, în concordanță cu evaluarea generală a manuscrisului (de exemplu, majoritatea comentariilor ar trebui să fie pozitive dacă recomandarea este de a accepta sau a accepta cu revizuiri minore). 4, 10, 11, 13 Dacă un recenzent a analizat doar porțiuni specifice ale manuscrisului, acest fapt ar trebui să fie clar menționat în rezumatul de deschidere. 2

În urma rezumatului, examinatorii ar trebui să furnizeze comentarii specifice legate de fiecare secțiune a manuscrisului. Recenzorii ar trebui să își organizeze comentariile într-un mod logic și să le numere. 10, 11, 13 În plus, recenzorii ar trebui să precizeze unde sunt direcționate comentariile în manuscris (de exemplu, numerele de pagină și de linie). 13 Mulți recenzori neglijează să ofere comentarii despre titlu și rezumat, dar acestea sunt probabil cele mai importante elemente ale manuscrisului. Mulți cititori vor citi sau vor avea acces doar la titlu și rezumat atunci când efectuează o căutare în literatură. Este util autorilor și editorilor să indice dacă un comentariu identifică o problemă majoră care trebuie abordată sau este doar o recomandare (adică o problemă minoră). 4, 13 Având în vedere că unul dintre scopurile evaluării inter pares este de a îmbunătăți calitatea manuscriselor, feedback-ul recenzorului ar trebui să fie obiectiv și constructiv, cu sugestii care să poată fi acționate pentru soluționarea defectelor. 2, 4, 10, 11, 13 Întrucât clasificarea defectelor unui manuscris este subiectivă, dacă examinatorii stabilesc că există un defect fatal, este justificată o explicație a motivului pentru care manuscrisul nu poate fi reparat. 1, 10, 13 Când este cazul, feedback-ul ar trebui să fie susținut cu dovezi (de exemplu, literatura de sprijin) pentru a ajuta editorii în decizia lor și autorii în reviziile lor. 2, 4, 10 Atunci când o afirmație din manuscris este ambiguă și poate duce la confuzia cititorului, recenzorul poate oferi sugestii specifice pentru a îmbunătăți claritatea. 4, 10, 11, 13 Recenzorii ar trebui să se abțină de la a divulga autorilor recomandarea lor de publicare în critică. Responsabilitatea de a determina dispoziția manuscrisului revine editorilor jurnalului.

Recenzorii sunt deseori rugați să ofere feedback confidențial editorilor. Aceste comentarii ar trebui să includă o scurtă explicație pentru a justifica recomandarea publicării recenziei. 13 Alte comentarii confidențiale pe care recenzenții ar putea dori să le includă sunt opiniile nepoluate cu privire la aspecte specifice ale manuscrisului, preocupările referitoare la etică (de exemplu, plagiat, fraudă, practici de cercetare neetice) și recunoașterea persoanelor care ar fi putut ajuta la efectuarea revizuirii. 1, 4, 11, 13

Recomandarea publicării. În majoritatea cazurilor, examinatorii sunt rugați să ofere recomandările lor cu privire la publicare după cum urmează: acceptați, acceptați cu revizuiri sau respingeți. Unele jurnale delimitează „accept cu revizii minore” de „accept cu revizii majore”. În general, manuscrisele care sunt bine scrise, noi, puternice din punct de vedere științific și relevante pentru cititorii revistei, trebuie acceptate. 3, 11 Manuscrisele care nu îndeplinesc aceste criterii ar trebui luate în considerare pentru acceptarea condiționată (revizuiri în așteptare) sau respingere. 3 Manuscrisele cu defecte minore trebuie recomandate pentru acceptarea condiționată (acceptați cu revizuiri sau acceptați cu revizii minore), înțelegând că sugestiile recenzorului pentru îmbunătățirea manuscrisului sunt discreționare și pot fi în cele din urmă ignorate de autori. 4, 10 În schimb, manuscrisele cu defecte majore ar trebui să fie recomandate pentru acceptarea condiționată (acceptați cu revizuiri sau acceptați cu revizii majore) numai dacă autorii abordează în mod satisfăcător preocupările recenzorilor. 1, 4, 10 Atunci când deliberează recomandarea lor de publicare, recenzorii ar trebui să acorde prioritate lucrărilor inovatoare care pot avea defecte metodologice (minore sau majore) față de manuscrise care sunt doar confirmative sau care ar putea fi de un interes scăzut pentru cititorii revistei. 4 Utilizarea metodelor de cercetare care nu sunt etice, care nu respectă normele contemporane (de exemplu, metode învechite sau discreditate) sau care nu pot fi reproduse reprezintă motive pentru recomandarea respingerii unui manuscris. 1, 11, 13

Concluzie. Calitatea recenziilor inter pares variază foarte mult și este adesea greșită, ducând la provocări pentru editorii de reviste și frustrări pentru autori. Utilizarea unei abordări treptate atunci când se efectuează o evaluare inter pares poate îmbunătăți calitatea recenziilor, ducând în cele din urmă la articole de înaltă calitate pentru publicare.


Pașii și standardele unei revizuiri sistematice

O revizuire sistematică începe cu o întrebare clar definită însoțită de criterii de includere și excludere stabilite.

Odată ce ai o idee inițială, caută literatură deja publicată pe această temă. Dacă există deja un articol de revizuire sistematică, atunci nu este necesară o altă revizuire pe același subiect. În plus, examinarea recenziilor sistematice publicate vă poate ajuta să vă încadrați mai bine propria întrebare de cercetare.

Dacă găsiți un articol de cercetare care se potrivește cu tema dvs., salvați-l. Articolele care exemplifică subiectul dvs. de cercetare se numesc articole „quotgold-standard” și sunt utilizate ca exemple în timpul procesului de căutare (Pasul 3).

Baze de date pentru găsirea recenziilor deja publicate

    (Gratuit): o strategie de căutare pentru a recupera citările identificate ca recenzii sistematice sau meta-analize. (NetID necesar): fila EBM poate ajuta la găsirea de recenzii sistematice sau meta-analize. (Gratuit): Un instrument pentru a găsi recenzii sistematice folosind PICO (Populație, intervenție, comparație și rezultat) (este necesar NetID): Resursa include textul complet al revizuirilor sistematice actualizate periodic ale efectelor asistenței medicale pregătite de The Cochrane Collaboration.

Ce este un protocol de revizuire sistematică?

Bazat pe Cochrane, este un plan predefinit și abordarea propusă pentru o revizuire sistematică. Acesta prezintă întrebarea pe care o abordează autorii revizuirii, detaliind criteriile pe baza cărora studiile vor fi evaluate pentru includere în revizuire și descrie modul în care autorii vor gestiona procesul de revizuire. Protocolul servește și ca o notificare a planurilor dvs. către alți cercetători, astfel încât nimeni să nu încerce același proiect. Este recomandat să vă înregistrați protocolul de revizuire sistematică după ce a fost scris. Scopul înregistrării unei revizuiri sistematice este de a reduce prejudecățile publicării, de a spori transparența și de a evita duplicarea eforturilor.

O modalitate bună de a vă familiariza cu redactarea protocoalelor de cercetare sistematică a revizuirii este să aruncați o privire asupra celor înregistrate pe PROSPERO- Registrul internațional prospectiv de revizuiri sistematice. După ce ați scris o schiță a protocolului dvs., faceți-l să fie revizuit de către cineva din afara echipei dvs. de cercetare. Dacă este înregistrat în PROSPERO, va fi, de asemenea, deschis pentru evaluare inter pares de către alți cercetători.

Informațiile cheie pentru redactarea unui protocol de revizuire sistematică includ:

  • O întrebare de cercetare care include pacienți și populație, intervenție sau expunere, comparație (dacă este relevantă) și rezultate.
  • Baze de date utilizate pentru căutări și strategia de căutare
  • Criterii de includere și excludere.
  • Metode utilizate pentru a evalua riscul de părtinire.
  • Metoda de extragere a datelor (formular de selecție și codificare).
  • Metoda de analiză a datelor, inclusiv analiza statistică, dacă este relevantă.
  • Data de începere anticipată sau efectivă.
  • Formarea unei echipe de revizuire sistematică și a membrilor echipei & # 39 informații.
  • Examinați cronologia proiectului.
  • Surse de finanțare / sponsori
  • Conflict de interese.
  • Data înregistrării.

Pe lângă PROSPERO, există și alte organizații în care ați putea căuta un protocol de revizuire sistematică înregistrat:


Procese eficiente de evaluare a colegilor: Rezultatele cercetării și direcțiile viitoare

În ciuda popularității evaluării colegilor (PA), lacunele din literatură fac dificilă descrierea exactă a ceea ce constituie PA eficientă. Într-o revizuire a literaturii, am împărțit AP în variabile și apoi am investigat interdependența acestora. Am constatat că (a) calitățile psihometrice ale PA & # x27 sunt îmbunătățite prin formarea și experiența evaluatorilor de la egal la egal legat de stilul de gândire al elevilor și # x27 de realizare academică și (d) atitudinile elevilor față de AP sunt influențate pozitiv de formare și experiență. Încheiem cu recomandări pentru cercetări viitoare.


Strategii optime de luat în considerare atunci când evaluează colegii o revizuire sistematică și meta-analiză

Recenziile sistematice sunt populare. O estimare recentă indică faptul că 11 noi recenzii sistematice sunt publicate zilnic. Cu toate acestea, dovezile indică faptul că calitatea raportării analizelor sistematice nu este optimă. Un motiv probabil este că rapoartele autorilor au primit o evaluare inter pares necorespunzătoare. Acum există multe tipuri diferite de recenzii sistematice, iar revizuirea inter pares poate fi îmbunătățită prin utilizarea unui ghid de raportare pentru a completa orice șablon pe care editorii jurnalului v-au cerut, în calitate de recenzor inter pares, să îl utilizați. În plus, respectarea literaturii actuale, fie că este expert în conținut, fie că este conștient de progresele înregistrate în metodele de revizuire sistematică, va fi probabil o revizuire inter pares mai cuprinzătoare și mai eficientă. Furnizarea unui scurt rezumat a ceea ce a raportat revizuirea sistematică este un prim pas important în procesul de evaluare inter pares (și nu este efectuat suficient de frecvent). În esență, acesta oferă autorilor un anumit sens despre ceea ce evaluatorul inter pares crede că a fost realizat (metode) și găsit (rezultate). Important, oferă, de asemenea, claritate cu privire la eventualele probleme ale metodelor, inclusiv abordări statistice pentru meta-analiză, rezultate și interpretarea revizuirii sistematice, pentru care evaluatorul inter pares poate căuta explicații de la autori, aceste clarificări sunt prezentate cel mai bine ca întrebări către autorii.


Strategii optime de luat în considerare atunci când evaluează colegii o revizuire sistematică și meta-analiză

Recenziile sistematice sunt populare. O estimare recentă indică faptul că 11 noi recenzii sistematice sunt publicate zilnic. Cu toate acestea, dovezile indică faptul că calitatea raportării analizelor sistematice nu este optimă. Un motiv probabil este că rapoartele autorilor au primit o evaluare inter pares necorespunzătoare. Acum există multe tipuri diferite de recenzii sistematice, iar revizuirea inter pares poate fi îmbunătățită prin utilizarea unui ghid de raportare pentru a completa orice șablon pe care editorii jurnalului v-au cerut, în calitate de recenzor inter pares, să îl utilizați. În plus, respectarea literaturii actuale, fie că este expert în conținut, fie că este conștient de progresele în metodele de revizuire sistematică, va fi probabil o revizuire inter pares mai cuprinzătoare și mai eficientă. Furnizarea unui scurt rezumat a ceea ce a raportat revizuirea sistematică este un prim pas important în procesul de evaluare inter pares (și nu este efectuat suficient de frecvent). În esență, acesta oferă autorilor un anumit sens despre ceea ce evaluatorul inter pares crede că a fost realizat (metode) și găsit (rezultate). Important, oferă, de asemenea, claritate cu privire la orice potențiale probleme ale metodelor, inclusiv abordări statistice pentru meta-analiză, rezultate și interpretarea revizuirii sistematice, pentru care evaluatorul coleg poate solicita explicații de la autori, aceste clarificări sunt prezentate cel mai bine ca întrebări către autorii.


Tipuri de evaluare inter pares

Single blind

În acest proces, numele autorilor nu sunt cunoscuți de autor (i). Recenzorii știu numele autorului (autorilor).

Dublu orb

Aici, nici recenzenții, nici autorii nu se cunosc numele.

În procesul de revizuire deschisă, atât recenzorii, cât și autorii se cunosc numele celorlalți.

Dar revizuirea editorială?

Jurnalele folosesc, de asemenea, un proces de revizuire editorială. Aceasta este nu la fel ca și evaluarea inter pares. Într-un proces de revizuire editorială, un articol este evaluat pentru orientări de stil și pentru claritate. Recenzorii de aici nu analizează acuratețea tehnică sau erorile în date sau metodologie, ci în schimb analizează gramatica, stilul și dacă un articol este bine scris.


Liniile directoare de bună practică pentru modelarea analitică a deciziilor în evaluarea tehnologiei sănătății: o revizuire și consolidarea evaluării calității

Utilizarea modelării analitice a deciziilor în scopul evaluării tehnologiei sănătății (HTA) a crescut dramatic în ultimii ani. În literatura de specialitate au apărut mai multe orientări pentru cele mai bune practici, cu toate acestea, nu există un standard convenit pentru ceea ce constituie un „model bun” sau modul în care modelele ar trebui evaluate în mod formal. Obiectivul acestei lucrări este de a identifica, revizui și consolida liniile directoare existente cu privire la utilizarea modelării decizionale-analitice în scopul HTA și de a dezvolta un cadru consecvent în raport cu care să poată fi evaluată calitatea modelelor. Revizuirea și cadrul rezultat sunt sintetizate sub cele trei teme cheie ale structurii, datelor și coerenței. Aspectele „structurale” se referă la sfera și structura matematică a modelului, inclusiv strategiile evaluate. Problemele acoperite la rubrica generală „Date” includ metode de identificare a datelor și modul în care ar trebui abordată incertitudinea. „Coerența” se referă la calitatea generală a modelului. Revizuirea ghidurilor existente a arătat că, deși autorii pot oferi un mesaj consecvent cu privire la unele aspecte ale modelării, cum ar fi necesitatea transparenței, acestea sunt contradictorii în alte domenii. Domeniile particulare de dezacord sunt modul în care datele ar trebui încorporate în modele și modul în care ar trebui evaluată incertitudinea. În scopul evaluării, cadrul rezultat este aplicat unui model de decizie-analitică dezvoltat ca parte a unei evaluări pentru Institutul Național pentru Sănătate și Excelență Clinică (NICE) din Marea Britanie. Ca o evaluare suplimentară, revizuirea bazată pe cadru este comparată cu o evaluare furnizată de un modelator independent cu experiență care nu utilizează cadrul. Se speră că cadrul dezvoltat aici poate face parte din procesul de evaluare pentru organismele de evaluare precum NICE și modelele de decizie prezentate jurnalelor de evaluare inter pares. Cu toate acestea, având în vedere viteza cu care avansează metodologia de modelare a deciziilor, este nevoie de actualizarea sa continuă.


Politicile de evaluare inter pares ale guvernului SUA [editați | editează sursa]

Majoritatea agențiilor federale de reglementare din guvernul Statelor Unite trebuie să respecte cerințele specifice de evaluare inter pares înainte ca agențiile să disemineze public anumite informații științifice. Aceste cerințe au fost publicate într-un Buletin de evaluare inter pares emis de Biroul de gestionare și buget al Casei Albe („OMB”), care stabilește „standarde la nivel guvernamental privind momentul în care este necesară revizuirea inter pares și, dacă este necesar, ce tip de procese de revizuire sunt adecvat. "

Buletinul de evaluare inter pares al OMB impune ca agențiile federale de reglementare din SUA să prezinte toate „informațiile științifice influente” spre evaluare inter pares înainte ca informațiile să fie difuzate public. Buletinul definește „informații științifice” ca:

„date factuale, date, modele, analize, informații tehnice sau evaluări științifice legate de discipline precum științele comportamentale și sociale, sănătatea publică și științele medicale, științele vieții și ale pământului, ingineria sau științele fizice.”

Buletinul OMB peer review definește „informații științifice influente” ca fiind

„informațiile științifice pe care agenția le poate stabili în mod rezonabil vor avea sau vor avea un impact clar și substanțial asupra politicilor publice importante sau asupra deciziilor din sectorul privat. liniile directoare privind calitatea informațiilor și liniile directoare privind calitatea informațiilor ale agenției. "

După cum sa menționat în cotația precedentă, Buletinul de evaluare inter pares trebuie citit împreună cu „liniile directoare OMB privind calitatea informațiilor la nivel guvernamental și liniile directoare privind calitatea informațiilor ale agenției”. Aceste orientări guvernează calitatea tuturor informațiilor diseminate de majoritatea agențiilor de reglementare ale guvernului SUA. Aceste linii directoare sunt cerute de un statut al SUA adoptat în 2001 numit Data Quality Act și cunoscut și sub denumirea de Information Quality Act („IQA”). OMB afirmă că a pregătit Buletinul de evaluare inter pares conform autorității OMB în temeiul DQA.

Buletinul de evaluare inter pares oferă îndrumări detaliate pentru evaluarea inter pares a informațiilor științifice influente. Buletinul aplică cerințe mai stricte de evaluare inter pares la „evaluările științifice extrem de influente”.

„care sunt un subset de informații științifice influente. O evaluare științifică este o evaluare a unui ansamblu de cunoștințe științifice sau tehnice care sintetizează în mod obișnuit multiple date factuale, date, modele, ipoteze și / sau aplică cea mai bună judecată profesională pentru a reduce incertitudinile disponibile informație."

Deși ghidurile specifice ale Buletinului de evaluare inter pares nu vor fi discutate aici în detaliu, ar trebui remarcat faptul că orientările diferă în mai multe privințe de practicile tradiționale de revizuire inter pares din majoritatea jurnalelor. De exemplu, Buletinul impune divulgarea publică a identităților evaluatorilor inter pares atunci când analizează evaluări științifice extrem de influente. Rezumatul Buletinului cu privire la unele dintre aceste cerințe este prezentat mai jos:

„În general, o agenție care efectuează o evaluare inter pares a unei evaluări științifice extrem de influente trebuie să se asigure că procesul de evaluare inter pares este transparent prin punerea la dispoziția publicului a acuzației scrise către evaluatorii inter pares, numele inter paresului, raportul inter paresului (s), și răspunsul agenției la raportul (rapoartele) evaluatorilor. Acest buletin impune agențiilor să adopte sau să adapteze politicile de selecție a comitetelor utilizate de Academia Națională de Științe (NAS). "

Buletinul de evaluare colegială abordează în mod specific efectul publicării într-o revistă științifică arbitrată, precum și variațiile și limitările cu evaluarea colegială:


Concluzie

O evaluare inter pares este o modalitate importantă de a obține feedback de la membrii echipei dvs. De asemenea, oferă informații utile care pot fi utilizate pentru a stimula în continuare creșterea și dezvoltarea organizațională.

Când efectuați o evaluare inter pares de orice fel, nu uitați să mențineți un nivel ridicat de profesionalism. Puneți întrebări care încurajează feedbackul sincer al angajaților. Nu veveriți și nu puneți întrebări cu răspunsuri prestabilite.

Mai important, utilizați instrumente la locul de muncă care vă ajută să colectați și să procesați feedback în mod eficient. Formplus are numeroase șabloane de formulare pentru colectarea și prelucrarea informațiilor.

De asemenea, puteți crea formulare personalizate pentru organizația dvs. utilizând Formplus Builder.


Îmbunătățirea evaluării inter pares: Ce pot face recenzorii

Robert J. DiDomenico, Pharm.D., BCPS-AQ Cardiology, FCCP, FHFSA, William L. Baker, Pharm.D., FCCP, FACC, FAHA, Stuart T. Haines, Pharm.D., FASHP, FCCP, FAPhA , Îmbunătățirea evaluării inter pares: Ce pot face recenzorii, American Journal of Health-System Pharmacy, Volumul 74, Ediția 24, 15 decembrie 2017, Pagini 2080–2084, https://doi.org/10.2146/ajhp170190

Ca autor, nu există un sentiment mai bun decât să primești corespondență de la un editor de revistă că lucrarea ta a fost acceptată pentru publicare. Cu toate acestea, acest sentiment de exaltare se poate transforma rapid în spaimă dacă autorul trebuie să răspundă la zeci, chiar sute, de comentarii ale unor recenzori. Am observat că calitatea recenziilor inter pares a scăzut în ultimul deceniu, iar accentul lor este adesea greșit, punând accentul pe gramatică și stil pe știință și metodologie. Acest comentariu oferă îndrumări evaluatorilor cu privire la cele mai bune practici pentru efectuarea unei evaluări inter pares pentru revistele biomedicale.

Avantajele de a fi un evaluator inter pares. Voluntariatul pentru a fi un evaluator inter pares este un prim pas important în procesul de evaluare inter pares. Recenzorii sunt de obicei identificați pe baza expertizei lor într-un anumit domeniu. Evaluatorii colegi oferă beneficii autorilor, editorilor și revistelor, oferind îndrumări utile legate de o lucrare științifică, evaluând metodologia și importanța științei și făcând recomandări cu privire la deciziile de publicare. 1, 2 Există și avantaje de a servi ca evaluatori inter pares. Acestea includ să se țină la curent cu cele mai recente evoluții în domeniul lor și să-și îmbunătățească abilitățile pentru a evalua critic lucrările științifice, care ar putea îmbunătăți propriile lor scrieri științifice. În sfârșit, este o onoare și un privilegiu să fii membru al unei profesii. Astfel, există o obligație morală de a da înapoi comunității profesionale și științifice. 3, 4 Din aceste motive, participarea la evaluarea inter pares este o așteptare profesională în multe situații.

Caracteristicile unui bun recenzor. Majoritatea revistelor biomedicale utilizează feedback-ul oferit în timpul procesului de evaluare inter pares pentru a lua decizii editoriale cu privire la manuscrisele trimise spre publicare. De obicei, editorii revistelor revizuite de colegi caută experți în conținut pentru a efectua o analiză critică a manuscrisului și să ofere (1) comentarii specifice cu privire la meritul științific al manuscrisului, (2) recomandări autorilor cu privire la modul de îmbunătățire a manuscrisului și (3) recomandări editorului cu privire la dispunerea manuscrisului. Invitațiile de a servi ca evaluator de la egal la egal sunt adesea însoțite de linkuri web către resursele de evaluare (de exemplu, liniile directoare ale evaluatorilor), dar instruirea formală nu este de obicei oferită și nici necesară.

Caracteristicile unui bun recenzor nu sunt bine definite. În timp ce mai multe studii au încercat să identifice caracteristicile care prezic performanța recenzorului, există o consistență redusă în constatări, iar asociațiile sunt slabe. 5, - 9 Vârsta mai mică a recenzorului este una dintre singurele caracteristici care a fost asociată în mod constant cu recenzii mai puternice de la colegi. 5, - 8 Unii cercetători au găsit o asociere pozitivă între durata timpului petrecut în revizuirea articolului (până la 3 ore) și calitatea revizuirii. 5, 7

Calitatea evaluării inter pares variază foarte mult, poate parțial pentru că puțini profesioniști primesc instruire în acest domeniu. 1, 10 Cu toate acestea, formarea formală singură afectează doar marginal calitatea evaluărilor inter pares. Anchetatorii care au efectuat un studiu de peste 300 de recenzori care au efectuat 2.856 de recenzii pentru Analele Medicinii de Urgență nu a găsit o asociere între mai mult de 10 ore de instruire în abilitățile critice de evaluare și calitatea revizuirii. 6 Cu toate acestea, a BMJ Studiul efectuat pe 609 de recenzori a constatat un beneficiu mic, pe termen scurt (& lt6 luni), asociat cu participarea la un program de formare a evaluatorilor. 9 Cu toate acestea, variația calității evaluărilor inter pares sugerează că evaluatorii inter pares pot beneficia de unele îndrumări.

Ce pot face recenzorii: o abordare pas cu pas. Deși alte abordări sunt acceptabile, recomandăm un proces pas cu pas pentru evaluatorii inter pares (Figura 1). Indiferent de abordarea utilizată, cele mai bune evaluări inter pares sunt sistematice și cuprinzătoare.

Proces pas cu pas pentru efectuarea unei evaluări inter pares. 1, - 4, 10, - 13

Proces pas cu pas pentru efectuarea unei evaluări inter pares. 1, - 4, 10, - 13

Răspuns la invitația de a efectua o evaluare inter pares. Evaluatorii colegi ar trebui să ia în considerare mai multe probleme înainte de a decide să accepte sau să refuze o invitație de a efectua o evaluare colegială. Recenzorii ar trebui să evalueze mai întâi dacă sunt calificați pentru a examina manuscrisul. 2, 10, 11 Recenzorilor li se oferă de obicei un rezumat al manuscrisului cu invitația de recenzie. Recenzorii ar trebui să accepte invitații la recenzie numai dacă au experiență în domeniul de interes al manuscrisului. În unele cazuri, examinatorul poate avea expertiza pentru a revizui o secțiune cheie a manuscrisului (de exemplu, metodologia cercetării, analiza statistică), dar nu și alte secțiuni.În acest caz, examinatorul ar trebui să fie clar cu privire la scopul revizuirii înainte de a accepta invitația. 2, 10

Dacă manuscrisul se află în aria de expertiză a recenzorului, ar trebui luate în considerare conflictele de interese potențiale sau reale. 2, 10, 11 Potențialele conflicte ale recenzorilor pot include relații personale strânse (de ex., Soțul) sau profesionale (de exemplu, mentor-mentorat, coleg instituțional) cu unul sau mai mulți dintre autori. 10, 11 În plus, prezența unor interese conflictuale sau concurente care pot crea potențialul de beneficii personale, financiare, intelectuale, profesionale, politice sau religioase de către recenzent poate fi considerată conflict de interese. 2, 10, 11 Recenzorii ar trebui să își pună această întrebare simplă, dar puternică: Ar crede alții - autorii, editorii sau cititorii - că recenzia mea pozitivă sau negativă a acestei lucrări este motivată în vreun fel de interesul personal? Dacă răspunsul este da, este esențial să discutați cu editorul potențialul conflict înainte de a accepta invitația de revizuire. 2, 10, 11

Actualitatea este extrem de importantă pentru procesul de evaluare inter pares. Pentru a evita întârzierile inutile în procesul de publicare, examinatorul trebuie să ia în considerare capacitatea sa de a respecta termenul limită al jurnalului pentru finalizarea revizuirii înainte de a accepta invitația. 2, 10, 11 O evaluare inter pares de calitate poate dura câteva ore pentru a efectua. 3, 5, 7, 10 Recenzenților li se oferă de obicei 2 săptămâni pentru a finaliza evaluarea inter pares, deși cronologia poate fi la fel de scurtă ca 48 de ore și până la 4 săptămâni. 11 Evaluatorii ar trebui să răspundă la invitațiile de evaluare inter pares în timp util, mai ales dacă invitația este refuzată. 2, 12 În unele cazuri, jurnalele își vor anula invitațiile dacă nu se primește un răspuns în timp util (de exemplu, în termen de 3-4 zile). Pe tot parcursul procesului, examinatorii trebuie să păstreze confidențialitatea și nu ar trebui să difuzeze niciodată manuscrisul sau să discute conținutul acestuia cu alții. 1, 12 Dacă recenzenții ar dori să includă alții (de exemplu, stagiari) în procesul de evaluare inter pares, ar trebui să li se solicite permisiunea sau, cel puțin, editorul ar trebui să fie notificat atunci când critica este trimisă. 2, 12

Efectuarea evaluării inter pares. Citire rapidă. Mulți sunt de acord că primul pas în finalizarea unei evaluări inter pares este efectuarea unei citiri rapide. 1, 3, 4, 10, 13 În timpul acestei prime lecturi, recenzorii ar trebui să descompună articolul pentru a obține o înțelegere de bază a conținutului manuscrisului. 13 În timpul lecturii rapide, examinatorii ar trebui să evalueze din nou dacă au experiența necesară pentru a efectua revizuirea și dacă există conflicte de interese reale sau potențiale. Recenzorii ar trebui să anunțe editorul imediat dacă aceste probleme sunt identificate. 4 Recenzorii ar trebui să noteze ambiguitățile și întrebările care apar în timpul citirii rapide și să înceapă să își formeze opinii cu privire la importanța și relevanța lucrării. 3, 10

Un alt motiv important pentru citirea rapidă este identificarea defectelor critice sau „fatale” ale manuscrisului. 1, 4, 10, 13 În general, defectele unui manuscris pot fi clasificate drept minore (nu necesită acțiunea autorului), majore (necesită o rezoluție satisfăcătoare înainte ca publicarea să fie luată în considerare) și fatală (consideră manuscrisul - chiar și cu revizii majore - ireparabil ). 1, 10, 13 Dacă recenzorii identifică un defect fatal în timpul citirii rapide, pot recomanda să respingă manuscrisul în acest moment, renunțând la o citire și o critică scrisă mai detaliate. 1, 4, 10, 13 Exemple obișnuite de defecte manuscrise sunt enumerate în Tabelul 1.

Defecte ale manuscriselor care pot garanta revizuirea sau respingerea în timpul evaluării inter pares 1, 10, 13

Tipul defectului. Caracteristici.
Defecte minore Stilul de scriere este slab, lipsa de claritate, organizarea și fluxul manuscriselor sunt slabe, tabelele sau cifrele dublează informații în text, făcând referire la erori
Defecte majore Metodologia omite analizele care pot afecta rezultatele (de exemplu, controlul pentru variabilele critice), metodele sunt slab descrise, tabele de date neclare sau cifre, date de confirmare care adaugă puțin la înțelegerea actuală în absența unor argumente puternice care justifică repetarea, cercetarea importantă sau relevantă este nu sunt citate, limitările sunt slab recunoscute, concluziile sunt supraevaluate sau contrazise de datele proprii ale autorului
Defecte fatale Consimțământul nu a fost obținut atunci când este necesar, metodele nu sunt etice, metodologia a fost discreditată, metodologia este defectuoasă, ducând la rezultate neconcludente sau inexacte (de exemplu, ignoră un proces cunoscut care influențează puternic subiectul de interes)
Tipul defectului. Caracteristici.
Defecte minore Stilul de scriere este slab, lipsa de claritate, organizarea și fluxul manuscriselor sunt slabe, tabelele sau cifrele dublează informații în text, făcând referire la erori
Defecte majore Metodologia omite analizele care pot afecta rezultatele (de exemplu, controlul pentru variabilele critice), metodele sunt slab descrise, tabele de date neclare sau cifre, date de confirmare care adaugă puțin la înțelegerea actuală în absența unor argumente puternice care justifică repetarea, cercetarea importantă sau relevantă este nu sunt citate, limitările sunt slab recunoscute, concluziile sunt supraevaluate sau contrazise de datele proprii ale autorului
Defecte fatale Consimțământul nu a fost obținut atunci când este necesar, metodele nu sunt etice, metodologia a fost discreditată, metodologia este defectuoasă, ducând la rezultate neconcludente sau inexacte (de exemplu, ignoră un proces cunoscut care influențează puternic subiectul de interes)

Defecte ale manuscriselor care pot garanta revizuirea sau respingerea în timpul evaluării inter pares 1, 10, 13

Tipul defectului. Caracteristici.
Defecte minore Stilul de scriere este slab, lipsa de claritate, organizarea și fluxul manuscriselor sunt slabe, tabelele sau cifrele dublează informații în text, făcând referire la erori
Defecte majore Metodologia omite analizele care pot afecta rezultatele (de exemplu, controlul pentru variabilele critice), metodele sunt slab descrise, tabele de date neclare sau cifre, date de confirmare care adaugă puțin la înțelegerea actuală în absența unor argumente puternice care justifică repetarea, cercetarea importantă sau relevantă este nu sunt citate, limitările sunt slab recunoscute, concluziile sunt supraevaluate sau contrazise de datele proprii ale autorului
Defecte fatale Consimțământul nu a fost obținut atunci când este necesar, metodele nu sunt etice, metodologia a fost discreditată, metodologia este defectuoasă, ducând la rezultate neconcludente sau inexacte (de exemplu, ignoră un proces cunoscut care influențează puternic subiectul de interes)
Tipul defectului. Caracteristici.
Defecte minore Stilul de scriere este slab, lipsa de claritate, organizarea și fluxul manuscriselor sunt slabe, tabelele sau cifrele dublează informații în text, făcând referire la erori
Defecte majore Metodologia omite analizele care pot afecta rezultatele (de exemplu, controlul pentru variabilele critice), metodele sunt slab descrise, tabele de date neclare sau cifre, date de confirmare care adaugă puțin la înțelegerea actuală în absența unor argumente puternice care justifică repetarea, cercetarea importantă sau relevantă este nu sunt citate, limitările sunt slab recunoscute, concluziile sunt supraevaluate sau contrazise de datele proprii ale autorului
Defecte fatale Consimțământul nu a fost obținut atunci când este necesar, metodele nu sunt etice, metodologia a fost discreditată, metodologia este defectuoasă, ducând la rezultate neconcludente sau inexacte (de exemplu, ignoră un proces cunoscut care influențează puternic subiectul de interes)

Citire detaliată. După citirea rapidă, recenzorii ar trebui să efectueze o citire mai detaliată și critică a manuscrisului. 3, 4, 10, 13 Unii cercetători au sugerat că acest lucru se întâmplă cu ore sau zile după prima citire, deoarece acest lucru poate permite recenzorului să se pregătească mai bine pentru o citire mai critică prin revizuirea materialelor auxiliare (de exemplu, instrucțiuni pentru recenzie, figuri, tabele, dosare suplimentare). 2, 3, 13 Scopul principal al citirii detaliate este de a determina meritele științifice și relevanța manuscrisului. 3, 4, 13 Pentru a ajuta la formularea acestei evaluări, examinatorii ar trebui să-și pună 3 întrebări despre manuscris: Îl înțeleg? Cred asta? Imi pasa? 11 Manuscrisele ar trebui să precizeze în mod clar întrebarea de cercetare sau problema clinică și apoi să descrie modul în care s-a desfășurat activitatea științifică. Dacă se utilizează metode valide și concluziile sunt susținute de date, rezultatele ar trebui să fie credibile. În cele din urmă, dacă lucrarea este originală, întrebarea sau problema importantă sau intervenția inovatoare, ar trebui să stimuleze interesul atât pentru recenzent, cât și pentru cititori. De asemenea, examinatorii ar trebui să noteze ambiguitățile și întrebările care apar în timpul examinării detaliate și să ofere sugestii de îmbunătățire. 3, 4, 13 Important, recenzorul nu ar trebui să se concentreze asupra limbajului, stilului de scriere și gramaticii, cu excepția cazului în care acestea afectează claritatea unui anumit punct sau frecvența acestor probleme afectează semnificativ lizibilitatea generală a manuscrisului. 3, 4, 11, 13 În astfel de cazuri, recenzorul nu ar trebui să încerce să rescrie lucrarea pentru autori, ci mai degrabă să sublinieze secțiunile manuscrisului care trebuie abordate.

Citirea detaliată ar trebui să evalueze toate aspectele manuscrisului, inclusiv titlul, cuvintele cheie, rezumatul, introducerea, metodele, rezultatele, discuția, concluzia, graficele, tabelele, cifrele și referințele. Cele mai multe defecte minore și majore (Tabelul 1) sunt identificate în timpul acestei citiri mai critice. Pentru manuscrisele de cercetare, defectele manuscrise sunt frecvent întâlnite în secțiunea metodelor. Revizorii ar trebui să ia în considerare utilizarea unui proces sistematic (de exemplu, R andomizat, A ttrition, Măsurarea de către evaluatori b linded sau măsurători obiective [RAMbo]) sau să urmeze liniile directoare de raportare atunci când evaluează critic studiile clinice randomizate (de exemplu, Standarde consolidate de încercări de raportare [CONSORT] ) sau meta-analize (de exemplu, CALITATEA raportării meta-analizelor [QUORUM]), în special pentru recenzorii cu experiență limitată. 1, 4, 14, - 16 Atunci când evaluează secțiunea de concluzii, examinatorii ar trebui să se asigure că autorii nu exagerează constatările lor și identifică orice afirmații care ar putea fi percepute ca fiind părtinitoare. Deși nu este o listă exhaustivă, Tabelul 2 enumeră caracteristicile manuscriselor de calitate demne de acceptat. Recenzorii nu ar trebui să se teamă să recomande acceptarea sau respingerea condiționată pentru acele manuscrise care cred că au defecte semnificative sau sunt insuficient de unice sau importante.

Caracteristicile manuscriselor de calitate demne de acceptare 1, 3, 4, 10, 11, 14

Secțiunea Manuscrisului. Caracteristici.
Titlu, cuvinte cheie, rezumat Titlul este succint și indică în mod clar natura lucrării științifice, rezumă în mod adecvat și corect rezuma conținutul manuscrisului, nu sunt introduse informații noi
Introducere Rezumă evoluțiile recente din zona de interes evidențiază lacunele existente în cunoștințe clarifică originalitatea, noutatea și importanța lucrării
Metode Urmează standarde acceptabile sau folosește o tehnică nouă care îmbunătățește puterea cercetării, abordările utilizate sunt descrise suficient pentru a permite replicarea lucrării științifice
rezultate si discutii Rezumați datele în mod coerent, semnificația descrisă în contextul cunoștințelor actuale, limitările și lacunele care rămân sunt descrise în mod corespunzător
Concluzie Succes, reflectă asupra scopurilor manuscrisului, în concordanță cu datele
Grafice, tabele, figuri, referințe Completează datele din text, nu repetă și nici nu contrazice datele din text, literatura relevantă citată
Secțiunea Manuscrisului. Caracteristici.
Titlu, cuvinte cheie, rezumat Titlul este succint și indică în mod clar natura lucrării științifice, rezumă în mod adecvat și corect rezuma conținutul manuscrisului, nu sunt introduse informații noi
Introducere Rezumă evoluțiile recente din zona de interes evidențiază lacunele existente în cunoștințe clarifică originalitatea, noutatea și importanța lucrării
Metode Urmează standarde acceptabile sau folosește o tehnică nouă care îmbunătățește puterea cercetării, abordările utilizate sunt descrise suficient pentru a permite replicarea lucrării științifice
rezultate si discutii Rezumați datele în mod coerent, semnificația descrisă în contextul cunoștințelor actuale, limitările și lacunele care rămân sunt descrise în mod corespunzător
Concluzie Succes, reflectă asupra scopurilor manuscrisului, în concordanță cu datele
Grafice, tabele, figuri, referințe Completează datele din text, nu repetă și nici nu contrazice datele din text, literatura relevantă citată

Caracteristicile manuscriselor de calitate demne de acceptare 1, 3, 4, 10, 11, 14

Secțiunea Manuscrisului. Caracteristici.
Titlu, cuvinte cheie, rezumat Titlul este succint și indică în mod clar natura lucrării științifice, rezumă în mod adecvat și corect rezuma conținutul manuscrisului, nu sunt introduse informații noi
Introducere Rezumă evoluțiile recente din zona de interes evidențiază lacunele existente în cunoștințe clarifică originalitatea, noutatea și importanța lucrării
Metode Urmează standarde acceptabile sau folosește o tehnică nouă care îmbunătățește puterea cercetării, abordările utilizate sunt descrise suficient pentru a permite replicarea lucrării științifice
rezultate si discutii Rezumați datele în mod coerent, semnificația descrisă în contextul cunoștințelor actuale, limitările și lacunele care rămân sunt descrise în mod corespunzător
Concluzie Succes, reflectă asupra scopurilor manuscrisului, în concordanță cu datele
Grafice, tabele, figuri, referințe Completează datele din text, nu repetă și nici nu contrazice datele din text, literatura relevantă citată
Secțiunea Manuscrisului. Caracteristici.
Titlu, cuvinte cheie, rezumat Titlul este succint și indică în mod clar natura lucrării științifice, rezumă în mod adecvat și corect rezuma conținutul manuscrisului, nu sunt introduse informații noi
Introducere Rezumă evoluțiile recente din zona de interes evidențiază lacunele existente în cunoștințe clarifică originalitatea, noutatea și importanța lucrării
Metode Urmează standarde acceptabile sau folosește o tehnică nouă care îmbunătățește puterea cercetării, abordările utilizate sunt descrise suficient pentru a permite replicarea lucrării științifice
rezultate si discutii Rezumați datele în mod coerent, semnificația descrisă în contextul cunoștințelor actuale, limitările și lacunele care rămân sunt descrise în mod corespunzător
Concluzie Succes, reflectă asupra scopurilor manuscrisului, în concordanță cu datele
Grafice, tabele, figuri, referințe Completează datele din text, nu repetă și nici nu contrazice datele din text, literatura relevantă citată

Scanare finală. Recenzorii ar trebui să efectueze o scanare finală a manuscrisului, concentrându-se pe organizare, flux și alte probleme care afectează claritatea. 10 Recenzorii ar trebui să țină cont de faptul că evaluarea meritului științific al manuscrisului este mai valoroasă pentru editorii jurnalului decât evaluarea gramaticii și a stilului de scriere. 3, 4, 10, 13 Ultima lectură rapidă oferă, de asemenea, recenzorului posibilitatea de a evidenția defectele minore (Tabelul 1) și de a oferi sugestii de îmbunătățire. 1

Critica scrisă. Recenzorii ar trebui să își pregătească critica scrisă editorilor jurnalului rezumând mai întâi manuscrisul și apoi oferind comentarii specifice legate de defectele identificate. 4, 10, 11, 13 Deși unii recenzori folosesc primul paragraf al criticii scrise pentru a rezuma conținutul și descoperirile manuscrisului, sugerăm ca acest rezumat să se concentreze pe analiza generală a manuscrisului de către recenzent. 4, 10, 11, 13 Atunci când furnizează analiza generală a manuscrisului, recenzorii trebuie să evidențieze punctele forte, să sublinieze defectele semnificative și să comenteze importanța sau semnificația lucrării. 4, 10, 11, 13 Pe tot parcursul criticii, recenzorii ar trebui să fie sinceri și direcți, dar atenți atunci când oferă feedback autorilor. 1, 13 Probleme gramaticale identificate de recenzor care sunt omniprezente (de exemplu, numeroase erori de ortografie) ar trebui rezumate, lăsând revizuirea detaliată a gramaticii, ortografiei și stilului de scriere redactorilor și personalului tehnic al revistei. 4, 10, 11, 13 Rezumatul trebuie să echilibreze atât feedbackul pozitiv, cât și feedbackul constructiv, în concordanță cu evaluarea generală a manuscrisului (de exemplu, majoritatea comentariilor ar trebui să fie pozitive dacă recomandarea este de a accepta sau a accepta cu revizuiri minore). 4, 10, 11, 13 Dacă un recenzent a analizat doar porțiuni specifice ale manuscrisului, acest fapt ar trebui să fie clar menționat în rezumatul de deschidere. 2

În urma rezumatului, examinatorii ar trebui să furnizeze comentarii specifice legate de fiecare secțiune a manuscrisului. Recenzorii ar trebui să își organizeze comentariile într-un mod logic și să le numere. 10, 11, 13 În plus, recenzorii ar trebui să precizeze unde sunt direcționate comentariile în manuscris (de exemplu, numerele de pagină și de linie). 13 Mulți recenzori neglijează să ofere comentarii despre titlu și rezumat, dar acestea sunt probabil cele mai importante elemente ale manuscrisului. Mulți cititori vor citi sau vor avea acces doar la titlu și rezumat atunci când efectuează o căutare în literatură. Este util autorilor și editorilor să indice dacă un comentariu identifică o problemă majoră care trebuie abordată sau este doar o recomandare (adică o problemă minoră). 4, 13 Având în vedere că unul dintre scopurile evaluării inter pares este de a îmbunătăți calitatea manuscriselor, feedback-ul recenzorului ar trebui să fie obiectiv și constructiv, cu sugestii care să poată fi acționate pentru soluționarea defectelor. 2, 4, 10, 11, 13 Întrucât clasificarea defectelor unui manuscris este subiectivă, dacă examinatorii stabilesc că există un defect fatal, este justificată o explicație a motivului pentru care manuscrisul nu poate fi reparat. 1, 10, 13 Când este cazul, feedback-ul ar trebui să fie susținut cu dovezi (de exemplu, literatura de sprijin) pentru a ajuta editorii în decizia lor și autorii în reviziile lor. 2, 4, 10 Atunci când o afirmație din manuscris este ambiguă și poate duce la confuzia cititorului, recenzorul poate oferi sugestii specifice pentru a îmbunătăți claritatea. 4, 10, 11, 13 Recenzorii ar trebui să se abțină de la a divulga autorilor recomandarea lor de publicare în critică. Responsabilitatea de a determina dispoziția manuscrisului revine editorilor jurnalului.

Recenzorii sunt deseori rugați să ofere feedback confidențial editorilor. Aceste comentarii ar trebui să includă o scurtă explicație pentru a justifica recomandarea publicării recenziei. 13 Alte comentarii confidențiale pe care recenzenții ar putea dori să le includă sunt opiniile nepoluate cu privire la aspecte specifice ale manuscrisului, preocupările referitoare la etică (de exemplu, plagiat, fraudă, practici de cercetare neetice) și recunoașterea persoanelor care ar fi putut ajuta la efectuarea revizuirii. 1, 4, 11, 13

Recomandarea publicării. În majoritatea cazurilor, examinatorii sunt rugați să ofere recomandările lor cu privire la publicare după cum urmează: acceptați, acceptați cu revizuiri sau respingeți.Unele jurnale delimitează „accept cu revizii minore” de „accept cu revizii majore”. În general, manuscrisele care sunt bine scrise, noi, puternice din punct de vedere științific și relevante pentru cititorii revistei, trebuie acceptate. 3, 11 Manuscrisele care nu îndeplinesc aceste criterii ar trebui luate în considerare pentru acceptarea condiționată (revizuiri în așteptare) sau respingere. 3 Manuscrisele cu defecte minore trebuie recomandate pentru acceptarea condiționată (acceptați cu revizuiri sau acceptați cu revizii minore), înțelegând că sugestiile recenzorului pentru îmbunătățirea manuscrisului sunt discreționare și pot fi în cele din urmă ignorate de autori. 4, 10 În schimb, manuscrisele cu defecte majore ar trebui să fie recomandate pentru acceptarea condiționată (acceptați cu revizuiri sau acceptați cu revizii majore) numai dacă autorii abordează în mod satisfăcător preocupările recenzorilor. 1, 4, 10 Atunci când deliberează recomandarea lor de publicare, recenzorii ar trebui să acorde prioritate lucrărilor inovatoare care pot avea defecte metodologice (minore sau majore) față de manuscrise care sunt doar confirmative sau care ar putea fi de un interes scăzut pentru cititorii revistei. 4 Utilizarea metodelor de cercetare care nu sunt etice, care nu respectă normele contemporane (de exemplu, metode învechite sau discreditate) sau care nu pot fi reproduse reprezintă motive pentru recomandarea respingerii unui manuscris. 1, 11, 13

Concluzie. Calitatea recenziilor inter pares variază foarte mult și este adesea greșită, ducând la provocări pentru editorii de reviste și frustrări pentru autori. Utilizarea unei abordări treptate atunci când se efectuează o evaluare inter pares poate îmbunătăți calitatea recenziilor, ducând în cele din urmă la articole de înaltă calitate pentru publicare.


Pașii și standardele unei revizuiri sistematice

O revizuire sistematică începe cu o întrebare clar definită însoțită de criterii de includere și excludere stabilite.

Odată ce ai o idee inițială, caută literatură deja publicată pe această temă. Dacă există deja un articol de revizuire sistematică, atunci nu este necesară o altă revizuire pe același subiect. În plus, examinarea recenziilor sistematice publicate vă poate ajuta să vă încadrați mai bine propria întrebare de cercetare.

Dacă găsiți un articol de cercetare care se potrivește cu tema dvs., salvați-l. Articolele care exemplifică subiectul dvs. de cercetare se numesc articole „quotgold-standard” și sunt utilizate ca exemple în timpul procesului de căutare (Pasul 3).

Baze de date pentru găsirea recenziilor deja publicate

    (Gratuit): o strategie de căutare pentru a recupera citările identificate ca recenzii sistematice sau meta-analize. (NetID necesar): fila EBM poate ajuta la găsirea de recenzii sistematice sau meta-analize. (Gratuit): Un instrument pentru a găsi recenzii sistematice folosind PICO (Populație, intervenție, comparație și rezultat) (este necesar NetID): Resursa include textul complet al revizuirilor sistematice actualizate periodic ale efectelor asistenței medicale pregătite de The Cochrane Collaboration.

Ce este un protocol de revizuire sistematică?

Bazat pe Cochrane, este un plan predefinit și abordarea propusă pentru o revizuire sistematică. Acesta prezintă întrebarea pe care o abordează autorii revizuirii, detaliind criteriile pe baza cărora studiile vor fi evaluate pentru includere în revizuire și descrie modul în care autorii vor gestiona procesul de revizuire. Protocolul servește și ca o notificare a planurilor dvs. către alți cercetători, astfel încât nimeni să nu încerce același proiect. Este recomandat să vă înregistrați protocolul de revizuire sistematică după ce a fost scris. Scopul înregistrării unei revizuiri sistematice este de a reduce prejudecățile publicării, de a spori transparența și de a evita duplicarea eforturilor.

O modalitate bună de a vă familiariza cu redactarea protocoalelor de cercetare sistematică a revizuirii este să aruncați o privire asupra celor înregistrate pe PROSPERO- Registrul internațional prospectiv de revizuiri sistematice. După ce ați scris o schiță a protocolului dvs., faceți-l să fie revizuit de către cineva din afara echipei dvs. de cercetare. Dacă este înregistrat în PROSPERO, va fi, de asemenea, deschis pentru evaluare inter pares de către alți cercetători.

Informațiile cheie pentru redactarea unui protocol de revizuire sistematică includ:

  • O întrebare de cercetare care include pacienți și populație, intervenție sau expunere, comparație (dacă este relevantă) și rezultate.
  • Baze de date utilizate pentru căutări și strategia de căutare
  • Criterii de includere și excludere.
  • Metode utilizate pentru a evalua riscul de părtinire.
  • Metoda de extragere a datelor (formular de selecție și codificare).
  • Metoda de analiză a datelor, inclusiv analiza statistică, dacă este relevantă.
  • Data de începere anticipată sau efectivă.
  • Formarea unei echipe de revizuire sistematică și a membrilor echipei & # 39 informații.
  • Examinați cronologia proiectului.
  • Surse de finanțare / sponsori
  • Conflict de interese.
  • Data înregistrării.

Pe lângă PROSPERO, există și alte organizații în care ați putea căuta un protocol de revizuire sistematică înregistrat:


Procese eficiente de evaluare a colegilor: Rezultatele cercetării și direcțiile viitoare

În ciuda popularității evaluării colegilor (PA), lacunele din literatură fac dificilă descrierea exactă a ceea ce constituie PA eficientă. Într-o revizuire a literaturii, am împărțit AP în variabile și apoi am investigat interdependența acestora. Am constatat că (a) calitățile psihometrice ale PA & # x27 sunt îmbunătățite prin formarea și experiența evaluatorilor de la egal la egal legat de stilul de gândire al elevilor și # x27 de realizare academică și (d) atitudinile elevilor față de AP sunt influențate pozitiv de formare și experiență. Încheiem cu recomandări pentru cercetări viitoare.


Care sunt liniile directoare etice pentru evaluatorii inter pares?

Toți evaluatorii colegi trebuie să urmeze aceste linii directoare etice pentru articolele revistei Taylor & amp Francis în revizuire:

  • Recenzorii trebuie să acorde o atenție imparțială fiecărui manuscris trimis. Aceștia ar trebui să judece fiecare pe meritele sale, indiferent de rasă, religie, naționalitate, sex, vechime sau apartenență instituțională a autorului (autorilor).
  • Recenzorii trebuie să declare orice conflict de interese înainte de a accepta revizuirea unui manuscris. Aceasta include orice relație cu autorul care poate influența recenzia lor.
  • Evaluatorii trebuie să păstreze confidențial procesul de evaluare inter pares. Nu trebuie să împărtășească informații sau corespondență despre un manuscris cu nimeni în afara procesului de evaluare inter pares.
  • Evaluatorii ar trebui să furnizeze un raport constructiv, cuprinzător, dovedit și substanțial adecvat de evaluare inter pares.
  • Recenzorii trebuie să evite să facă declarații în raportul lor, care ar putea fi interpretat ca contestând reputația oricărei persoane.
  • Evaluatorii ar trebui să depună toate eforturile rezonabile pentru a-și prezenta raportul și recomandarea la timp. Ar trebui să informeze editorul dacă acest lucru nu este posibil.
  • Recenzorii trebuie să atragă atenția editorului jurnalului asupra oricărei similitudini semnificative între manuscrisul în cauză și orice lucrare publicată sau manuscrise trimise de care sunt conștienți.

Taylor & amp Francis recomandă ca recenzenții să respecte și Ghidul etic COPE pentru evaluatori colegi.

Citiți constatările cheie din cercetarea noastră în cartea albă & # 8211 Evaluarea inter pares: o viziune globală


Priveste filmarea: Lucrarea de licență- 10 ponturi pentru o lucrare de nota 10 (Mai 2022).