სამეცნიერო ექსპერიმენტების დაახლოებით 50% აღმოჩნდა არარეპროდუცირებადი

2024 ავტორი: Seth Attwood | [email protected]. ბოლოს შეცვლილი: 2023-12-16 16:09

შემთხვევით, ახალი ამბებისა და ინფორმაციის ნაკადში, წავაწყდი სტატიას Nature Scientific Reports-ში. მასში წარმოდგენილია 1500 მეცნიერის გამოკითხვის მონაცემები სამეცნიერო კვლევის შედეგების გამეორებადობის შესახებ. თუ ადრე ეს პრობლემა წამოჭრილი იყო ბიოლოგიურ და სამედიცინო კვლევებზე, სადაც, ერთი მხრივ, ახსნილია (ცრუ კორელაციები, შესწავლილი სისტემების ზოგადი სირთულე, ზოგჯერ სამეცნიერო პროგრამული უზრუნველყოფის ბრალდებაც კი), მეორე მხრივ, მას აქვს ფენომენოლოგიური. ხასიათი (მაგალითად, თაგვები განსხვავებულად იქცევიან სხვადასხვა სქესის მეცნიერებთან (1 და 2)).

თუმცა, ყველაფერი არ არის გლუვი და თან მეტი საბუნებისმეტყველო მეცნიერებები, როგორიცაა ფიზიკა და ინჟინერია, ქიმია, ეკოლოგია. როგორც ჩანს, სწორედ ეს დისციპლინები დაფუძნებულია "აბსოლუტურად" გამეორებად ექსპერიმენტებზე, რომლებიც ჩატარდა ყველაზე კონტროლირებად პირობებში, სამწუხაროდ, საოცარი - სიტყვის მთელი გაგებით - გამოკითხვის შედეგი: 70%-მდე მკვლევარები შეხვდნენ არარეპროდუცირებადი ექსპერიმენტები და შედეგები მიღებული არა მხოლოდ მეცნიერთა სხვა ჯგუფების მიერ, მაგრამ და გამოქვეყნებული სამეცნიერო ნაშრომების ავტორების/თანაავტორების მიერ!

ყველა ქვიშა აქებს თავის ჭაობს?

მიუხედავად იმისა, რომ რესპონდენტთა 52% მიუთითებს მეცნიერებაში განმეორებადობის კრიზისზე, 31%-ზე ნაკლები მიიჩნევს გამოქვეყნებულ მონაცემებს ფუნდამენტურად არასწორად და უმრავლესობამ აღნიშნა, რომ კვლავ ენდობა გამოქვეყნებულ ნაშრომს.

რა თქმა უნდა, მხოლოდ ამ გამოკითხვის საფუძველზე არ უნდა გატეხოთ მთელი მეცნიერება, როგორც ასეთი: გამოკითხულთა ნახევარი მაინც მეცნიერი იყო, ამა თუ იმ გზით, ბიოლოგიურ დისციპლინებთან ასოცირებული. როგორც ავტორები აღნიშნავენ, ფიზიკასა და ქიმიაში რეპროდუცირებადობის და მიღებულ შედეგებში ნდობის დონე გაცილებით მაღალია (იხ. გრაფიკი ქვემოთ), მაგრამ მაინც არა 100%. მაგრამ მედიცინაში ყველაფერი ძალიან ცუდია დანარჩენებთან შედარებით.

მახსენდება ხუმრობა:

მარკუს მუნაფოს, ინგლისის ბრისტოლის უნივერსიტეტის ბიოლოგიურ ფსიქოლოგს, დიდი ხნის ინტერესი აქვს მეცნიერული მონაცემების გამეორებით. სტუდენტობის დღეებს იხსენებს, ამბობს:

ერთხელ ვცადე ლიტერატურიდან ექსპერიმენტის გამეორება, რომელიც მარტივი მომეჩვენა, მაგრამ ეს ვერ მოვახერხე. ნდობის კრიზისი მქონდა, მაგრამ შემდეგ მივხვდი, რომ ჩემი გამოცდილება არც თუ ისე იშვიათი იყო.

გრძედი და გრძედი სიღრმის პრობლემა

წარმოიდგინე, რომ მეცნიერი ხარ. თქვენ წააწყდებით საინტერესო სტატიას, მაგრამ შედეგების/ექსპერიმენტების ლაბორატორიაში რეპროდუცირება შეუძლებელია. ლოგიკურია ამის შესახებ დაწეროთ ორიგინალური სტატიის ავტორებს, ჰკითხოთ რჩევა და დაუსვათ დამაზუსტებელი კითხვები. გამოკითხვის მიხედვით, 20%-ზე ნაკლები ეს ოდესმე გააკეთეს თავიანთ სამეცნიერო კარიერაში!

კვლევის ავტორები აღნიშნავენ, რომ, შესაძლოა, ასეთი კონტაქტები და საუბრები თავად მეცნიერებისთვისაც ძალიან რთულია, რადგან ისინი ავლენენ მათ არაკომპეტენტურობასა და შეუსაბამობას გარკვეულ საკითხებში ან ამჟღავნებენ მიმდინარე პროექტის ძალიან ბევრ დეტალს.

უფრო მეტიც, მეცნიერთა აბსოლუტური უმცირესობა ცდილობდა გამოექვეყნებინა გამოუთქმელი შედეგების უარყოფა, მაშინ როცა წინააღმდეგობას შეხვდა რედაქტორებისა და რეცენზენტებისგან, რომლებიც მოითხოვა შედარება ორიგინალურ კვლევასთან. გასაკვირი არ არის, რომ მეცნიერული შედეგების არარეპროდუცირებადობის მოხსენების შანსი არის დაახლოებით 50%.

იქნებ ღირდეს მაინც ლაბორატორიის შიგნით განმეორებადობის ტესტის ჩატარება? ყველაზე სამწუხარო ის არის, რომ გამოკითხულთა მესამედი კი არასოდეს და არ უფიქრია რეპროდუცირებისთვის მონაცემების გადამოწმების მეთოდების შექმნაზე. მხოლოდ 40% აღნიშნა, რომ ისინი რეგულარულად იყენებენ ასეთ ტექნიკას.

კიდევ ერთი მაგალითი, ბიოქიმიკოსი გაერთიანებული სამეფოდან, რომელსაც არ სურდა მისი სახელის გამხელა, ამბობს, რომ მისი ლაბორატორიული პროექტისთვის სამუშაოს გამეორების, რეპროდუცირების მცდელობები უბრალოდ აორმაგებს დროსა და მატერიალურ ხარჯებს, სამუშაოს რაიმე ახლის მიცემის ან დამატების გარეშე. დამატებითი შემოწმებები ტარდება მხოლოდ ინოვაციური პროექტებისა და უჩვეულო შედეგებისთვის.

და, რა თქმა უნდა, მარადიული რუსული კითხვები, რომლებმაც დაიწყეს უცხოელი კოლეგების წამება: ვინ არის დამნაშავე და რა უნდა გააკეთოს?

ვინ არის დამნაშავე?

ნაშრომის ავტორებმა გამოავლინეს შედეგების განმეორებადობის სამი ძირითადი პრობლემა:

• უფროსების მხრიდან ზეწოლა, რომ ნაშრომი დროულად გამოქვეყნდეს
• შერჩევითი მოხსენება (როგორც ჩანს, ეს გულისხმობს ზოგიერთი მონაცემის ჩახშობას, რომელიც „აფუჭებს“მთელ სურათს)
• მონაცემთა არასაკმარისი ანალიზი (მათ შორის სტატისტიკური)

Რა უნდა ვქნა?

1500 გამოკითხულიდან 1000-ზე მეტმა სპეციალისტმა ისაუბრა მონაცემების შეგროვებისა და დამუშავების სტატისტიკის გაუმჯობესების, უფროსების ზედამხედველობის ხარისხის გაუმჯობესებისა და ექსპერიმენტების უფრო მკაცრი დაგეგმვის სასარგებლოდ.

დასკვნა და პირადი გამოცდილება

ჯერ ერთი, ჩემთვისაც კი, როგორც მეცნიერისთვის, შედეგები განსაცვიფრებელია, თუმცა მე შეჩვეული ვარ შედეგების გარკვეულწილად გამოუსწორებლობას. ეს განსაკუთრებით შესამჩნევია ჩინელებისა და ინდიელების მიერ მესამე მხარის „აუდიტის“გარეშე შესრულებულ სამუშაოებში ამერიკელი/ევროპელი პროფესორების სახით. კარგია, რომ პრობლემა ამოიცნეს და დაფიქრდნენ მის გადაწყვეტაზე. ტაქტიანად გავჩუმდები რუსული მეცნიერების შესახებ, ბოლო სკანდალთან დაკავშირებით, თუმცა ბევრი პატიოსნად აკეთებს თავის საქმეს.

მეორეც, სტატიაში იგნორირებულია (უფრო სწორად, არ არის განხილული) სამეცნიერო მეტრიკისა და რეცენზირებული სამეცნიერო ჟურნალების როლი კვლევის შედეგების განუმეორებლობის პრობლემის გაჩენასა და განვითარებაში. პუბლიკაციების სიჩქარისა და სიხშირის (წაკითხვა, ციტირების ინდექსების გაზრდა) კვალდაკვალ, ხარისხი მკვეთრად ეცემა და შედეგების დამატებითი გადამოწმების დრო არ რჩება.

როგორც ამბობენ, ყველა პერსონაჟი გამოგონილია, მაგრამ რეალურ მოვლენებზე დაფუძნებული. რატომღაც ერთ სტუდენტს ჰქონდა სტატიის განხილვის საშუალება, რადგან ყველა პროფესორს არ აქვს დრო და ენერგია სტატიების გააზრებულად წასაკითხად, ამიტომ გროვდება 2-3-4 სტუდენტის და ექიმის აზრი, საიდანაც ყალიბდება მიმოხილვა. დაიწერა მიმოხილვა, სადაც მითითებულია შედეგების გამოუსწორებლობა სტატიაში აღწერილი მეთოდის მიხედვით. ეს აშკარად აჩვენა პროფესორს. მაგრამ იმისათვის, რომ არ გააფუჭოს ურთიერთობა "კოლეგებთან" - ბოლოს და ბოლოს, ყველაფერში წარმატებას მიაღწევენ - მიმოხილვა "გამოსწორდა". და გამოქვეყნებულია 2-3 ასეთი სტატია.

გამოდის მოჯადოებული წრე. მეცნიერი სტატიას უგზავნის ჟურნალის რედაქტორს, სადაც მიუთითებს” სასურველი"და ძირითადად" არასასურველი »რეცენზენტები, ანუ რეალურად ტოვებენ მხოლოდ მათ, ვინც პოზიტიურად არის განწყობილი ავტორთა გუნდის მიმართ. ისინი განიხილავენ ნამუშევრებს, მაგრამ არ შეუძლიათ „კომენტარებში ჭორაობა“და ცდილობენ აირჩიონ ორი ბოროტებიდან ნაკლები - აქ არის კითხვების სია, რომლებზეც პასუხის გაცემაა საჭირო, შემდეგ კი ჩვენ გამოვაქვეყნებთ სტატიას.

კიდევ ერთი მაგალითი, რომელზეც Nature-ის რედაქტორმა სულ რაღაც ერთი თვის წინ ისაუბრა, არის Grazel-ის მზის პანელები. სამეცნიერო საზოგადოებაში ამ თემისადმი უზარმაზარი ინტერესის გამო (ბოლოს და ბოლოს, მათ ჯერ კიდევ სურთ სტატია Nature-ში!), რედაქტორებს უნდა შეექმნათ სპეციალური კითხვარი, რომელშიც მათ უნდა მიუთითონ ბევრი პარამეტრი, უზრუნველყონ აღჭურვილობის კალიბრაცია, სერთიფიკატები. და ა.შ. იმის დასადასტურებლად, რომ პანელების ეფექტურობის გაზომვის მეთოდი შეესაბამება ზოგიერთ ზოგად პრინციპებსა და სტანდარტებს.

და, მესამე როდესაც კიდევ ერთხელ გესმით სასწაული ვაქცინის შესახებ, რომელიც იპყრობს ყველაფერს და ყველას, ახალი ამბავი ჯობსის კალთაში, ახალ ბატარეებზე ან გმო-ს საშიშროებაზე/სარგებელზე ან სმარტფონების გამოსხივებაზე, განსაკუთრებით თუ მას ჟურნალისტური ყვითელ მწერლებმა გაავრცელეს., მაშინ მოექეცით გაგებით და ნუ გამოიტანთ ნაჩქარევ დასკვნებს. დაელოდეთ მეცნიერთა სხვა ჯგუფების მიერ შედეგების დადასტურებას, მასივის და მონაცემთა ნიმუშების დაგროვებას.

PS: სტატია ითარგმნა და დაიწერა ნაჩქარევად, ყველა შეცდომის და უზუსტობის შესახებ, გთხოვთ, დაწეროთ LAN-ში.