|
|
|
|
Đã có khá nhiều tạp chí chuyên ngành để đăng tải các công trình
nghiên cứu khoa học, trong đó nhiều tạp chí có thể được truy cập tự do.
Ảnh bu.edu |
(TBKTSG Online) - Nhân vụ kiện liên quan đến một tạp chí khoa học
chuyên ngành hẹp gần đây, chúng ta cần xem xét kỹ hơn về nguyên nhân sâu
xa của sự kiện: đó là tiêu chí thẩm định chất lượng nghiên cứu khoa học
trong giới hàn lâm của chúng ta hiện nay đã và đang có khả năng dẫn đến
các động lực ngược (tạm dịch từ “perverse incentive” của Kinh tế học), làm cho đầu tư công vào nghiên cứu khoa học kém hiệu quả.
Trong bài này chúng tôi điểm qua cách mà các nước tiên tiến thẩm định
kết quả nghiên cứu khoa học, cách nước ta đang dùng, và cuối cùng đưa ra
một vài đề xuất để thay đổi tiêu chí đánh giá chất lượng nghiên cứu.
Những tiêu chí tốt sẽ tạo “động lực thuận" thúc đẩy chất lượng nghiên
cứu khoa học nước nhà, ảnh hưởng trực tiếp đến hiệu suất đầu tư công vào
nghiên cứu khoa học ở Việt Nam.
Tiêu chí đánh giá nghiên cứu khoa học ở các nước tiên tiến
Bất kể là đánh giá từng bài báo khoa học cụ thể, đánh giá các dự thảo
xin kinh phí tài trợ, hay đánh giá thăng tiến sự nghiệp của các cán bộ
khoa học, thì quy trình có thể nói là duy nhất hiện nay ở các nước tiên
tiến là dùng mô hình bình duyệt bằng chuyên gia (peer-review).
Ví dụ, để đánh giá dự án xin tài trợ của Quỹ Khoa học Quốc gia Mỹ (NSF), các dự án được bình duyệt bởi các panels, mỗi panel
có hơn một chục chuyên gia do người quản lý chương trình của NSF mời.
Có những chương trình tài trợ cần đến vài vòng thẩm định như chương
trình Expeditions của NSF. Để thẩm định kết quả nghiên cứu, các chủ
nhiệm đề tài phải viết báo cáo hàng tháng, quý, hoặc năm tùy theo quỹ.
Trong một số chương trình tài trợ, ví dụ như của DARPA - quỹ tài trợ của Bộ Quốc phòng Mỹ - còn có khái niệm dùng “Đội Đỏ" (red-teaming),
một mô hình thú vị có nguồn gốc từ cách huấn luyện quân sự của Mỹ. Đội
Đỏ là một nhóm các chuyên gia hàng đầu mà trách nhiệm duy nhất là tìm
mọi cách thực tiễn để “chọc phá" công trình nghiên cứu. Ví dụ như công
trình nghiên cứu về bảo mật thì Đội Đỏ có thể là một đội hackers tầm cỡ.
Khi đánh giá thăng cấp giáo sư, ở tất cả các trường đại học tiên tiến
thì tiêu chuẩn quan trọng nhất là các lá thư giới thiệu của các chuyên
gia hàng đầu thế giới về cùng chuyên ngành của người được xét tuyển.
Ví dụ, ở Mỹ, mỗi hồ sơ thăng cấp giáo sư thường cần 8-10 thư giới thiệu
từ các chuyên gia của các trường khác - và những người viết thư giới
thiệu không phải do ứng viên tự chọn. Sau đó, sẽ có một cuộc “bầu cử"
bên trong khoa mà tất cả các lá phiếu đều là từ các giáo sư trong khoa,
sau khi thảo luận về chuyên môn của ứng viên. Ngoài ra, người ta cũng
không chọn những “người quen" của ứng viên để tránh mâu thuẫn quyền lợi.
Có hai lý do mà người ta dùng đánh giá của chuyên gia, thay vì chỉ dùng
một vài chỉ số thô nào đó, là (1) chất lượng của một sự nghiệp hay công
trình khoa học rất khó đo bằng một con số, và (2) dùng một số đo thô sẽ
dễ gây ra “động lực ngược" (perverse incentive), tạo ra một sự lãng phí lớn về nhân vật lực.
Sau đây chúng tôi sẽ giải thích các hệ lụy đến từ động lực ngược, nhưng
trước khi nói đến động lực ngược, chúng tôi sẽ điểm qua một trong những
loại chỉ số thô đang phổ biến ở nước ta “chỉ số ISI".
ISI và nhìn nhận về nó từ cộng đồng khoa học thế giới
Được thành lập từ năm 1960, Viện Thông tin khoa học (ISI) ngày nay là
một công ty con của Thompson Reuters Corporation. Công ty này cung cấp
dịch vụ tra cứu thông tin khoa học. Ý tưởng cung cấp dịch vụ tra cứu
thông tin khoa học không phải là ý tưởng mới do ISI đưa ra.
Chẳng hạn trong toán học, nó đã được thực hiện từ năm 1931 bởi tạp chí
mang tên ZentralBlatt MATH của Đức. Hiện nay trong toán học còn có hai
tạp chí bình luận khoa học khác nữa là Mathematical Review của Mỹ (xuất
bản từ năm 1940) và Review Journal của Nga (xuất bản từ năm 1952).
ISI không cung cấp các thông tin khoa học của từng bài báo, như các tạp
chí bình luận toán học nêu ở trên, mà chỉ tập trung vào các thông tin
thư viện: tên tác giả, bài báo, tạp chí, năm xuất bản,... và đặc biệt là
các thông tin về trích dẫn. Xử lý một cách tốt nhất các thông tin về
trích dẫn là điểm nổi bật của ISI, vì quan điểm cơ bản của ISI là: chất
lượng của một công trình khoa học được thể hiện thông qua số trích dẫn
tới công trình khoa học đó.
Vì không có thông tin khoa học, ISI gần như vô nghĩa đối với các nhà khoa học. Chúng tôi đã tham gia rất nhiều các panels
của các quỹ tài trợ khoa học Mỹ, các ban xét thăng cấp giáo sư, đọc rất
nhiều thư giới thiệu thăng cấp giáo sư, bình duyệt đề tài, và nói chung
là hầu như tất cả các khía cạnh liên quan đến đánh giá chất lượng
nghiên cứu khoa học ngành máy tính và ngành toán. Chưa bao giờ có chữ
ISI trong bất kỳ khía cạnh nào.
Thế nhưng, ISI vẫn có một “thị trường" nhất định trên thế giới, chính
là vì họ đã đáp ứng được yêu cầu của các nhà quản lý khoa học, đặc biệt ở
các nước đang phát triển - những người này một mặt không có hiểu biết
khoa học, mặt khác, vì nhiều lý do, họ không có niềm tin vào đội ngũ
khoa học mà họ đang quản lý. Đó là việc đưa ra đánh giá tổng quan một
công trình khoa học, một tạp chí khoa học hay một nhà khoa học chỉ bằng
một con số.
Chỉ số trích dẫn ISI đối với một tạp chí được tính theo năm. Chẳng hạn
đối với năm 2013 nó là tỷ số của số các trích dẫn tới tạp chí đó trong
hai năm 2011, 2012 trên số các công bố của tạp chí trong năm 2013. Tất
cả được tính theo cơ sở dữ liệu của ISI - các trích dẫn từ tạp chí nằm
ngoài cơ sở dữ liệu sẽ không được tính. Trên bề mặt thì việc sử dụng chỉ
số trích dẫn để đánh giá nghiên cứu khoa học thể hiện rất nhiều ưu
điểm: mình bạch, đơn giản, hiệu quả. Tuy nhiên không khó để có thể thấy
những vấn đề của chỉ số này: 1) liệu một công trình (tác giả) nhận được
nhiều trích dẫn có chắc là một công trình (tác giả) tốt không? 2) liệu
bản thân các trích dẫn có bị ngụy tạo không?
Có lẽ các nhà toán học, trong đó có cả các nhà thống kê học, là những
người dị ứng đầu tiên với "chỉ số trích dẫn ISI”. Liên đoàn Toán học thế
giới (IMU), cơ quan có uy tín nhất của cộng đồng toán học thế giới [2],
đã lập ra một ủy ban điều tra về sự lạm dụng chỉ số trích dẫn. Năm
2008, ủy ban này đã đưa ra một báo cáo dài 26 trang [3], chỉ trích nặng
nề chỉ số trích dẫn.
Những kết quả chính mà họ rút ra không nằm ngoài suy nghĩ chung của
cộng đồng toán học: Chỉ số trích dẫn là một chỉ số cần thiết để góp phần
đánh giá một công trình khoa học, một tạp chí hay một nhà khoa học.
Nhưng sẽ rất nguy hiểm nếu chỉ sử dụng duy nhất chỉ số này để đánh giá,
vì nó, như tất cả các chỉ số thống kê khác, không thể đưa ra được đánh
giá chính xác cho một cá thể. Ngoài ra sự chính xác cũng như khách quan
của nó cũng không được kiểm chứng.
Từ một phía khác, năm 2012 các nhà sinh học tế bào Hoa Kỳ đưa ra Tuyên
bố San Francisco về đánh giá nghiên cứu (DORA [4]). Tuyên bố này được ký
bởi 155 nhà khoa học và 82 tạp chí và cơ quan nghiên cứu. Tuyên bố DORA
cho rằng: Chỉ số trích dẫn của Thomson Reuter vốn được xây dựng để giúp
thủ thư quyết định việc mua tạp chí, chứ không phải như là một thước đo
chất lượng nghiên cứu trong một bài báo và kêu gọi: không sử dụng các
chỉ số đo dựa trên tạp chí, kiểu chỉ số trích dẫn, như một sự thay thế
trong việc đo chất lượng của một tạp chí khoa học, để đánh giá đóng góp
của một nhà khoa học, hoặc trong các hoạt động tuyển chọn, thăng cấp cán
bộ hay tài trợ nghiên cứu. Tới nay đã có hơn 11 ngàn cá nhân và gần 500
đơn vị ký tuyên bố DORA.
Thực trạng đánh giá khoa học Việt Nam
Khoa học Việt Nam, kể cả trong những ngành phát triển tương đối cao hơn
như toán học hay vật lý vẫn đang ở tình trạng manh mún. Đa số các nhà
khoa học xuất sắc của Việt Nam vốn được đào tạo từ các cơ sở nghiên cứu
mạnh ở nước ngoài.
Khi về Việt Nam họ không có đủ điều kiện để tập hợp thành các nhóm
nghiên cứu, chưa nói tới các trường phái nghiên cứu. Các nghiên cứu khoa
học trong nước vì thế thường rời rạc, các nhà khoa học trong cùng một
lĩnh vực thường không đánh giá được các nghiên cứu của nhau.
Vì vậy, trong một thời gian dài, việc đánh giá khoa học thường mang
nặng cảm tính. Hậu quả là có một số nhà khoa học mặc nhiên được coi là
giỏi, trở thành những "cây đa, đây đề" trong cộng đồng.
Với sự ra đời của Quỹ Phát triển Khoa học và Công nghệ Quốc gia
(Nafosted) và việc sử dụng "tiêu chí ISI", công tác quản lý khoa học tại
Việt Nam đã có chuyển biến cơ bản. Nhìn chung, yêu cầu một nhà khoa học
muốn được tài trợ phải có các công bố trên những tạp chí thuộc cơ sở dữ
liệu của Thomson Reuter (thường gọi là các "công bố ISI") đã tạo một
sức ép mới tới giới khoa học. Đây cũng là cơ hội để các nhà khoa học trẻ
khẳng định mình: chỉ cần có công bố tốt, họ sẽ được tài trợ. Việc xét
duyệt của Quỹ tỏ ra khá minh bạch.
Tiêu chí ISI cũng bắt đầu được sử dụng trong việc xét chức danh GS,
PGS, ít nhất là ở trong các ngành khoa học tự nhiên. Các công bố ISI
được tính hệ số cao hơn, các ứng viên có nhiều công bố ISI được đánh giá
cao hơn. Ngược lại, những ứng viên có rất nhiều công bố nhưng trong số
đó lại chỉ có một tỷ lệ thấp các công bố ISI sẽ khó có thể được các hội
đồng chức danh xét đạt chuẩn giáo sư. Ở tầm thấp hơn, người ta cũng
khuyến khích nghiên cứu sinh có các công bố ISI.
Tuy nhiên cũng có một thực tế đáng buồn là chưa có một tạp chí khoa học
nào của Việt Nam nằm trong cơ sở dữ liệu của Thomson Reuter (thường gọi
là danh sách tạp chí ISI). Hệ quả là các công bố ISI của Việt Nam đều
là các công bố trên tạp chí quốc tế. Các tạp chí Việt Nam ngày nay không
thu hút được bất kỳ công bố có giá trị nào từ các nhà khoa học trong
nước, và chúng vốn đã yếu, nay lại càng rỗng ruột.
Các hệ lụy tiêu cực của cách đánh giá bằng chỉ số thô
Tiêu chí ISI có các điểm tích cực của nó. Chúng ta không thể phủ nhận
rằng dùng một chỉ số -- cho dù thô như ISI -- thì vẫn tốt chán so với
không dùng chỉ số nào. Ít nhất là nó tránh được tình trạng người ta
“đánh lận con đen" giữa các “tạp chí quốc tế" với nhau. Tuy nhiên, bây
giờ người ta có thể “đánh lận con đên" giữa các tạp chí ISI với nhau, vì
các tạp chí hay hội nghị chuyên ngành trong danh sách ISI không được
sinh ra bình đẳng.
Một trong những động lực ngược nhãn tiền là người ta đã và đang cố gắng
tạo ra các "tạp chí ISI" mới để đăng bài của nhau, và trích dẫn lẫn
nhau để tăng "chỉ số ảnh hưởng". Đây là một sự lũng đoạn trong khoa học,
và điều này xảy ra thường xuyên ở Trung Quốc, một số nước Trung Đông,
và cả Ấn Độ. Thế cho nên trên thế giới ngày nay hay có các tạp chí khoa
học với tên gọi kiểu như “Tạp chí châu Á Thái Bình Dương về XYZ", “Tạp
chí Trung Đông về ABC".
Nếu công trình thật sự chất lượng, hãy đăng vào các tạp chí danh tiếng,
đã có truyền thống trong ngành cả 50-100 năm. Tại sao lại đi mở một tạp
chí mới? Hai lý do mở tạp chí mới là: (1) có một nhánh nghiên cứu rất
mới không nằm trong tầm ngắm của các tạp chí cũ, và (2) mở tạp chí mới
để dễ đăng bài hơn, làm một bậc thang cho các nhà nghiên cứu “tập tành"
làm các nghiên cứu ít chiều sâu hơn, không vào được các tạp chí lão làng
vốn có tính cạnh tranh lớn. Lý do (1) hiếm khi là lý do chính đáng, mà
khi nó thật sự là lý do chính đáng thì phải do những chuyên gia tiên
phong về phân ngành mới. Lý do thứ (2) cũng không ổn: đã tồn tại vô số
các tạp chí hạng hai có thể dùng để “tập tành nghiên cứu". Không cần
phải mở một tạp chí mới, trừ phi mình muốn toàn quyền “điều khiển" việc
đăng bài ở tạp chí mới.
Cả về mặt khoa học lẫn hiệu suất đầu tư, nhất là ở những đất nước còn nghèo như nước ta, thì viết ít bài báo đi và tăng chất lượng lên tốt hơn là viết nhiều. Hiện nay người ta xuất bản các bài báo khoa học quá nhiều. Chạy theo động lực đếm số bài báo đã và đang làm cho người ta tìm cách đăng các “đơn vị đăng được nhỏ nhất (least publishable unit)”,
nghĩa là một công trình khoa học họ bẻ nhỏ ra, đăng thành một chuỗi
bài, mỗi bài từ 2, 3 trang đến 10 trang; thay vì đăng một bài nghiên cứu
đàng hoàng 50-100 trang. Vừa tốn giấy mực, vừa tốn công bình duyệt. Đây
là một sự lãng phí khổng lồ nhân lực của thế giới. Điều này xảy ra trên
toàn thế giới. Ở những nước giàu có như Mỹ thì lãng phí còn có thể
“chịu" được. Ở những nước mà năng suất lao động kém như ở ta mà còn chạy
theo sự lãng phí thô kệch này thì thật là không nên. Mỗi một tiếng đồng
hồ bỏ ra cho một nghiên cứu hạng hai là một tiếng đồng hồ mất đi cho
nghiên cứu hạng nhất.
Bài học của Úc và một đề xuất
Đánh giá chất lượng nghiên cứu khoa học như thế nào cho đúng để tạo ra
các “động lực thuận" cho giới nghiên cứu là một vấn đề quan trọng được
nhiều quốc gia quan tâm.
Ở đây chúng tôi lấy ví dụ nước Úc vì có mấy bài học cơ bản chúng ta có
thể học được ngay. Ở Úc, Ủy ban Nghiên cứu Úc (Australian Research
Council) là một tổ chức độc lập được chính phủ thành lập năm 2001, với
nhiệm vụ tư vấn cho chính phủ về nghiên cứu và phát triển (R&D),
quản trị một chương trình tài trợ nghiên cứu khoa học quốc gia, và thực
hiện một hệ thống đánh giá chất lượng nghiên cứu toàn nước Úc (ERA), để
so sánh chất lượng nghiên cứu khoa học giữa các trường, tổ chức nghiên
cứu của Úc với nhau và với thế giới.
Mục đính chính của chương trình nghiên cứu ERA là để “đảm bảo với dân
là thuế của họ được đầu tư vào nghiên cứu một cách khôn ngoan". ERA cung
cấp dữ liệu đáng tin cậy để các tổ chức và cá nhân có thể đánh giá chất
lượng nghiên cứu của các đại học và tổ chức nghiên cứu ở Úc.
Hai báo cáo gần đây của ERA là báo cáo năm 2010 [5] và báo cáo năm 2012
[6]. Có nhiều bài học ta có thể học được từ hai báo cáo của ERA. Trong
đó, dùng một hệ thống đánh giá mềm dẻo, giàu thông tin, và dùng chuyên
gia là một bài học rất quan trọng. Tất cả các chỉ số đánh giá đều được
tham vấn cẩn thận với các tổ chức chuyên môn, các nhà nghiên cứu hàng
đầu của Úc và thế giới. Sự mềm dẻo trong cách đánh giá thể hiện ở chỗ:
(1) không có một chỉ số duy nhất nào được dùng một cách lười biếng, và
khi có một chỉ số thì (2) các so sánh đều tương đối trong phân ngành
hẹp, thay vì dùng một tiêu chí duy nhất dùng chung cho tất cả các ngành,
(3) rất coi trọng quá trình bình duyệt bằng chuyên gia. Điều đáng lưu ý
là cả hai báo cáo đều hoàn toàn không có “Thomson", hay “ISI" nào trong
đó.
Theo bài học của Úc, chúng tôi có một đề xuất cụ thể như sau: chúng ta
nên tham khảo chương trình ERA của Úc và nghiêm túc đưa ra một hệ thống
đánh giá chất lượng nghiên cứu tạo “động lực thuận" để thúc đẩy chất
lượng NCKH ở Việt Nam, dần dần tiếp cận với tiêu chuẩn ở các nước tiên
tiến, tiến tới loại bỏ từ từ sự “cào bằng" trong đánh giá bằng một chỉ
số thô như hiện nay. Các chương trình NAFOSTED và FIRST đã và đang nhấn
mạnh bình duyệt bằng chuyên gia thế giới, và đây là tín hiệu rất tốt.
Lộ trình tiếp cận với bình diện chung của thế giới có một khó khăn rất
lớn là chúng ta không có đủ chuyên gia để đánh giá. Do đó, song song với
việc mời chuyên gia đánh giá đề tài thì chúng ta cũng có thể bước một
bước xa hơn chỉ số thô ISI. Mỗi một ngành khoa học của Việt Nam cần tự
xây dựng cho mình một danh sách các tạp chí tiêu chuẩn, thay vì dùng
danh sách ISI. Danh sách này cần có những phân loại mịn hơn chứ không
thô như danh sách ISI. Chẳng hạn chúng ta có thể dùng các bộ số đo
“nhuyễn" hơn như xếp hạng dùng trọng số và chỉ số tạp chí eigen (eigen-journal factor).
Ý tưởng này giống như xếp hạng các trang mạng trong thuật toán Pagerank
của Google: các trích dẫn cũng không được sinh ra bình đẳng. Trích dẫn
từ một tạp chí có chỉ số ảnh hưởng cao hơn sẽ “nặng" hơn trong đánh giá
tạp chí; tương tự như một trang mạng được liên kết từ tờ New York Times
thì “độ tin cậy" của trang mạng đó được tăng lên đáng kể. Chứ còn nếu
ta chỉ đáng giá độ tin cậy của một trang mạng bằng tổng số liên kết đến
nó thì -- cũng giống như đếm “tổng số bài ISI" -- sẽ có nhiều các trang
mạng dỏm, được tạo ra chỉ để liên kết đến nhau.
Đã đến lúc chúng ta phải nghiêm túc đánh giá lại chất lượng nghiên cứu
khoa học nước nhà một cách tổng thể và thành thật, tìm ra điểm mạnh điểm
yếu, đầu tư có định hướng để số tiền từ 600--1000 tỉ một năm đầu tư vào
R&D không bị trôi tuột vào các hệ động lực ngược.
Tham khảo
[1] Các địa chỉ mạng là: http://www.zentralblatt-math.org/portal/en/
http://www.ams.org/mathscinet và http://www.viniti.ru/pro_referat.html
[2] Tổ chức trao giải thưởng Fields.
[3] www.mathunion.org/publications/report/citationstatistics0
[4] http://am.ascb.org/dora/
[5] http://www.arc.gov.au/era/era_2010/pdf/ERA_report.pdf
[6] http://www.arc.gov.au/era/era_2012/outcomes_2012.htm
|
|
|
|
0 comments:
Post a Comment