Model Phi-2 Microsoft diubah ke lisensi MIT

 (huggingface.co)
2 poin oleh GN⁺ 2024-01-08 | 1 komentar | Bagikan ke WhatsApp
  • Pada commit 7e10f3e di repositori Hugging Face untuk Phi-2, tiga file LICENSE, NOTICE.md, dan README.md berubah sehingga penandaan lisensi beralih ke MIT
  • LICENSE baru diganti dengan teks lengkap MIT License, yang secara luas mengizinkan penggunaan, penyalinan, modifikasi, distribusi, pelisensian ulang, dan penjualan
  • Berbagai ketentuan dalam Microsoft Research License sebelumnya dihapus, termasuk larangan reverse engineering, pembatasan hosting mandiri, pemrosesan data pribadi, arbitrase, dan pembatasan ganti rugi
  • Metadata README menggunakan license: mit alih-alih license_name: microsoft-research-license, sementara tautan LICENSE lama tetap dipertahankan
  • NOTICE.md baru memberi tahu flash-attention sebagai komponen pihak ketiga, serta memuat lisensi BSD 3-Clause dan frasa yang mengizinkan reverse engineering terbatas untuk tujuan debugging perubahan pada pustaka LGPL

File yang berubah dalam commit

  • Commit pada repositori microsoft/phi-2 di Hugging Face ditampilkan sebagai “Upload 3 files”, dan file yang diubah adalah LICENSE, NOTICE.md, dan README.md
  • Di Browse files, Anda dapat melihat daftar file pada keadaan commit tersebut

LICENSE: diganti dari Microsoft Research License ke MIT License

  • File LICENSE diubah dengan menghapus teks lisensi lama dan menggantinya dengan teks lengkap MIT License
  • LICENSE baru memuat MIT License setelah frasa PhyAGI. dan Copyright (c) Microsoft Corporation.
  • MIT License secara gratis mengizinkan hak-hak berikut kepada siapa pun yang memperoleh perangkat lunak dan file dokumentasi terkait
    • penggunaan, penyalinan, modifikasi, penggabungan
    • publikasi, distribusi, pelisensian ulang
    • penjualan salinan perangkat lunak
    • pemberian hak yang sama kepada pihak yang menerima perangkat lunak
  • Syaratnya adalah pemberitahuan hak cipta dan pemberitahuan izin harus disertakan dalam semua salinan atau bagian substansial dari perangkat lunak
  • Penafian jaminan disertakan dalam bentuk AS IS, dan tidak memberikan jaminan tersurat maupun tersirat, termasuk kelayakan jual, kesesuaian untuk tujuan tertentu, dan non-pelanggaran
  • Pemegang hak cipta dan pemegang hak tidak menanggung klaim, kerugian, atau tanggung jawab yang timbul dari penggunaan perangkat lunak atau transaksi lainnya

Ketentuan pembatasan lama yang dihapus

  • Sejumlah pembatasan dan ketentuan hukum pada LICENSE sebelumnya dihapus
  • Ketentuan yang dihapus mencakup hal-hal berikut
    • larangan reverse engineering, dekompilasi, dan disassembly atas materi
    • larangan menghapus, mengurangi, memblokir, atau mengubah pemberitahuan dari Microsoft atau pemasok
    • larangan penggunaan dengan cara yang melanggar hukum atau untuk membuat dan menyebarkan malware
    • larangan berbagi, memublikasikan, mendistribusikan, menyewakan materi, menyediakan solusi hosting mandiri, dan mentransfer ke pihak ketiga
  • Pembatasan terkait privasi juga dihapus
    • data yang dapat mengidentifikasi individu tidak boleh digunakan selain untuk tujuan yang telah disetujui atau diberi persetujuan
    • tidak boleh digunakan untuk menghubungi individu
    • data pribadi beserta cadangan dan salinannya harus dimusnahkan segera setelah penelitian selesai
  • Ketentuan yang menyatakan bahwa pemberian modifikasi kepada Microsoft berarti memberikan lisensi yang luas kepada Microsoft juga dihapus
  • Selain itu, ketentuan tentang publikasi, umpan balik, pembatasan ekspor, layanan dukungan, arbitrase di AS dan pengabaian gugatan kelompok, hukum yang berlaku, hak konsumen, penafian jaminan, serta pembatasan ganti rugi juga dihapus

Perubahan metadata README

  • Penandaan lisensi pada frontmatter README.md berubah
  • Item yang dihapus adalah sebagai berikut
    • license:
    • license_name: microsoft-research-license
  • Item baru adalah license: mit
  • license_link: https://huggingface.co/microsoft/phi-2/resolve/main/LICENSE tetap dipertahankan
  • Item inference: false dan language: - en tetap dipertahankan dalam diff yang ditampilkan

NOTICE.md dan pemberitahuan komponen pihak ketiga

  • File NOTICE.md yang baru dimulai dengan frasa “NOTICES AND INFORMATION” dan “Do Not Translate or Localize”
  • Microsoft menyatakan bahwa perangkat lunak ini memuat materi pihak ketiga
  • Sebagian kode open source Microsoft tersedia di https://3rdpartysource.microsoft.com, atau dapat diminta dengan mengirim cek atau wesel pos sebesar US $5.00 disertai nama produk, nama komponen open source, platform, dan nomor versi
  • Terlepas dari ketentuan lain, perangkat lunak ini dapat di-reverse engineer sejauh yang diperlukan untuk melakukan debugging atas perubahan pada pustaka yang dilisensikan di bawah GNU Lesser General Public License
  • Komponen yang disertakan mencakup flash-attention
  • Pemberitahuan flash-attention memuat BSD 3-Clause License
    • saat mendistribusikan ulang source, pemberitahuan hak cipta, daftar syarat, dan penafian harus dipertahankan
    • saat mendistribusikan ulang dalam bentuk biner, pemberitahuan, syarat, dan penafian yang sama harus disertakan dalam dokumentasi atau materi lainnya
    • tanpa izin tertulis sebelumnya, nama pemegang hak cipta atau kontributor tidak boleh digunakan untuk mempromosikan produk turunan
  • Pemberitahuan BSD 3-Clause menyatakan bahwa perangkat lunak tersebut juga disediakan “AS IS” dan tidak bertanggung jawab atas kerugian langsung, tidak langsung, insidental, khusus, menghukum, maupun konsekuensial

Bacaan terkait

1 komentar

 
GN⁺ 2024-01-08
Pendapat Hacker News

  • Sangat menggembirakan melihat model terbuka seperti ini bermunculan
    Yang menarik, para “ahli etika” AI tampaknya ingin bertindak seperti kasta imam tinggi yang mengendalikan akses ke model machine learning atas nama keselamatan. Namun menurut saya, risiko terbesar AI justru ada pada orang-orang yang mengendalikan model tersebut, karena mereka bisa mengontrol dan menyensor apa yang boleh ditulis orang dengan model itu
    Saya percaya model open source di tangan publik adalah pertahanan terbaik terhadap risiko AI yang sebenarnya, dan saya mengapresiasi Facebook, Microsoft, dan Mistral yang mendorong hal ini

    • Melihat para “ahli etika” AI seperti itu adalah penafsiran yang terlalu berniat buruk
      Sebaiknya baca argumen sebenarnya, bukan ringkasan media sosial. Diskusinya jauh lebih mendalam daripada yang mungkin Anda kira, mencakup secara luas risiko-risiko yang dikhawatirkan, dan ada juga solusi-solusi yang diusulkan. Solusi-solusi itu lebih mungkin benar-benar berhasil daripada klaim bahwa ini adalah “pertahanan terbaik”
    • Menurut saya, menggambarkan “semua” ahli etika AI sebagai kasta imam yang ingin menghalangi akses ke model itu merugikan
      Banyak juga orang yang sama-sama menganggap penting demokratisasi alat-alat seperti ini dan penggunaannya yang aman serta etis
    • Menurut saya sekarang nasi sudah menjadi bubur
      Berharap orang-orang yang berniat buruk akan mematuhi teks lisensi sejak awal memang bukan alat kontrol yang bagus. Itu hanya menghambat kemajuan dan inovasi orang-orang yang cukup beritikad baik untuk menaati hukum, sementara pihak-pihak dengan niat lain di tempat seperti Rusia, Korea Utara, dan Tiongkok, serta organisasi kriminal dan penipu, tidak akan terikat oleh gagasan semacam itu
      Komunitas yang bekerja di bawah lisensi open source yang benar terus membesar, dan hal-hal menarik terjadi semakin cepat. Lisensi alternatif kurang efektif, memutus hubungan dengan komunitas itu, membuat kolaborasi lebih rumit, dan makin lama menjadi kelompok minoritas dalam riset secara keseluruhan. Karena itu lisensi semacam itu makin tidak bermakna
      Jika hal ini diperbaiki, dari sudut pandang hukum kondisinya menjadi sederhana dan standar, sehingga komersialisasi, kolaborasi, dan riset menjadi lebih mudah. Microsoft tampaknya secara rasional mengakui ada nilai di sana dan sedang menyesuaikan diri dengan kenyataan
    • Siapa yang bisa menjamin bahwa tujuan tersembunyi sebenarnya dari investasi AI yang gila-gilaan ini bukan untuk membangun infrastruktur sensor berskala besar
    • Di mana pun nilai terkumpul, akan muncul industri benalu yang meletakkan kaki di pedal rem jika Anda tidak membayar pajak kepada pasukan orang-orang yang tidak berkontribusi

  • Sebelumnya lisensinya nonkomersial, jadi antusiasmenya sedikit mereda
    Mengingat performa dan ukurannya, perubahan ke lisensi yang ramah komersial ini adalah peristiwa yang cukup besar

  • Yang penting dari model ini adalah kemampuan penalarannya yang bagus
    Namun model ini sengaja tidak dilatih dengan dataset crawl web berskala besar agar tidak belajar cara membuat bom dan sebagainya, atau melakukan “hal buruk”
    Jadi dibandingkan model dengan kelas ukuran yang sama, atau bahkan model dengan parameter lebih besar, ini adalah model yang “berpikir paling cerdas”, tetapi pengetahuan dunia dan pengetahuan umumnya relatif kurang
    Ini mungkin berubah ke depan, tetapi menurut saya seperti itulah kondisinya saat ini

    • Meski begitu, ini sangat bagus untuk aplikasi RAG
      Karena saya ingin jawabannya didasarkan pada data yang saya berikan, bukan pada hal-hal yang dipelajarinya dari web
    • Jika model bahasa besar dilihat sebagai dua atribut—kemampuan menggunakan bahasa alami dan pengetahuan untuk menjawab pertanyaan—maka model bahasa kecil dapat dipandang sebagai model yang sangat unggul dalam pemrosesan bahasa alami
      Banyak tugas tidak membutuhkan pengetahuan umum, dan khususnya dalam RAG keunggulan ini besar
    • Saya berharap fokus model tidak berada pada penyematan data di dalamnya
      Data lebih baik disediakan melalui pencarian, dan hasilnya jawaban yang “terlihat masuk akal dan cerdas, tetapi sepenuhnya salah” akan berkurang
      Jika data bawaan lebih sedikit, model juga bisa dipakai lebih umum di luar ranah asisten chat. Karena sering kali kita ingin model hanya mengetahui data yang diberikan pengguna
      Misalnya dalam game fantasi abad pertengahan, akan sangat aneh jika karakter tiba-tiba mulai membicarakan politik Amerika. Phi-2 pun tidak akan sepenuhnya menyelesaikan ini tanpa fine-tuning, tetapi intinya mengarah ke sana
    • Menurut saya, tidak dilatih dengan data crawl web adalah upaya Microsoft agar tidak terlalu terang-terangan terlihat mencuri properti dan privasi lalu memonetisasinya

  • Saya lebih penasaran dengan dataset daripada modelnya

  • Ini perubahan yang bagus, dan juga menunjukkan mengapa proyek open source independen itu penting
    Sulit dipercaya bahwa rilis TinyLlama dengan lisensi Apache 2.0 tidak memengaruhi perubahan ini

    • Apa dasar Anda mengatakan rilis TinyLlama berpengaruh?

  • Ini tampak seperti sinyal bahwa Phi-3 dan model generasi berikutnya akan membuat Phi-2 menjadi usang

  • Model ini cukup lama berada di peringkat atas; apa yang membuatnya begitu bagus?

    • Performa model ini sangat bagus dibandingkan ukuran model dan biaya inferensi-nya
      Ini adalah model terbaik yang bisa dijalankan di perangkat sekecil ponsel sambil memberikan performa mendekati GPT-3.5
      Arsitektur dan data pelatihannya juga menarik. Karena ini model sparse yang memakai data sintetis terkurasi, akurasinya jauh lebih tinggi daripada model yang dilatih dengan teks internet acak