Microsoft mahu membuat Windows menjadi sistem pengendalian AI, melancarkan Copilot+ PC

Microsoft ingin membawa AI generatif ke hadapan Windows — dan PC yang menjalankannya.

Pada dua kunci semasa konferens pembangunannya Build tahunan minggu ini, syarikat tersebut mendedahkan barisan alat Windows baru yang dipanggil Copilot+ PC, termasuk ciri yang dikuasakan oleh generative AI seperti Recall, yang membantu pengguna mencari aplikasi, fail dan kandungan lain yang mereka lihat sebelum ini. Copilot, jenama AI generatif Microsoft, akan segera dipasang lebih dalam ke dalam pengalaman Windows 11. Dan peranti Microsoft Surface baru akan segera tiba.

Kami telah mengumpulkan semua pengumuman penting dari Isnin dan Selasa di sini.

Aplikasi Volumetri

Microsoft menjalankan Aplikasi Volumetri Windows — pada dasarnya aplikasi VR yang sedar tersusun ruang dan interaktif — ke peranti Meta Quest. Melalui kerjasama dengan Meta, Microsoft mengatakan bahawa ia akan menyampaikan Windows 365 dan sambungan PC tempatan ke headset Quest, membolehkan pembangun untuk memperluaskan aplikasi mereka ke ruang 3D.

Kredit Imej: Microsoft

Ketika kunci Selasa, Microsoft memperlihatkan pandangan 3D eksplod digital bagi satu pengawal Xbox dari perspektif headset Meta Quest 3 — objek digital yang pemakainya boleh mengendalikan dengan tangan mereka. "Kami mendalamkan kerjasama kami dengan Meta untuk menjadikan Windows pengalaman kelas pertama di peranti Quest," kata Pavan Davuluri, CVP Windows dan peranti di Microsoft, semasa demo itu.

Pembangun boleh mendaftar untuk pra-tontonan untuk mendapat akses kepada API volemetrik baru Microsoft.

PC Copilot+

Kredit Imej: Microsoft

PC Copilot+ adalah wawasan Microsoft mengenai AI terlebih dahulu, peranti keras Flagship Windows. Semuanya termasuk cip dedikasi yang dipanggil NPU untuk menghidupkan pengalaman AI seperti Recall. Dan mereka menghantar dengan 16GB RAM minimum, dipadankan dengan simpanan SSD.

PC Copilot+ pertama akan memuatkan cip Snapdragon X Elite dan Plus dari Qualcomm, yang Microsoft mendakwa memberikan sehingga 15 jam pelayaran web dan 20 jam bateri video. Pengeluar cip Intel dan AMD juga berjanji untuk membina pemproses bagi peranti Copilot+ dalam kerjasama dengan pelbagai pengeluar, termasuk Acer, Asus, Dell, HP, Lenovo dan Samsung.

PC Copilot+ bermula pada harga $999, dan beberapa boleh dibeli awal hari ini.

Surface Pro dan Laptop Surface

Peranti Surface yang baru diumumkan, Laptop Surface dan Surface Pro, memberi tumpuan kepada prestasi dan bateri.

Kredit Imej: Microsoft

Laptop Surface terkini — boleh didapati dengan skrin 13.8- atau 15-inci — telah direka semula dengan "garisan moden" dan bezel skrin yang lebih nipis. Ia tahan sehingga 22 jam pada caj dan sehingga 86% lebih pantas daripada Surface Laptop 5, kata syarikat itu. Ia juga menyokong Wi-Fi 7 dan mempunyai pad sentuhan maklum balas haptik.

Kredit Imej: Microsoft

Sebagai peranti Surface Pro baharu, Microsoft mengatakan ia sehingga 90% lebih pantas daripada Surface Pro generasi sebelumnya (Surface Pro 9), dan ia mempunyai paparan OLED baru dengan HDR, Wi-Fi 7 (dan pilihan 5G) dan kamera hadapan ultralebar yang dikemas kini. Juga, papan kekunci yang boleh dipisahkan — yang telah diperkuatkan dengan serat karbon tambahan — kini mempunyai maklum balas haptik.

Ingatan Semula

Ciri Recall yang akan datang Windows 11 boleh "mengingati" aplikasi dan kandungan yang diakses pengguna pada PC mereka berminggu-minggu atau malah bulan yang lalu, misalnya membantu mereka mencari chat Discord di mana mereka membincangkan pakaian yang mereka pertimbangkan untuk dibeli. Pengguna boleh menggunakan kronologi Recall untuk "menaiki" semula melihat apa yang mereka kerjakan dalam masa lampau dan menyelami fail seperti persembahan PowerPoint untuk menonjolkan maklumat yang berkaitan dengan carian mereka.

Microsoft mengatakan bahawa Recall boleh mencipta perkaitan antara warna, imej dan lain-lain untuk membenarkan pengguna mencari hampir apa sahaja pada PC mereka dalam bahasa semula jadi (tidak jauh berbeza dengan teknologi startup Rewind); pembangun akan dapat meningkatkan Recall dengan menambah maklumat konteks ke aplikasi mereka. Dan Microsoft mendakwa semua data pengguna yang berkaitan dengan Recall disimpan secara peribadi dan di peranti — dan tidak digunakan untuk melatih model AI, yang penting.

Berikut adalah lebih dari Microsoft: "Gambaran masa lalu anda adalah milik anda; mereka kekal tempatan pada PC anda. Anda boleh memadam snapshot individu, menyesuaikan dan memadam julat masa dalam Tetapan, atau berhenti pada mana-mana titik langsung dari icon di Tray Sistem pada Taskbar anda. Anda juga boleh menyaring aplikasi dan laman web daripada pernah disimpan."

Pengeditan imej dan terjemahan langsung

Sekarang terdapat lebih banyak AI dalam Windows daripada sebelumnya dan sebahagian daripadanya secara eksklusif pada PC Copilot+ yang baru.

Ciri baru yang dipanggil Resolusi Super boleh memulihkan gambar lama dengan membesarkan mereka secara automatik. Dan Copilot kini boleh menganalisis imej untuk memberi pengguna idea untuk komposisi kreatif. Melalui ciri yang dipanggil Cocreator, pengguna boleh menghasilkan imej dan juga meminta model AI mengikuti apa yang mereka lukis untuk menukar atau didandasjarakan imej.

Kredit Gambar: Microsoft

Di tempat lain, Teks Hidup dengan terjemahan langsung menterjemahkan apa sahaja audio yang melalui PC — sama ada dari YouTube atau fail tempatan — ke dalam bahasa pilihan pengguna. Terjemahan langsung secara awal akan menyokong kira-kira 40 bahasa, termasuk Bahasa Inggeris, Sepanyol, Mandarin dan Rusia.

Satu ciri terpisah tetapi berkaitan dalam Microsoft Edge menawarkan terjemahan video secara langsung di laman seperti LinkedIn, YouTube, Coursera, Reuters, CNBC, Bloomberg dan lain-lain. Dijangka akan tersedia dalam masa terdekat, ciri ini — yang menyokong terjemahan Bahasa Sepanyol ke Bahasa Inggeris dan Bahasa Inggeris kepada Jerman, Hindi, Itali, Rusia dan Sepanyol — menterjemahkan kandungan lisan melalui kedua-dubaan dan sari kata secara langsung.

Pasukan Copilot dan sambungan

Pasukan Copilot adalah perluasan terkini dari suite teknologi AI generatif Copilot yang semakin berkembang Microsoft. Ia berasaskan Teams, aplikasi videokonferens syarikat, untuk membantu menguruskan agenda mesyuarat dan membuat catatan yang mana-mana dalam mesyuarat boleh menjadi penulis bersama. Dan ia sambung ke Loop dan Planner, platform kerjasama dan perancangan Microsoft, untuk mencipta dan menetapkan tugas, menjejak tarikh akhir dan memberitahu ahli pasukan apabila masukan mereka diperlukan.

Kredit Gambar: GitHub/Microsoft

Dalam berita Copilot yang berkaitan sedikit, Microsoft telah melancarkan (dalam pra-tinjau privat) Sambungan Copilot, yang membenarkan pembangun memperluaskan alat penghasil kod GitHub Copilot dengan aplikasi dan kemahiran pihak ketiga. Rakan pelancaran termasuk DataStax, Docker dan LambdaTest; sambungan akan berada di Marketplace GitHub, tetapi pembangun juga akan dapat membuat sambungan persendirian mereka sendiri untuk berintegrasi dengan sistem dalaman dan API mereka.

Windows Copilot Runtime

Kredit Gambar: Microsoft

Kuasa kemampuan seperti Recall dan Resolusi Super adalah Windows Copilot Runtime, kumpulan ~40 model AI generatif yang membentuk apa yang digambarkan oleh Microsoft sebagai "lapisan baru" Windows. Bersama dengan indeks semantik, sistem berasaskan vektor tempatan untuk PC Copilot+ individu, Windows Copilot Runtime membenarkan aplikasi yang dipacu oleh generative AI — termasuk aplikasi pihak ketiga — untuk berjalan tanpa perlu sambungan internet.

"[Runtime] terdiri daripada API AI yang siap digunakan seperti Kesan Studio, Teks Hidup terjemahan, OCR, Recall dengan aktiviti pengguna dan [lain-lain], yang akan tersedia kepada pembangun pada Jun," kata Davuluri pada Selasa.

Microsoft mengatakan bahawa CapCut, penyunting video popular daripada pemilik TikTok ByteDance, akan menggunakan Windows Copilot Runtime dan Perpustakaan Windows Copilot baru yang menyertainya, satu set API dan alat AI dev, untuk mempercepat ciri AI-nya. Dan Meta akan menambahkan Kesan Studio yang disebutkan sebelumnya ke WhatsApp untuk memberikan ciri seperti latar belakang kabur dan mata pada panggilan video.

Pencipta Bot yang Dinaiktaraf

Azure AI Studio, rangkaian alat dalam Azure OpenAI Service Microsoft yang membolehkan pelanggan menggabungkan model AI dan membina aplikasi yang "melakukan kajian" terhadap data itu, akan segera membolehkan pembangun mencipta aplikasi menggunakan API inferensi bayar-kerana, yang di mana pembangun boleh mengakses dan menyelaraskan model AI generatif yang dihoskan pada infrastruktur Azure. Microsoft menyebutnya "model sebagai perkhidmatan," dan ia dilancarkan dengan model dari Nixtla dan Core42 untuk mula.

Dalam rangkaian produk Copilot Studio yang berdekatan, Microsoft melancarkan ejen Copilot, yang digambarkan oleh syarikat itu sebagai bot AI yang boleh "mengatur sendiri tugas yang direka khas untuk peranan dan fungsi tertentu." (Copilot Studio menyediakan alat untuk menyambung Copilot untuk Microsoft 365, copilot AI-powered dalam aplikasi seperti Excel dan Word, dengan data pihak ketiga.) Dengan menggunakan ingatan dan pengetahuan konteks, ejen Copilot boleh menavigasi pelbagai jenis alur kerja perniagaan, belajar dari maklum balas pengguna dan meminta bantuan apabila mereka menjumpai situasi yang tidak mereka tahu bagaimana untuk mengendalikan.

Kit Pembangun Snapdragon

Kredit Gambar: Microsoft

Terdapat kit pembangun baru dari Qualcomm yang ditujukan kepada pembangun yang membina aplikasi untuk PC Copilot+ yang memuatkan cip Arm.

Kit Pembangun Snapdragon untuk Windows seharga $899.99 — yang mengukur lebih kurang lebar, tinggi dan panjang seperti Mini Mac Apple, dengan kebetulan — menyimpan cip Snapdragon X Elite Qualcomm berpasangan dengan 32GB RAM, 512GB simpanan dan banyak I/O. Kit Pembangun menyokong Wi-Fi 7 dan Bluetooth 5.4, dan, melalui pelbagai port USB-C dan HDMI-nya, ia dapat mengendalikan sehingga tiga monitor 4K pada satu-satu masa.

Phi-3

Microsoft mengumumkan penambahan kepada keluarga model AI generatifnya Phi, Phi-3-vision, yang boleh melakukan analisis visual umum dan tugas penalaran, seperti menjawab soalan tentang carta dan imej. Model ini dapat membaca teks dan imej dan cukup efisien untuk berjalan pada peranti mudah alih.

Phi-3-vision tersedia dalam pra-tontonan, manakala teman teks model sebelum ini yang diumumkan — Phi-3-mini, Phi-3-small dan Phi-3-medium — kini secara amnya tersedia.

Kerjasama dengan Khan Academy

Microsoft menjalin kerjasama dengan Khan Academy untuk menderma akses kepada infrastruktur komputasi awan, membolehkan Khan Academy menawarkan akses percuma kepada pendidik di AS kepada alat bertenaga AI Khan Academy. Kedua-dua syarikat akan bekerjasama untuk menerokai peluang untuk memperbaiki aplikasi AI untuk tuisyen matematik melalui AI generatif, kata Microsoft pada Selasa.

Kami melancarkan surat berita AI! Daftar di sini untuk mula menerimanya dalam peti masuk anda pada 5 Jun.