APP
哈嘍各位開(kāi)發(fā)者，「RTE NG-Lab 雙周報(bào)」如期而至！
近兩周，我們更新了一些新的實(shí)時(shí)互動(dòng)場(chǎng)景和產(chǎn)品，也舉辦了代碼實(shí)驗(yàn)室的第一次線(xiàn)下活動(dòng)，與大家一起體驗(yàn)了聲網(wǎng)最新的 4.0 SDK。
靈感寶盒剛剛上線(xiàn)的時(shí)候，交流群里有小伙伴提出“線(xiàn)上云展會(huì)開(kāi)發(fā)框架”的需求，希望幫助企業(yè)和開(kāi)發(fā)者快速開(kāi)發(fā)和搭建進(jìn)行線(xiàn)上展會(huì)應(yīng)用，方便開(kāi)發(fā)者快速開(kāi)發(fā)一款線(xiàn)上虛擬展會(huì)軟件，進(jìn)行線(xiàn)上的虛擬展會(huì)布展，把實(shí)體展、實(shí)物展品"搬上云" ，能夠提供實(shí)現(xiàn)沉浸式觀展體驗(yàn)、實(shí)時(shí)的線(xiàn)上交流互動(dòng)。本次我們?yōu)榇蠹艺业搅?Vertex Gallery 虛擬畫(huà)廊和 Infinite-Art-Gallery，不知是否滿(mǎn)足大家的需求。
大碗茶同學(xué)在體驗(yàn)聲網(wǎng) 4.0 SDK 后，在靈感寶盒中通過(guò) issue 提交了一個(gè)靈感：直播觀賞聯(lián)動(dòng)靈感，支持多屏聯(lián)動(dòng)觀看，觀眾可以同步觀看多房間內(nèi)容，觀眾在進(jìn)入 A 主播房間后，自動(dòng)開(kāi)啟上帝視角，可以觀看所有此局游戲中所有已開(kāi)播玩家的視頻流。目前這個(gè)靈感還沒(méi)有落地的產(chǎn)品，歡迎大家參與進(jìn)來(lái)，大家發(fā)起開(kāi)源共建～
在靈感寶盒代碼倉(cāng)提交有價(jià)值的 pr 或者 issue，均可以獲贈(zèng) RTE 開(kāi)發(fā)者社區(qū)的限量版徽章，上周有兩位小伙伴獲得了限量版的勛章，如果你提交的足夠多，完全可以集齊一套！
后續(xù)每?jī)芍芪覀兌紩?huì)推出 RTE NG-Lab 雙周報(bào)，與大家同步的近期進(jìn)展和計(jì)劃，以及相關(guān)的資訊信息。歡迎更多的伙伴參與進(jìn)來(lái)～
?
?
?
01 近期活動(dòng)預(yù)告
1、獨(dú)立開(kāi)發(fā)者開(kāi)放麥
?? 活動(dòng)時(shí)間：9 月 17 日
?? 活動(dòng)形式：線(xiàn)上接入 Vland 云現(xiàn)場(chǎng)，報(bào)名成功后會(huì)邀請(qǐng)進(jìn)入直播交流群
?? 掃碼報(bào)名：
?
02 靈感寶盒圖譜 ? 新增項(xiàng)目展示
1、Vland 云現(xiàn)場(chǎng)
項(xiàng)目分類(lèi)：虛擬活動(dòng)/Virtual Conference（虛擬會(huì)議）
項(xiàng)目地址：
Vland 云現(xiàn)場(chǎng)創(chuàng)立于 2021 年，是一款人人都能設(shè)計(jì)和創(chuàng)作的虛擬現(xiàn)場(chǎng)互動(dòng)云平臺(tái)。通過(guò)融合游戲化場(chǎng)景生成、實(shí)時(shí)音視頻交互和虛擬社交身份等技術(shù)，向泛行業(yè)場(chǎng)景提供「虛擬空間即服務(wù)」。
Vland 將人與人的互動(dòng)需求放在首位，充分賦能用戶(hù)的想象力和創(chuàng)造力，讓每個(gè)企業(yè)與組織都能搭建虛擬世界，在虛擬空間中還原真實(shí)的線(xiàn)下互動(dòng)。
2、ehlo
項(xiàng)目分類(lèi)：虛擬活動(dòng)/Virtual Conference（虛擬會(huì)議）
項(xiàng)目地址：
一個(gè)虛擬工作場(chǎng)所，在線(xiàn)實(shí)時(shí)交流，團(tuán)隊(duì)無(wú)縫協(xié)作，拉近成員距離，改變團(tuán)隊(duì)寫(xiě)作方式，為 60 多個(gè)國(guó)家/地區(qū)的聯(lián)系更緊密、生產(chǎn)力更高的團(tuán)隊(duì)提供動(dòng)力。
3、Spot
項(xiàng)目分類(lèi)：虛擬活動(dòng)/Virtual Conference（虛擬會(huì)議）
項(xiàng)目地址：
Spot 是一個(gè)針對(duì)辦公的團(tuán)隊(duì)溝通軟件，提供團(tuán)隊(duì)連接、協(xié)作和建立文化的完整解決方案。可以提供虛擬辦公室和活動(dòng)的 3D 場(chǎng)景，為辦公、會(huì)議、活動(dòng)等創(chuàng)建一個(gè)完全定制的沉浸式空間。
4、Vertex Gallery 虛擬畫(huà)廊
項(xiàng)目分類(lèi)：虛擬活動(dòng)/虛擬貿(mào)易展會(huì)（Virtual Trade Show）
項(xiàng)目地址：
https://vertexgallery.pavece.com/
Vertex Gallery 是一個(gè)虛擬藝術(shù)畫(huà)廊，每天展示 34 件新藝術(shù)作品，藝術(shù)品每晚 22:00 UTC 會(huì)進(jìn)行更換。畫(huà)廊不僅展示繪畫(huà)，還展示圖片和其他類(lèi)型的藝術(shù)，如雕塑。Vertex 畫(huà)廊從 Artic edu API 獲取數(shù)據(jù)，這是一個(gè)優(yōu)秀的 API，提供有關(guān)藝術(shù)的免費(fèi)和公共領(lǐng)域數(shù)據(jù)。
5、Infinite-Art-Gallery
項(xiàng)目分類(lèi)：虛擬活動(dòng)/虛擬貿(mào)易展會(huì)（Virtual Trade Show）
項(xiàng)目地址：
https://github.com/Brazil-0034/Infinite-Art-Gallery
通過(guò) 3D 程序生成的無(wú)限畫(huà)廊！每件藝術(shù)品都是來(lái)自 Reddit 的 r/Art 頻道，目前有 180 多萬(wàn)件藝術(shù)品。畫(huà)廊在瀏覽器中完全使用 THREE.JS 渲染，另外可能還需要一個(gè)服務(wù)器來(lái)托管和篩選來(lái)自 Reddit、哈佛藝術(shù)博物館和 Met APIs 的帖子。
7、kalidoface
項(xiàng)目分類(lèi)：虛擬活動(dòng)/元宇宙（Metaverse）
項(xiàng)目地址：
https://github.com/yeemachine/kalidokit
Kalidokit 是，用于 Mediapipe/Tensorflow.js 面部、眼睛、姿勢(shì)和手部的 Web 端 RGB 攝像頭動(dòng)捕開(kāi)源方案，與 Facemesh、Blazepose、Handpose 和 Holistic 兼容。它采用預(yù)測(cè)的 3D 地標(biāo)并計(jì)算簡(jiǎn)單的歐拉旋轉(zhuǎn)和 blendshape 面值。
8、OpenShot Video Editor
項(xiàng)目分類(lèi)：更多/視頻編輯器
項(xiàng)目地址：
https://github.com/OpenShot/openshot-qt
OpenShot Video Editor 是一個(gè)獲獎(jiǎng)的免費(fèi)開(kāi)源視頻編輯器，適用于 Linux、Mac 和 Windows，并致力于向世界提供高質(zhì)量的視頻編輯和動(dòng)畫(huà)解決方案。
9、Dash.js
項(xiàng)目分類(lèi)：更多/視頻播放器
項(xiàng)目地址：
https://github.com/Dash-Industry-Forum/dash.js
dash.js 是 DASH 行業(yè)論壇的一項(xiàng)倡議，旨在建立一個(gè)生產(chǎn)質(zhì)量框架，用于構(gòu)建使用 W3C 定義的媒體源擴(kuò)展 API 集的客戶(hù)端 JavaScript 庫(kù)播放 MPEG-DASH 內(nèi)容的視頻和音頻播放器。該項(xiàng)目的核心目標(biāo)是構(gòu)建一個(gè)用于播放 DASH 的開(kāi)源 JavaScript 庫(kù)。
10、VLC
項(xiàng)目分類(lèi)：更多/視頻播放器
項(xiàng)目地址：
https://github.com/videolan/vlc
VLC 是一個(gè)自由和開(kāi)源的媒體播放器和多媒體引擎，專(zhuān)注于播放一切，并在任何地方運(yùn)行。VLC 可以播放大多數(shù)多媒體文件、光盤(pán)、流、設(shè)備，還能夠?qū)⒘鬓D(zhuǎn)換、編碼、流和操作成多種格式。
11、Audiokitsynthone
項(xiàng)目分類(lèi)：更多/iOS合成器
項(xiàng)目地址：
https://github.com/AudioKit/AudioKitSynthOne
開(kāi)源的 iOS 合成器應(yīng)用，使合成器與基本操作系統(tǒng)的所有新功能保持同步。Synth One現(xiàn)在是iPhone/iPad的通用版本。Synth One 的許多功能都可以在 AudioKit 中作為模塊使用，讓你可以輕松訪(fǎng)問(wèn)振蕩器、濾波器、混響、效果器和其他DSP處理。
12、Zy Player
項(xiàng)目分類(lèi)：更多/視頻播放器
項(xiàng)目地址：
https://github.com/cuiocean/ZY-Player
跨平臺(tái)桌面端視頻資源播放器.簡(jiǎn)潔無(wú)廣告.免費(fèi)高顏值。 支持 Windows、Mac、Linux，支持 IPTV，衛(wèi)視直播，視頻源支持自定義, 支持導(dǎo)入, 導(dǎo)出；支持海報(bào)模式和列表模式瀏覽資源；播放歷史, 自動(dòng)跳轉(zhuǎn)歷史進(jìn)度；收藏夾支持導(dǎo)入,導(dǎo)出, 支持同步追?。恢С志?jiǎn)模式, 摸魚(yú)劃水；一鍵搜索所有資源, 支持歷史搜索記錄；導(dǎo)出資源下載鏈接；支持第三方播放器播放；顯示豆瓣評(píng)分。
13、Gsyvideoplayer
項(xiàng)目分類(lèi)：更多/視頻播放器
項(xiàng)目地址：
https://github.com/CarGuo/GSYVideoPlayer
視頻播放器（IJKplayer、ExoPlayer、MediaPlayer），HTTPS，支持彈幕，外掛字幕，支持濾鏡、水印、gif 截圖，片頭廣告、中間廣告，多個(gè)同時(shí)播放，支持基本的拖動(dòng)，聲音、亮度調(diào)節(jié)，支持邊播邊緩存，支持視頻自帶 rotation 的旋轉(zhuǎn) (90,270 之類(lèi)），重力旋轉(zhuǎn)與手動(dòng)旋轉(zhuǎn)的同步支持，支持列表播放 ，列表全屏動(dòng)畫(huà)，視頻加載速度，列表小窗口支持拖動(dòng)，動(dòng)畫(huà)效果，調(diào)整比例，多分辨率切換，支持切換播放器，進(jìn)度條小窗口預(yù)覽，列表切換詳情頁(yè)面無(wú)縫播放，rtsp、concat、mpeg。
?
03 代碼實(shí)驗(yàn)室工作坊
8 月 20 日，我們組織了一場(chǎng)小型的線(xiàn)下 Workshop，與開(kāi)發(fā)者們一起體驗(yàn)了 4.0 SDK 的強(qiáng)大之處。一起完成和體驗(yàn)了多人、多屏幕共享新功能。
1）4.0 SDK 的特性與提升
來(lái)自上海的聲網(wǎng) SDK 資深架構(gòu)師章真，通過(guò)視頻連線(xiàn)的方式為現(xiàn)場(chǎng)的開(kāi)發(fā)者介紹了 4.0 SDK 的特性、性能提升。
?
以下為部分新特性和改進(jìn)
-
新特性
支持多路媒體流，復(fù)雜場(chǎng)景更易實(shí)現(xiàn)
內(nèi)置媒體播放器，包體積更小
云市場(chǎng)插件一站式解決方案
超高清分辨率
新的 AI 降噪、空間音效及超高音質(zhì) 3 項(xiàng)新功能提升音頻體驗(yàn)。
支持墊片推流
-
功能改進(jìn)
快速切換頻道
獲取本地人聲音調(diào)，實(shí)現(xiàn)唱歌評(píng)分功能
-
關(guān)鍵體驗(yàn)指標(biāo)提升
在延時(shí)方面，4.0.0 SDK 較上一個(gè)版本優(yōu)化了 60 - 80ms，體驗(yàn)得到大幅提升，尤其是在弱網(wǎng)環(huán)境中。
在丟包方面，視頻丟包邊界從 70% 提升到 80%，在 80% 的丟包率下，仍可進(jìn)行正常的視頻互動(dòng)。
在卡頓率方面，4.0.0 SDK 比目前絕大部分競(jìng)品低 10% 左右。與聲網(wǎng) 3.7 版 SDK相比，屏幕共享場(chǎng)景的卡頓率降低了 5%，即使在弱網(wǎng)環(huán)境下屏幕共享的體驗(yàn)也得到了明顯提升。
詳細(xì)參考：聲網(wǎng) Native RTC SDK 4.0.0 上線(xiàn)
2）開(kāi)發(fā)者體驗(yàn)創(chuàng)新場(chǎng)景的開(kāi)發(fā)
活動(dòng)中，開(kāi)發(fā)者們?cè)诓嫉缼熀凸こ處煹闹С窒拢徊讲綄?shí)現(xiàn)了多人、多屏幕共享的場(chǎng)景。針對(duì)這個(gè)場(chǎng)景，我們已在社區(qū)發(fā)布了一份詳細(xì)的教程，沒(méi)能來(lái)到現(xiàn)場(chǎng)的小伙伴也可以參照教程體驗(yàn)這個(gè)場(chǎng)景，地址如下：rtcdeveloper.agora.io/t/topic/24601
經(jīng)過(guò)一番開(kāi)發(fā)和調(diào)試，現(xiàn)場(chǎng)的小伙伴們都順利實(shí)現(xiàn)了多人多屏幕共享的場(chǎng)景。大家一起進(jìn)入同一個(gè)房間，在音視頻通話(huà)的同時(shí)，分別共享了自己的手機(jī)屏幕。
在動(dòng)手實(shí)踐過(guò)后，現(xiàn)場(chǎng)的開(kāi)發(fā)者們都認(rèn)為目前 4.0 SDK 的 API 設(shè)計(jì)非常清晰，且簡(jiǎn)單易用。有開(kāi)發(fā)者表示，這樣的“多人、多屏幕共享”的功能可以應(yīng)用于一些游戲直播的場(chǎng)景，讓觀眾處于一個(gè)“上帝視角”，同時(shí)看到多個(gè) Up 主的游戲界面。隨后現(xiàn)場(chǎng)的開(kāi)發(fā)者們，對(duì)該功能的應(yīng)用場(chǎng)景也分別展開(kāi)想象，各抒己見(jiàn)。
?
關(guān)于 RTE NG-Lab 雙周報(bào)
本文摘自 ：https://www.cnblogs.com/
